Индексирование, статистика обхода и страницы сайта в поиске

Индексирование – это обход сайта поисковым роботом в процессе которого он получает информацию об актуальной структуре ресурса и добавляет контент в выдачу. Если в результате очередного визита поисковика, какая-либо страница окажется недоступной, она не попадёт в поиск. Поэтому в процессе SEO продвижения очень важно контролировать индексацию. Для этого существуют специальные инструменты статистики. Именно о них и пойдёт речь в настоящей статье.

Как узнать какие URL-адреса попали в поисковую базу?

Согласно информации Яндекса, робот обновляет информацию из индекса ежедневно в течение 6 часов после посещения ресурса. Данные об актуальной структуре проекта публикуются на вкладке “Индексирование” – “Статистика обхода” в панели вебмастера. Там вы можете увидеть полный список страниц сайта, которые обошёл поисковый робот, а также:

• Дату их последнего посещения поисковиком;
• URL-адрес;
• Код ответа сервера, который был получен при последнем посещении адреса (например, рядом с URL, по которому робот перешёл впервые, отображается значение “N/A”);
• Код ответа сервера, который робот получил, когда совершил переобход. Например, код “200”, означает, что веб-страница доступна для робота, а код “301” говорит о том, что по ссылке совершается перенаправление на другой адрес.

Как узнать какие URL-адреса сайта участвуют в выдаче?

Воспользуйтесь инструментом “Страницы в поиске” на вкладке “Индексирование” в Яндекс.Вебмастере. С его помощью вы можете:

• Провести проверку насколько изменилось количество страничек на вашем ресурсе (сколько было добавлено и удалено);
• Узнать, когда робот посетил ваш проект в последний раз;
• Узнать дату последнего обновления поисковой выдачи;
• Выяснить почему контент был удалён из результатов поиска.

По какой причине контент может не попасть в индекс?

Обычно данная проблема возникает из-за неправильных настроек в файле robots.txt или мета-теге robots. Подробнее об этом мы рассказывали в статье “Сайт закрыт к индексации в файле robots.txt”.

Также робот может перестать показывать контент в выдаче из-за сбоев в работе сервера, на котором размещён ресурс, внутренних ошибок на странице ресурса или других технических проблем. Если вы столкнулись с данной проблемой и не знаете как её решить – обратитесь к нашим специалистам, мы проведём подробную диагностику вашего ресурса и поможем исправить сбои в его индексировании.