Как ускорить индексацию страниц сайта

Индексация - это процесс добавления сайта в базу данных поисковой системы. С помощью этой базы формируется поисковая выдача. Чем раньше страница попадет в индекс, тем быстрее ее смогут найти пользователи. Это важно для SEO-оптимизации сайта. Подробно тема раскрыта в нашей статье о поисковых роботах. Сегодня мы расскажем, что может сделать владелец сайта, чтобы поисковые роботы максимально быстро проиндексировали сайт.

1. Отправить страницы на индексацию через Яндекс.Вебмастер и Google Search Console

Самый простой способ ускорить индексацию - воспользоваться фирменными сервисами Яндекса и Google. Они отслеживают историю сайтов и помогают владельцам ресурсов следить за своевременным попаданием страниц в базу.

Для работы в сервисе нужно зарегистрировать аккаунт в соответствующей поисковой системе и подтвердить права на сайт. После этого можно будет просканировать сайт на ошибки и проверить индексацию страниц:

• Google Search Console;

В меню выбираем Проверка URL и в появившуюся сверху строку вводим нужный адрес. После проверки система сформирует отчет об индексации и связанных с ней ошибках, в том числе и для AMP-страниц. Таким образом можно проверить и новые, и обновленные страницы.

Если ресурса не оказалось в индексе, то нужно нажать на опцию Запросить индексирование, чтобы поисковый робот посетил страницу. Статус процедуры будет отображаться в этом же меню.

• Яндекс.Вебмастер;

После регистрации и подтверждения прав сайт становится в очередь на сканирование поисковым роботом. Процесс длится около 14 дней. После его завершения станут доступные опции для переиндексирования страниц: Индексирование - Переобход страниц.

В окно нужно вписать страницы в порядке уменьшения приоритета. Количество отправляемых в сутки страниц ограничено. Для каждого сайта свой лимит, его определяет Яндекс.

Доступна ли страница поисковому роботу можно проверить в разделе Инструменты - Проверка ответа сервера. Код существующей страницы - 200, если страница недоступна поисковику, то сервер будет отдавать код 404. Оптимальное время ответа сервера - не более 2 сек. 

2. Настроить файл robots.txt

Поисковый робот видит сайт иначе, чем обычный пользователь. По умолчанию он будет сканировать все страницы, в том числе служебные, находящиеся в разработке и другие. Директива robots.txt отсекает все лишнее, ощутимо ускоряя индексацию ресурса.

Этот файл указывает поисковым роботам, какие страницы и ссылки индексировать, а какие нет. Полный перечень директив и требований к нему размещены в справке Google. Готовый файл размещается в корневой папке сайта.

Универсального рецепта написания robots.txt не существует. У каждого движка свои особенности. Но в большинстве случаев файл можно заполнить самостоятельно, изучив тематические форумы. Проверить его можно Вебмастере и Search Console. Также есть специальные сервисы (генератор от SEObook, программа Netpeak Spider). 

Если есть сомнения, то лучше обратиться к специалистам. Неправильный robots.txt может запретить индексацию всего сайта. Часто встречающаяся ошибка - неправильное оформление сортировки в интернет-магазинах. Вместо целого раздела в индекс попадает только одна страница.   

3. Создать карту сайта в формате sitemap.xml

Карта сайта в формате xml - это своего рода навигатор для поисковых роботов. В нее помещают ссылки на все страницы ресурса, которые нужно проиндексировать. При необходимости можно вписать дополнительные параметры. Например, приоритетность в индексировании, отметки недавно обновленных страниц, указание на частоту обновления тех или иных разделов. Так роботы раньше найдут нужные страницы, в том числе и новые, а значит, они быстрее попадут в базу.

Карта нужна всем средним и большим сайтам. Ее размещают в корневой папке ресурса. Путь прописывают в robots.txt. Также sitemap.xml загружают в панели Яндекс.Вебмастер и Google Search Console. Максимальное число ссылок в одной карте - до 50 тыс. Для большего числа страниц создают несколько файлов. Если на сайте много изображений или видео, то для них рекомендуется сделать отдельную карту.

Существуют специальные сервисы для создания sitemap.xml (например, уже упомянутый Netpeak Spider, web-site-map.com). Если ссылок меньше 500, то подойдет бесплатный XML Sitemaps Generator.

Чтобы не исправлять вручную sitemap.xml после каждого обновления, необходимо создать динамическую карту сайта. Она настраивается плагинами для CMS или средствами PHP. Для некоторых движков есть готовые решения (например, WordPress), а для некоторых придется привлекать программиста.

4. Создать html-карту сайта

Еще один вариант ускорения индексации - завести отдельную страницу со ссылками на значимые разделы сайта. В отличие от sitemap.xml, которую обрабатывают только роботы, она видна обычным пользователям. Это облегчает навигацию не только поисковикам, но и посетителям. Такой способ полезен и для организации внутренней перелинковки.

Специалисты Google заявили, что для их поисковой системы карта в формате html потеряла актуальность. Они советуют больше внимания уделять внутренней навигации. От Яндекса подобных новостей не поступало. Поэтому лучше создать страницу со ссылками, хуже она не сделает. Для большинства движков есть плагины для генерирования html-карты, участие программиста не потребуется.

5. Оптимизировать скорость загрузки страниц

Чем быстрее загружается страница, тем быстрее ее обработает поисковый робот и внесет в индекс. Скорость загрузки можно проверить в PageSpeed Insights. Сервис даст оценку быстродействию страницы от 1 до 100 и приведет список рекомендаций по его улучшению. Если результат выделен красным цветом, то имеются проблемы.

Есть несколько способов увеличить скорость загрузки:

• настроить серверное кэширование - часть данных будет храниться на сервере, и не надо будет загружать их заново при каждом обращении;
• хранить данные в формате gzip - информация будет храниться в сжатом виде, а распаковываться в браузере посетителя;
• сжимать изображения - специальные сервисы уменьшают вес картинки без потери качества (OptiPic.io, Image Compressor, TinyPNG, JPEGmini);
• оптимизировать CSS и JavaScript - сервисы убирают лишние символы и пробелы (CSS Compressor, JavaScript Minifier).

6. Проработать внутреннюю перелинковку

Внутренние ссылки помогут роботу быстрее найти страницы с высоким уровнем вложенности. Желательно соблюдать правило трех кликов - в любой раздел сайта можно перейти максимум в три клика с главной страницы. Ресурсы с высокой вложенностью индексируются хуже.

Внутренние ссылки обычно делают анкорными. Анкоры релевантны окружающему контенту. Нельзя располагать в одном месте слишком много ссылок. Их количество делают пропорциональным содержимому страницы. На каждую страницу должно вести не больше одной внутренней ссылки.

7. Получить качественные обратные ссылки

Размещение ссылок на сторонних ресурсах с быстрой индексацией привлечет внимание поискового робота. Он скорее посетит продвигаемый сайт. Такой способ особенно актуален для молодых ресурсов (до полугода).

Размещать ссылки нужно на источниках, где часто обновляется контент:

• новостные порталы;
• форумы;
• блоги;
• социальные сети;
• вопросники.

К выбору площадок для размещения ссылок следует подходить с умом. Источник должен быть авторитетным и релевантным основному сайту. Подробно тема раскрыта в статье Как правильно наращивать ссылочную массу сайта.

Контент в социальных сетях меняется чуть ли не каждую секунду. Поисковые роботы практически непрерывно мониторят их. Поэтому раскрученный профиль в социальных сетях будет полезным для продвижения сайта. Для русскоязычной аудитории это Одноклассники и ВКонтакте, для западной - Facebook и Twitter. Быстрее остальных индексируется Twitter.

8. Зарегистрировать сайт в рейтингах и каталогах

Рейтинги и каталоги часто посещаются поисковыми роботами. Если в них поместить ссылку на свой ресурс, то он будет лучше индексироваться. Раньше были популярны RSS-агрегаторы, но в 2020 году они теряют актуальность.

Добавить блог можно в сервисы Blog Rider, BlogRate, Blogdir. Для размещения ссылок подойдут бесплатные рейтинги Рамблера, Mail.ru, LiveInternet. Еще один полезный ресурс - Яндекс.Дзен. Качественные статьи обеспечат быстрое добавление страницы в индекс.

9. Использовать пинг-сервисы

Оповещать поисковик об обновлении сайта можно через пинг-сервисы. Когда сервис отправляет запрос поисковой системе, он призывает робота проиндексировать новый контент на ресурсе. Пинг-сервисы встраиваются в CMS (для некоторых есть плагины, например WordPress) и работают автоматически (например, Pingomatic, Pingler, Pingoat).

В интернете много подобных сервисов. Но не нужно использовать все сразу, 5-7 достаточно. Иначе поисковик может принять запросы за спам. Оповещать следует только о важных обновлениях. Данный способ ускорения индексации больше подходит для блогов.

10. Регулярно обновлять контент

Чем чаще появляются новые статьи и записи, тем чаще сайт посещает поисковый робот, и тем быстрее он попадает в индекс. Чтобы ресурс регулярно индексировался, нужно периодически добавлять контент. Желательно составить график и придерживаться его. Оптимальным считается появление новых статей 1 раз в три дня или примерно 2 раза в неделю. Минимальный период - раз в неделю.

При этом контент должен быть уникальным и интересным. Не нужно выкладывать текст ради галочки. Контент низкого качества не только замедлит индексацию, но и отрицательно скажется на ранжировании. В худшем случае можно попасть под фильтр поисковой системы.

Минимальная длина - 1500 знаков, уникальность - не менее 80%. Следует избегать высокой плотности ключевых слов, воды, орфографических ошибок, бессмысленных предложений.

Нужно актуализировать и обновлять информацию на сайте, добавлять ссылки со старых статей на новые. Однако не всем сайтам для хорошей индексации нужно постоянно что-то выкладывать. Это зависит от типа ресурса и тематики. Оптимальный вариант - изучить топов из ниши или прямых конкурентов.

Остались вопросы? Есть проблемы с индексацией или продвижением? Позвоните или напишите нам. Специалисты Белой Вороны найдут эффективное и выгодное решение. Приведем клиентов из интернета.