Google выпустил новое видео SEO Mythbusting, в котором старший аккаунт-менеджер Merkle Алексис Сандерс смогла задать вопросы сотруднику поисковика Мартину Сплитту, касающиеся краулингового бюджета.



Ключевые моменты

Google вынужден разумно распоряжаться ресурсами при сканировании контента. Веб – огромен, поэтому приходится выбирать, что поисковик будет сканировать.
Контент новостных сайтов меняется часто и быстро, поэтому поисковик сканирует их чаще, чем сайты, которые обновляются редко.
Google пытается выяснить, нужно ли определенный сайт сканировать чаще или достаточно проверять его время от времени. Поисковик сохраняет фингерпринт контента, чтобы посмотреть, когда было последнее обновление.
Для отслеживания изменений сайта Google учитывает структурированные данные и элементы даты.
Etag, заголовки Last-Modified также могут быть полезны для понимания, как часто обновляется сайт, но Google их учитывает только как подсказки и может игнорировать. Изменение только даты на странице без обновления контента не приведет к тому, что сайт будет сканироваться чаще.
Беспокоиться о краулинговом бюджете следует только большим сайтам с миллионом URL. Например, с этим могут столкнуться сайты электронной коммерции или издатели.
Нередко владельцы сайтов говорят о краулинговом бюджете, если их ресурс не индексируется. Часто проблема бывает не в сканировании, а в плохом качестве контента, поэтому Google и игнорирует сайт.
Важно следить, чтобы серверы работали без сбоев и не выдавали коды ошибок, а редиректы были настроены корректно.
Если URL нет в Sitemap, Google может не сразу найти страницу. Для начала поисковику придется просканировать другую страницу и найти ссылку на этот URL.
Важные изменения на сайте нужно внедрять постепенно. Не стоит сразу переезжать на другой сервер, менять контент, URL, домен. Это «слишком много для одного проекта».
Google не кеширует POST-запросы, так как это быстро исчерпывает краулинговый бюджет. Следует использовать запросы GET.
Владельцы сайтов должны блокировать страницы, которые не нужно сканировать: внутреннюю аналитику, внутренние инструменты и т. п. Для этого следует использовать robots.txt.
Невозможно сделать так, чтобы Google сканировал сайт чаще. Если система обнаружит, что на странице много хорошего контента, а Sitemap будет содержать много URL, Google просканирует столько, сколько сможет, и будет продолжать это делать. В конечном итоге краулинговый бюджет может увеличиться до того параметра, который хочет видеть владелец сайта.

источник