Два типа краулинга Google: Discovery и Refresh

Рубрика: Теория и статистика | Время на чтение: 4 мин.

У поисковой системы Google имеется два типа сканирования веб-документов: один предназначен для обнаружения нового контента, другой – для обновления существующего.

Об этом рассказал Джон Мюллер во время часового общения с вебмастерами в рамках Google Search Central, 7 января.

Два типа краулинга Google: Discovery и Refresh

А спонсором блога в этом месяце выступает сервис Rookee. Когда требуется комплексное поисковое продвижение, контекстная реклама на автопилоте или формирование репутации в сети – на помощь приходят Rookee!

SEO-специалист по имени Сваямдипта Чакраборти присоединился к стриму и задал Мюллеру ряд вопросов, касающихся того, как Googlebot ведёт себя на его сайте.

Сваямдипта заметил, что раньше, когда он публиковал статьи на регулярной основе, Googlebot заходил на его сайт ежедневно. Теперь, когда статей публикуется меньше, бот заходит не так часто.

Опасаясь, что снижение частоты краулинга может являться плохим признаком, вебмастер спросил Мюллера, нормально ли это. Джон ответил, что всё в порядке, и рассказал о двух разных типах сканирования Googlebot.

Разновидности краулинга Googlebot

О частоте посещения вашего сайта Googlebot вы можете узнать в Google Search Console. В соответствующем отчёте можно обнаружить, что в какие-то периоды бот поисковой системы заходит на ваш сайт чаще, чем обычно.

Вот что на этот счёт сказал Мюллер:

Такое может произойти. Мы сканируем не столько сайт, сколько отдельные страницы сайта. И когда дело доходит до краулинга, у нас есть два типа сканирования.
Первый – это обнаружение [discovery], когда мы пытаемся обнаружить новые страницы на вашем сайте. А второй – это обновление [refresh], когда мы обновляем существующие страницы, о которых уже знаем.

Частота сканирования может варьироваться не только для всего сайта, но и для отдельных веб-страниц. Например, если ваша главная страница обновляется регулярнее, чем другие, то вы увидите большую активность Googlebot на ней.

Мюллер продолжает:

Например, в основном мы сканируем с помощью refresh главную страницу, не знаю, раз в день, или каждые пару часов, или что-то в этом роде.
И если мы находим новые ссылки на домашней странице, то идём и проверяем их с помощью функции discovery. Таким образом, вы всегда будете видеть смесь обнаружения и обновления в отношении краулинга. И вы будете видеть, как каждый день выполняется определённый базовый уровень сканирования.
Но если мы определим, что отдельные страницы меняются очень редко, то поймём, что нам не нужно постоянно их сканировать.

Из этого вытекает логичный вывод: определённые типы сайтов сканируются чаще, чем другие. Например, новостные. Ведь они обновляются несколько раз в день. С другой стороны, к примеру, какой-нибудь сайт-визитка вообще не обновляется.

Googlebot способен распознавать подобные закономерности и соответствующим образом корректировать частоту посещений.

Цитата Джона:

Например, если у вас есть новостной сайт, и вы обновляете его ежечасно, то мы должны усвоить, что нам нужно краулить его ежечасно. Если же это новостной сайт, который обновляется раз в месяц, то мы должны понять, что нам не нужно сканировать его каждый час.
Это не признак качества, не фактор ранжирования или чего-то подобного. Это действительно просто чисто с технической точки зрения, мы узнали, что можем краулить здесь раз в день или раз в неделю, и это нормально.

Поэтому не стоит беспокоиться, если вы заметили, что Googlebot начал посещать ваш сайт чаще или реже обычного.

Также не стоит беспокоиться, если бот недавно посетил ваш сайт, а обновления существующего контента не отразились в результатах поиска. Вполне вероятно, что Googlebot зашёл на ваш сайт, чтобы проверить, не появился ли на нём новый контент, а не обновить уже существующий.

Если вы редко редактируете уже написанные материалы на своём проекте, то бот Google может больше сканировать его для обнаружения (discovery), а не обновления (refresh).

И напоследок нужно уяснить одну простую вещь: всё это вообще может быть не связано с качеством контента.

Источник информации: