Органический трафик – священная корова для большинства сайтов, которые живут исключительно на доходы от продажи площадей под контекстную рекламу. Если органика начинает снижаться, и такое падение продолжается в течение нескольких недель, – это тревожный знак. Необходимо как можно скорее принять контрмеры.
Причин снижения органического трафика очень много. Особенно часто просадки происходят после переезда на новый домен, при глобальной переработке дизайна или после внедрения иных изменений.
Снижение органического трафика, как правило, следует в следующих случаях:
- изменение URL страниц;
- переезд на новую CMS;
- изменения структурной составляющей;
- обновление метатегов страниц и других элементов (карточки товаров, разделы, рубрики);
- удаление важных страниц.
Рассмотрим эти и другие причины подробнее.
Файл Robots
В процессе разработки новый сайт часто неумышленно закрывают от индексации через системный файл robots.txt. При переезде технические специалисты часто забывают сменить этот файл на актуальный, который не запрещает поисковикам индексацию: даже если переезд осуществляется в правильном порядке, уследить абсолютно за всем очень сложно.
Если индексация сайта оказалась ограничена в системном файле robots.txt, устранить эту проблему можно, заново сформировав файл robots либо удалив из него строки с упоминанием поисковых ботов Google и «Яндекса», содержащие директиву disallow. А вообще, стандартный файл robots может выглядеть по-разному. Вот небольшое пояснение основных директив:
Массовое или частичное изменение URL
Если вы меняете общий вид ссылок, просадка трафика неизбежна. Дело в том, что вес и другие ссылочные метрики переходят на новые страницы далеко не за один день.
Минимизировать негативные последствия изменения ссылок можно, настроив 301-ое перенаправление со всех устаревших URL на новые. О том как это сделать, можете прочитать в нашем блоге. Внимание! 301-ое перенаправление делаем сразу же после выкатки нового сайта.
Потеряны прописанные метатеги веб-страниц
Такая ситуация возникает при:
- смене CMS;
- изменении системных файлов;
- смене темы сайта;
- переезде на новый домен.
- еще туевой куче ситуаций.
Перед внесением глобальных изменений на сайте обязательно делайте бекап! Если не знаете, как это сделать, напишите в поддержку своего хостинга. Здесь описывать не буду, так как процесс может различаться у разных хостеров.
Вернуть ранее настроенные метатеги страницам можно вручную. Алгоритм действий будет следующим:
- Найти метатэги всех старых страниц и скопировать их в отдельный документ, например, в Excel-таблицу. Обратите внимание, что копировать мету нужно не только у веб-страниц, но и у карточек, рубрик, брендов и категорий. Альтернативный вариант: сформировать генератор меты на основе данных, которые были на устаревших веб-страницах. Здесь придется «кодить», поэтому для этой работы нужно привлечь квалифицированного программиста.
- Перенести полученные метатеги на новые страницы. Не переносите метатеги, если они откровенно переспамлены (содержат более двух ключей в одном теге в прямом вхождении). Такая «оптимизация» только навредит сайту после переезда.
- Установить все необходимые 301-ые перенаправления.
- Все обновленные страницы должны возвращать исключительно 200-ый код.
Медленная скорость загрузки
Если после модернизации / переезда на новый домен или хостинг сайт стал сильно тормозить, а время загрузки страниц значительно возросло, необходимо проверить, как хостинг справляется с существующей нагрузкой. Для этого достаточно написать соответствующий запрос в поддержку хостинга.
Проанализируйте тарифный план вашего хостинга. Достаточно ли дискового пространства для вашего сайта? Также обратите внимание на статическую нагрузку, которую сайт создает на хостинг. Если нагрузка очень большая, проверьте, выбрана ли в административной панели хостинга корректная версия PHP сайта.
На Beget, например, поменять версию PHP можно, открыв раздел «Cайты». Впункте «Сайты и прилинкованные домены» выбираем иконку шестеренки и попадаем в настройки, выбираем версию PHP:
Другие причины высокой статической нагрузки на хостинг:
- сайт использует большое количество плагинов;
- задействовано много PHP- и Perl-скриптов;
- сайт отдает большое количество статики (например, на нем очень много изображений);
- DDos-атаки, HTTP-flood, слишком большое количество запросов с одного или нескольких ip-адресов.
Частично решить эти проблемы можно при помощи редактирования файла htaccess. В него необходимо добавить код:
# Order allow,deny allow from all Deny from 188.40.141.100 # Deny from 188.40.141.100 измените на IP-адрес, который нужно заблокировать.
Чтобы ускорить загрузку страниц сайта, используйте кэширование страниц. Не забудьте активировать сжатие js / css.
Если хостинг не справляется с вашим сайтом даже после обновления тарифного плана и устранения технических проблем, лучше его поменять.
Часть новых URL не может быть проиндексирована
Довольно частая ситуация после переезда. Возникает, когда некорректно настроена перелинковка. Например, остаются старые ссылки на уже удаленные или перенесенные страницы. Google такое не любит.
Иногда проблемы с индексацией новых URL возникают, когда внешний вид веб-страницы (и, соответственно, доступность контента) выглядят по-разному для краулера и живого посетителя. Чтобы проверить эту версию, необходимо отключить выполнение Java Script в своем браузере. Например, в браузере Google Chrome отключить выполнение скриптов можно в настройках:
Теперь нужно открыть в браузере любую страницу сайта, по которой еще недавно был большой трафик. Если при открытии страницы с отключенным JS наблюдается необычное отображение страницы (например, пропадают все ссылки или другие элементы), понадобится консультация веб-программиста. Главная задача – вернуть первоначальный вид страниц и сделать его идентичным как для краулера, так и для живого посетителя.
Меню в шапке сайта
Если вы частично поменяли тему сайта или его дизайн, возможно, были удалены ключевые URL в шапке сайта, которые приносили трафик. Так выглядит верхнее меню сайта, содержащие ссылки на страницы:
Реальный кейс. Ко мне обратился владелец бизнеса. Тематика – сувениры и подарки. Сайт с посещалкой около 2 тыс. в сутки, большая часть пользователей шла из поиска (органика), что очень хорошо для проекта такого масштаба. Более того, магазин чисто региональный, но с доставкой по России.
Проблема: резко уменьшилась посещаемость. Судя по веб-аналитике, на 65 % в течение 2-3 дней. Падение, мягко говоря, странное.
Начали искать причину. Проверили все, что только можно, от реалистичных версий до атак конкурентов и нашествия инопланетян.
Причина оказалось проста: недавно поменяли шапку сайта, а в ней было много полезных ссылок. Вот и все, даже такое минимальное изменение структуры сайта очень навредило естественному продвижению.
Если ссылки были удалены из шапки, они автоматически утрачивают вес. Излишнее количество URL в шапке также не приветствуется Google – снижается общий вес, а в особо тяжелых случаях на сайт накладывается фильтр.
Забыли перенести теги, категории, фильтры
При переезде учесть все, особенно если сайт достаточно старый и объемный, очень сложно. Например, в новую версию сайта забыли перенести, казалось бы, незначительные элементы: рубрики, подкатегории, страницу тегов. Эти элементы могли быть очень важными именно для поисковой оптимизации.
Вышеуказанная ситуация возникает, когда над сайтом работает сразу несколько независимых специалистов, а не команда, которая согласовывает все действия друг с другом.
Чтобы подтвердить проблему, будем проверять коды ответа сервера.
Открываем «Яндекс.Метрику», выбираем «Стандартные отчеты» – «Содержание», кликаем по пункту «Популярное». Выбираем необходимый временной интервал. Если органика начала уменьшаться около недели назад, то разумно взять период до этого (например, месяц до начала проблем с трафиком). Теперь внизу экрана, слева от домена сайта, раскрываем чек-бокс:
Мы должны оценить, какие именно страницы ранее приносили хороший трафик. Можно взять вообще все трафиковые URL, которые имели более 100 просмотров в день, например. Либо просто скопировать все URL из этого списка. Для этого выбираем пункт «Экспорт» и отправляем эти данные в отдельный файл:
Если в документе не указан домен сайта, его нужно добавить. Сделать это можно в автоматическом режиме. Открываем любой текстовой редактор, который поддерживает массовую замену символов, например, Word. Используя одновременное сочетание горячих клавиш Ctrl + F, вызываем окно «Заменить». В поле «Найти» указываем символ ^, в поле «Заменить» прописываем домен сайта как http://texterra.ru или https://texterra.ru:
Теперь выбираем интересующие нас URL. Далее будем проверять коды ответов сервера. Для этого можно воспользоваться любым инструментом с подходящим функционалом. Я пользуюсь онлайн-сервисом Converseo. Для проверки кода ответа указываем наши экспортированные URL, вводим капчу и выбираем пункт «Проверить»:
Если все страницы отдают 200-ый код, то все в порядке. Причину просадки органики нужно искать в другом месте.
Если несколько страниц отдают 404-ой код, здесь все просто: эти страницы были удалены. Их нужно восстановить, и со временем они вернутся в индекс, начнут приносить трафик.
Если некоторые или большинство страниц отдают 301-ый или 302-ой код, нужно проверить, корректно ли функционирует перенаправление. По редиректам должны открываться именно те страницы, которые им соответствуют.
Ухудшение ПФ
Если органический трафик значительно проседает уже несколько недель, а также заметно ухудшились поведенческие факторы, копать нужно именно в эту сторону.
Будем проверять ПФ аудитории при помощи «Яндекс.Метрики». Открываем инструмент и попадаем в сводку. Вверху страницы выбираем период (продолжительность – последний год) для анализа. Так мы наглядно увидим день, когда ПФ рухнули, если такое событие вообще было. Выбираем отчет «Отказы»:
Особое внимание обратите на метрики «Время на сайте» и «Отказы». Если именно они пострадали в последнее время, и недавно были какие-то глобальные изменения на сайте, то очевидно, что аудиторию новый вариант не устраивает. Лучше вернуть прошлый дизайн (если мы говорим именно об этом факторе) и особо удачные навигационные элементы на новую версию сайта.
Также обязательно проверьте, насколько адаптивность сайта способствует успешному просмотру страниц:
- комфортно ли перемещаться между разделами сайта;
- нет ли рекламных блоков, выезжающих за пределы контента;
- не мешают ли рекламные блоки просмотру контента.
Не работает 301-ое перенаправление
Если вы недавно переезжали, нужно убедиться, что 301-ые редиректы отрабатывают корректно. Если они вообще не настраивались, самое время это исправить.
Главная задача – настроить перенаправление со всех устаревших URL на новые.
Главная ошибка – массовая смена URL без создания соответствующего редиректа.
Главные причины снижения органики – ручное изменение URL веб-страниц, переход на семантический URL (ЧПУ), массовое изменение тайтлов страниц, смена УВ.
Даже если новые URL уже попали в индекс Google и «Яндекс», решить проблему можно. Для этого, как я уже отмечал выше, нужно сделать 301-ое перенаправление со всех устаревших URL на обновленные.
Редирект настраивается не только для веб-страниц, но и для всех элементов сайта, которые имеют адреса: фильтров, карточек, категорий, разделов. Но это в идеале. Иногда провести такую массовую работу практически невозможно, особенно если сайт очень большой, а число страниц исчисляется тысячами.
Чтобы сделать перенаправление, нужно будет сопоставить устаревшие URL с текущими. Для этого придется выгрузить их вместе с тайтлами веб-страниц. Текущие URL страниц можно выгрузить следующими способами:
- извлечь URL и названия страниц вручную – не всегда возможно, если страниц очень много;
- извлечь URL и названия страниц из базы данных – понадобится помощь программиста;
- извлечь адреса из XML-карты сайта.
Существенные трудности могут возникнуть с выгрузкой устаревших URL-страниц. Чтобы это сделать, можно использовать следующие методы.
- Извлечь устаревшие URL и названия страниц из старых версий БД. Доступ к таким базам данных есть далеко не всегда, – понадобится помощь веб-программиста.
- Извлечь устаревшие URL и названия страниц при помощи веб-сервиса Internet Archive. Просто указываем домен и выбираем интересующий нас временной период вверху экрана:
Так мы получаем снимки страниц, которые можно использовать для получения всех потерянных данных, включая мету, URL, фото, текстовый контент. Проанализировать интересующие страницы можно и вручную. Ускорить процесс получится, если исследовать только HTML-карту, а не все страницы целиком. После нахождения требуемых данных их нужно сохранить и экспортировать все URL.
Ошибки URL в инструментах вебмастера Google
Отчет Google Search Console поможет выйти на проблемные страницы. Открываем инструменты вебмастера и выбираем раздел «Покрытие»:
Нужно проанализировать отчет «Ошибки сервера» и «Не найдено». Если в них будет более 10 страниц, есть смысл исправить ошибки. Если таких страниц 2-3, можно не заморачиваться с ними вообще.
В отчете «Не найдено» будут показываться все URL, еще недавно возвращавшие 200-ый ответ. То есть теперь они должны отдавать 404-ый код. Отчет «Не найдено» хорош тем, что URL в нем выводятся по иерархии: сверху – самые «тяжелые», снизу – ссылки с наименьшим весом.
Экспортировать проблемные URL можно при помощи инструментов вебмастера Google. Открываем Google Analytics и выбираем пункт «Источники трафика», далее кликаем «Весь трафик». Открываем раздел «Каналы» и в пункте Default Channel Grouping, выбираем «Organic»:
Теперь в качестве главной метрики выбираем «Страница входа» и чуть ниже указываем, сколько строк на странице нужно показать. В верхнем правом углу вводим временной интервал для получения статистики.
Далее выгружаем все URL, выбрав пункт «Экспортировать»:
Полученный список URL нужно проверить, загрузив адреса на сервис Be1. Если все или большая часть страниц отдает 200-ый код, все в порядке. Если большая часть URL отдает 301-ый, уточняем, чтобы все перенаправленные URL вели на «свои» страницы, а не на домашнюю, например. Если большая часть URL отдает 404-ую, просто настраиваем 301-ое перенаправление для всех проблемных страниц.
Некорректная установка SSL-сертификата
Если некоторые страницы открываются по HTTP-протоколу, а другие – по HTTPS, значит, существует проблема смешанного содержимого. О том, как решить вопрос смешанного контента и грамотно переехать на SSL, я подробно писал в другой статье. Если коротко:
- Поправить все URL на сайте: заменить HTTP во всех ссылках на HTTPS, включая HTML- и XML-карты сайта, robots.txt, изображения.
- Сделать 301-ое перенаправление с HTTP на HTTPS.
Послесловие
Резкое снижение органики – важный сигнал, который не следует пропускать. Найти источник проблемы бывает непросто, но, проверив каждый пункт данного мануала, вы точно рано или поздно выйдете на ошибку.