Атрибут canonical: что это, когда использовать, где и как правильно настроить

Атрибут каноникал указывает поисковому роботу, какую из похожих страниц предпочтительнее показать в выдаче. О нем написаны десятки статей, но многие полны пугающе сложных терминов и малопонятных  примеров для новичка. Все это мы перевели на «человеческий» русский, а также поговорили с экспертами о тонкостях работы с каноническим тегом. 

Что такое тег canonical и как он выглядит

На сайтах интернет-магазинов часто появляются страницы с похожим контентом, но разными URL-адресами — например, когда товар отличается только цветом или размером. Поисковые роботы Яндекса или Google воспринимают такие страницы как дубли или копии. За них роботы могут опустить позиции сайта на странице выдачи. Это форма санкции за то, что поисковики впустую потратили ресурсы на анализ одного и того же контента. 

Чтобы эта проблема не мешала SEO-продвижению, Google в 2009 году запустил атрибут canonical. Этот инструмент подсказывает системе, что перед ней — другая версия основной страницы, а не просто её копия.Т

Технически, canonical — это один из тегов, или элементов языка гипертекстовой разметки HTML. Коды из документов HTML считывает браузер и преобразует эти данные в «человекочитаемый» формат — то есть, в виде привычного нам сайта с баннерами, навигацией, текстом и фотографиями. Но некоторые элементы HTML разработчики добавляют исключительно для машины.

Задача тега каноникал — подсказать поисковику, какую из идентичных страниц нужно отобразить в поиске.

Например, в интернет-магазине бренда N есть страница с карточкой товара — красным бомбером. На неё ведут разные маршруты: через категорию «Одежда», фильтр цены или раздел «Весенняя коллекция». Каждый из трех маршрутов приведет на одну и ту же страницу, но URL-адрес каждой из них будет немного различаться:

• www.brand/vesennya_coll/bomber
• www.brand/odezhda/bomber
  
• www.brand/do_9999_rub/bomber 
  

Поисковые роботы могут подумать, что эти страницы копируют друг друга, и тогда позиции магазина просядут в результатах поиска. Но магазин заинтересован в существовании всех трех страниц, так как товар должен быть доступен во всех подходящих категориях. Так покупателю будет проще его найти.

Чтобы разрешить этот конфликт, один из трех URL-адресов назначают каноническим, или основным — именно его будут анализировать поисковые роботы. Другие адреса станут неканоническими, — то есть, вариантами, или версиями главной страницы. Они нужны для удобства покупателей.

Например, канонической ссылкой решили назначить первый адрес:

www.brand/vesennya_coll/bomber

Канонический URL и тег каноникал нужно прописать в коде остальных страниц. Это укажет поисковому боту путь к основному адресу, если он наткнется на неканоническую версию. Канонический тег для поисковика — сигнал, что перед ним не главная версия, и показывать ее в результатах поиска не нужно. А канонический URL — дорога к основной странице, которую требуется отразить в поиске.

Так решается проблема с дублированием контента. А вот так в реальности выглядит тег каноникал, прописанный в коде неканонической страницы на языке HTML:

Теперь к матчасти. Язык HTML иерархичен: это значит, что некоторые его элементы могут находиться только внутри других, но не сами по себе. Атрибут каноничности располагается внутри тега link и считается его атрибутом — то есть, описанием, характеристикой. 

Тег link определяет ссылку на ту или иную страницу, но непосредственно URL-адрес прописывают в другом его атрибуте — href. Это сокращение от «hyper reference», что в переводе с английского означает «гиперссылка». В итоге тег link соединяет в себе точный адрес канонической ссылки в атрибуте href и указание на эту самую каноничность в атрибуте каноникал.

Как атрибут canonical влияет на SEO

Чтобы сайт нашли или хотя бы заметили, все его страницы и все их версии нужно проиндексировать — то есть, добавить в специальный каталог для последующей выдачи пользователю. На индексацию поисковые боты тратят вполне осязаемые ресурсы, вроде интернет-трафика и электричества, за которые платит, например, корпорация Google. Естественно, корпорациям невыгодно нести расходы на сканирование одного и того же контента — за это и предусмотрены «штрафы» в виде пониженных позиций в выдаче.

Дублированные ссылки часто появляются непреднамеренно. Например, их создает владелец интернет-ресурса, чтобы загрузить версию для печати. Когда люди кликают по ссылке в ВКонтакте, новые страницы генерируются автоматически — от исходных они отличаются только небольшим «хвостиком» в конце URL-адреса, который называется UTM-меткой. В конце концов, дубль может появиться в результате ошибки разработчика.

Тем не менее, даже случайно возникшие дубли — это нехорошо. Для решения этой проблемы и существуют канонические адреса. Указание на каноническую версию дает роботу Google или Яндекса понять, что одинаковые страницы, доступные по разным URL, к дублям не относятся. 

Когда на сайте появляются дубли, поисковым системам сложнее определить страницу, которая ответит на запрос пользователя. Чаще поисковые роботы пессимизируют такие страницы в поисковой выдаче до исправления ошибок: если их много, высоких позиций у сайта не будет.

  Даниил Хохлов, руководитель SEO-отдела агентства Альфа.Сайт

Когда специалисты применяют тег каноникал, они подсказывают поисковику, какую именно версию страницы предпочтительнее показать в выдаче. Грубо говоря, на решения поисковика можно влиять: если вы уверены, что самый релевантный контент по какому-либо запросу — на странице N, у вас будет возможность вывести её в выдачу с помощью каноникал. 

Впрочем, Google и Яндекс не всегда прислушиваются к этому инструменту: канонический тег для них —  всего лишь рекомендация, а не строгое предписание. Поэтому когда поисковик считает неканоническую версию более релевантной, в выдаче появляется ссылка на дубль. Эксперт Даниил Хохлов называет это обстоятельство главным недостатком каноникал, а исследователи Яндекса убеждены, что неканонический контент может быть полезен людям в той же степени, как и канонический.

Тем не менее, с каноникал или без него, число идентичных страниц нужно изначально сводить к минимуму. Один из стимулов это делать — краулинговый бюджет сайта. Это некий лимит, который поисковый бот расходует на сканирование страниц, например, за месяц. К этой величине не стоит относиться расточительно. Чем дольше поисковики сканируют сайт с неуникальным контентом, тем менее лояльно они относятся к этому сайту и его индексации.   

Даже если вы проставите каноникал на всех идентичных страницах, поисковик Яндекса или Google все равно проиндексирует их все, и краулинговый бюджет будет израсходован. Это значит, что иногда проблему дублей следует решать более радикально.

Старайтесь по возможности уникализировать контент одинаковых страниц. Добавляйте разные фотографии и разное описание для похожих товаров. Если вы используете постраничную разбивку раздела, выводите на одной странице не по десять, а по пятьдесят товаров сразу — так идентичных страниц будет в разы меньше.

Закрывайте ненужные к индексации страницы при помощи директивы disallow в robots.txt. Но делать это нужно с осторожностью: это действие может повлиять на сканирование страниц, которые находятся глубже по уровню вложенности.

  Олег Грабчак, руководитель отдела SEO-продвижения и поддержки клиентов SEO-Gravity

Уровень вложенности — расположение страницы в структуре сайта по отношению к главной странице. Показатель рассчитывается по числу кликов, которые нужно сделать для перехода к нужному материалу.

Когда нужно использовать canonical 

Руководитель SEO-отдела «Альфа.Сайт» Даниил Хохлов рекомендует применять каноникал для всех видов интернет-ресурсов — иначе поисковики назначат их сами и, возможно, неправильно. Но прежде всего применение тега актуально для крупных интернет-магазинов, где дублирующийся контент встречается чаще всего. 

Использовать canonical также необходимо на страницах пагинации. Пагинация — это способ разбивки длинного раздела на страницы с порядковыми номерами. 

Так выглядит пагинация — порядковые номера в правом нижнем углу

Пагинацию используют все те, кому выгодно разбивать контент на отдельные страницы. Например, новостные порталы или ресурсы, которые публикуют научные статьи или электронные книги. Объемные или часто обновляющиеся материалы не очень-то удобно размещать на единственной, бесконечно длинной странице, которая не помещается в экран гаджета.

Но есть проблема: поисковики могут воспринять за дубли все страницы раздела, кроме первой. Чтобы решить её, проставьте канонический тег на всех страницах пагинации. 

В качестве канонического URL-адреса укажите ссылку на первую страницу раздела. Только её логично выводить в результаты поиска, и поэтому только её адрес будет резонно назначить каноническими. Если, например, каждая страница пагинации будет указывать в качестве канонической ссылки свой собственный адрес, то в результаты поиска могут попасть все условные 99 страниц одного и того же раздела, но в этом не будет никакого смысла.

В некоторых случаях тег каноникал можно применять факультативно. Например, его можно добавить в код страницы для перестраховки, даже если нет копий или дублей: ссылаться такая страница тоже должна сама на себя.

Но есть случаи, когда нужно использовать каноникал в качестве обязательного шага:

• Когда у вашего ресурса есть несколько версий на разных языках
• Когда у вашего ресурса есть мобильная версия — скорее всего, эти версии доступны по разным ссылкам
• Когда есть версии URL-адресов с «www» и без
• Когда в интернет-магазине можно применить фильтр — например, отобрать товары по цвету или фасону. Из-за этих фильтров появляются новые неуникальные версии
• Когда товары можно запросить в порядке убывания цены или популярности — это называется функцией сортировки. С дублями все то же самое, что и при фильтрации
• Когда вы используете динамические URL. Такие адреса изменяются из-за добавления в них UTM-меток — параметров, которые помогают отслеживать пользовательские действия и эффективность рекламы. Подробнее о метках тут.

В применении каноникал на страницах фильтрации и сортировки все не так очевидно, как может показаться. Чтобы прояснить этот вопрос, мы написали для вас мини-инструкцию.

Например, телефон бренда N в вашем-интернет магазине доступен в пяти цветах. Соответственно, у страницы с данным товаром — пять версий. Если в качестве канонической версии вы выберете любую из них, именно она попадет в выдачу вероятнее всего. От этого пострадает релевантность: представьте, пользователь гуглит телефон черного цвета, а на странице выдачи в Google Chrome видит красный гаджет.

В итоге ресурс опустят в выдаче ниже конкурентов лишь потому, что канонической назначена только одна вариация цвета. 

Каждая страница в этом случае должна указывать в качестве канонического URL-адреса свой собственный, чтобы у каждой из них была возможность появиться в поиске.

Олег Грабчак

Где и как настроить canonical правильно

Применяйте канонический тег на CMS-платформах 

Удобнее всего использовать каноникал в Content Management System, или системе управления контентом. CMS-платформа — что-то вроде приложения для работы с сайтом и для редактуры его контента. Самые популярные платформы — Wordpress и 1С-Битрикс. Кстати, о том, как выбрать подходящую CMS, читайте тут.

Для расстановки канонических адресов в CMS существуют специальные плагины, или расширения. Некоторые плагины нужно скачивать отдельно, но в новейших версиях некоторых CMS функция работы с каноникал обычно предустановлена.

Для Wordpress мы используем самый популярный SEO-плагин «Yoast SEO», который позволяет настроить атрибут каноникал даже людям, не знакомым с HTML.

Для 1C-Битрикс каноникал приходится настраивать вручную. Есть и готовые решения, но они платные и тоже требуют времени на правильную настройку, что примерно сопоставимо по ресурсам с прямым внедрением.

Даниил Хохлов

После того, как вы скачаете расширение, в меню CMS будут доступны новые разделы, в которых можно настроить каноникал. Пошаговую инструкцию по настройке атрибута с помощью плагина Yoast вы легко найдете в открытых источниках. 

Так выглядит меню плагина Yoast SEO для Wordpress

В CMS есть возможность автоматической расстановки атрибута каноникал. Тем не менее, Денис Хохлов рекомендует проверять работу тега вручную, так как проблемы или ошибки при автонастройке канонических адресов не исключены. 

Если с применением канонического тега в CMS возникают проблемы, обратитесь к веб-разработчику.

Добавьте канонический тег в HTTP-заголовок

Как мы уже рассказывали, каждая страница интернет-ресурса записана в формате HTML-файла. Но на некоторые ресурсы выгружают PDF, TXT, таблицы и презентации — и все они тоже могут быть доступны по нескольким URL-адресам. 

Чтобы прописать для этих файлов канонический адрес, понадобится специальная настройка сервера. Эта задача входит в компетенции не SEO-специалиста, а системного администратора. Сервер должен возвращать в HTTP-заголовке следующее:

Link: <http://www.example.com/offer/file.pdf>; rel="canonical"

Не путайте каноникал и 301 редирект

Дословно редирект означает «перенаправление». Код 301 означает постоянный «переезд» страницы на новый адрес, а 302 — временное перемещение. Редирект нужен, когда прежняя ссылка недоступна, а нужный материал располагается по новому URL-адресу. Адреса старой и новой ссылок прописывают в соответствующих фрагментах кода. 

Редирект пригодится и для людей, и для роботов: и те, и другие смогут перейти к ресурсу по новому адресу. Каноникал же предназначен только для поисковиков, пользователи его даже не замечают. Более того, если вместо каноникал использовать 301 редирект, неканоническая версия вообще не будет проиндексирована, так как робот посчитает ее устаревшей и недействительной. 

Редирект и каноникализация — не одно и то же. Каждый из этих инструментов следует использовать по прямому назначению, и один не может быть заменой для другого.

Олег Грабчак

Впрочем, на этот вопрос можно посмотреть с нескольких сторон. Редирект и вправду не следует использовать как постоянный способ для указания канонических ссылок. Но существуют исключительные случаи, — например, когда страницу необходимо вывести в поиск, а роботы Google и Яндекс игнорируют тег каноничности.

Иногда за канонический принимают другой URL вместо указанного в теге. Тогда, в зависимости от ситуации, приходится закрывать страницы от индексации или настраивать 301 редирект.

Даниил Хохлов

Консультант YAGLA по SEO Ольга Солдатова рекомендует комплексную проверку применения тега, если в выдаче регулярно появляются неканонические версии. Для этого проведите чекап настроек самого каноникал и карты сайта — о ней расскажем ниже. Проверьте код ответа от сервера: если все правильно, вам вернется комбинация «200». Если вы не обнаружили неполадок, попробуйте удалить страницы из индекса и поставьте их на переиндексацию в «Веб-мастере». Если эти способы не сработают, попробуйте решить проблему вместе с программистами.

Какие правила следует соблюдать при работе с каноническим тегом 

Когда вы добавляете тег, помните несколько несложных правил. Их несоблюдение часто приводит к некорректной индексации. SEO-специалист Ольга Солдатова уверена: лучше совсем не прописывать каноникал, чем прописать его не правильно.   

• Используйте абсолютный, а не относительный URL-адрес. Абсолютный — значит полный, а не сокращенный. Обработка страниц по сокращенным адресам может быть некорректной.
• Соблюдайте нижний регистр при записи URL-адреса. Допустим, оригинальная ссылка записана строчными буквами, а в коде в неё добавлены заглавные. Тогда поисковик Яндекса или Google воспримет эти записи не как одну и ту же ссылку, а как два разных адреса.
• Используйте один канонический адрес на страницу. Иначе поисковику не будет понятно, какой именно адрес нужно отобразить в поиске.
• Ставьте в Sitemap — карту сайта, или XML-карту — только канонические версии страниц. Карта — это файл формата XML, который указывает поисковику, какие вообще страницы есть на данном ресурсе. Если страница добавлена в Sitemap, робот Яндекса или Google воспринимает само её присутствие в карте как рекомендацию считать её адрес каноническим. 

Какие ошибки часто совершают SEO-специалисты

Большинство просчетов, связанных с каноникал, не представляют особой проблемы. Некоторые из них — это противоположный тезис каждого правила, о которых мы писали выше. Например, неправильным ходом будет ставить в XML-карту ссылки на неканонические страницы: если в карте появится неканоническая версия, это собьет робота с толку.

Самый банальный пример — канонический тег могут случайно использовать там, где его не должно быть. Например, из-за невнимательности разработчика. Для решения проблемы лишний канонический тег нужно просто убрать из кода.

Каноникал нельзя совмещать с тегом noindex, который запрещает индексирование страницы или ее версии вообще. Роботы Яндекса и Google воспринимают эти два сигнала как противоречивые, поэтому рекомендуется использовать только один.

Каноническая и неканоническая версии должны принадлежать к одному домену. Это значит, что в обоих URL-адресах имя сайта должно быть одинаковым. Будет ошибкой, если неосновная версия, размещенная по ссылке http://example.com/blog/life/ указывает в качестве канонического адреса ссылку http://primer.ru/blog/.

Последняя частотная ошибка — нанизывание, или цепочка канонических адресов. Цепочки возникают, когда страница А указывает в качестве канонической ссылку на страницу В, а В отправляет поисковик на страницу С. Такие гирлянды могут легко запутать робота Яндекса или Google и создать проблему для SEO. Результат может оказаться таким же, как если бы канонического тега не было вообще, поэтому использовать этот способ не советуют. 

Заключение

Каноникал — не самый сложный SEO-инструмент. Куда более сложным выглядит его контекст: непредсказуемые решения поисковиков, множество технических тонкостей и неприступные стены кода.

Тем не менее, каноникал очень важен для поискового продвижения, а умение им оперировать — необходимый скилл для SEO-специалиста в 2021 году. Знакомство с тегом и его внедрение лучше разбить на простые шаги, — особенно если вы еще не работали с HTML. Чтобы ориентироваться в настройке каноникал было проще, изучите не только работу каноникал но и смежные с ним темы.