Теги noindex, nofollow rel canonicalНа финальных этапах разработки сайта необходимо обратить максимум внимания техническим аспектам оптимизации сайта. Задачей №1 для SEO специалиста является правильная и полная индексация сайта.

Индексация сайта

Индексация сайта – это автоматический процесс сбора информации о содержании сайта, который выполняют поисковые роботы. После чего данные страниц сайта попадают в поисковую выдачу.

Для того, что бы все страницы сайта успешно попали в поисковую выдачу мы должны проследить за тем, что бы все контентные страницы были доступны для поисковых роботов. Дать рекомендации поисковому роботу можно при помощи таких инструментов как robots.txt, а так же sitemap. Кроме проблемы доступности нужных страниц в поиске, есть еще и проблема скрытия от поисковых роботов ненужных данных (страницы пагинации, фильтров, и другие дубли). Нужно запомнить, что и robots.txt и sitemap носят преимущественно рекомендательный характер и могут привести к индексации нежелаемых данных. Что же делать что бы правильно закрыть дубли страниц от индексации?

Закрываем дубли при помощи команды Noindex, nofollow

То что гарантированно обеспечит отсутствие дублей в поисковой выдаче – это тег:

Теги noindex, nofollow

 

<meta name="robots" content="noindex, nofollow">,

поисковый робот не при каких обстоятельствах не внесет в индекс информацию со страницы с таким тегом. Не имеет значения разрабатывает вам сайт веб студия или вы
используете готовое решение интернет-магазина, в любом случае дополнительная внимательность не помешает. Страницы на которых нужно использовать тег noindex, nofollow

Noindex, follow для страниц пагинации

В некоторых случаях желательно использовать вот такую комбинацию

<meta name="robots" content="noindex, nofollow">.

Данная комбинация очень хорошо подходит для страниц пагинации. Дело в том, что поисковому роботу очень удобно индексировать новые статьи или товары проходясь по страницам пагинации, но в плане контента данные страницы бесполезны. Поэтому мы даем роботу команду что чтение данных страниц возможно, но добавление их в индекс запрещено.

Rel canonicalИспользование тега Rel canonical

Еще один тег, который создан специально для улучшения индексации вашего сайта это тег rel canonical. В коде страницы он имеет такой вид: <link href="ссылка основной страницы" rel="canonical" />. Этот тег так же можно использовать для решения проблем страниц пагинации. Для того, что бы поисковая система не индексировала множество дублей, достаточно на все страницы пагинации добавить такой код, а вместо слов “ссылка основной страницы” указать например первую страницу пагинации (которая должна быть в индексе). На некоторых сайтах оптимизаторы используют данный тег на всех страницах, указывая в поле для канонической ссылки ссылки (основная страница) ссыклу самой страницы. Это так же помогает поисковой системе отсеять дубли, которые могли появиться при переходе по непрямой ссылке.

  1. Вообще я считаю, что закрывать ссылки от индексации не нужно. Почему? Сайт с открытыми ссылками выглядит более естественно, на него приходят люди и оставляют свои ссылки на качественный контент. Сам яндекс (где-то читала) не любит таких сайтов, где на него ссылается куча других сайтов, а он ни на кого. Конечно, если сайт сделан для людей, то от некачественных ссылок, спама лучше избавляться. Удалять ручками.

    • Ваше мнение не отображает того, что в реальности происходит сегодня в поиске. Сегодня поисковые системы требуют от владельцев сайтов “вылизывать” свои сайты, при этом закрывать все ненужные ссылки. Все это в интересах владельцев сайтов, потому что от этого зависит трафик.

  2. Неужели на всех сайтах с большой индексацией закрыты все ссылки? трафик у меня на сайте меняется иногда из поисковиков очень сильно не из-за ссылок же? честно говоря я никогда не оставляю комментарии на сайтах, где ссылки на мой сайт вообще удаляют

    • Вообще, на хороших сайтах, как правило, внешних ссылок не так и много. Закрывать все ссылки не стоит. Но закрывать те ссылки, которые могут быть спамом (в комментариях например) очень даже желательно.

  3. Что касается страниц пагинации, где-то читала , что их целесообразно делать полезными для посетителей. Например, на страницы категорий и тегов добавлять полезный контент. Правда, частенько для этого необходимо дорабатывать шаблон.

  4. Закрывать страницы от индексирования это хорошо, но действительно ли негативно влияют в глазах бота на сайт те же страницы пагинации, вернее их индексирование?

    • Если ваш сайт похож на мусорный бак, в котором где-то есть и хорошие страницы, то думаю это не очень хорошо.