Помогаем Google боту добраться до CSS и JS файлов

Доступ к файлам CSS и JS в GoogleВсем привет. Совсем недавно многие владельцы сайтов получили очередное письмо от Google в панели для вебмастеров. В этот раз Google просить открыть для индексации файлы скриптов. В моем случае письмо имело такой вид “Googlebot не может получить доступ к файлам CSS и JS на сайте http://gendolf.info/“. Google предупреждает, что из-за данной проблемы сайт может быть даже пессимизирован в поисковой выдаче, что очень нежелательно и грозит снижением трафика.

В рекомендациях для вебмастеров кроме привычных требований также есть и технические. Именно в технических требованиях и указано о необходимости предоставления доступа к файлам CSS и JS. Для проверки доступности данных файлов рекомендуется использовать инструмент “Просмотреть как GoogleBot” и “Инструмент проверка файла robots.txt“.

В современном SEO очень важно держать руку на пульсе, особенно если вы владелец интетнет-магазина либо другого коммерческого ресурса. Если упустить несколько вот таких вот нововведений от Google, можно значительно потерять в трафике и вас не спасут даже преимущества от автоматизации вашего бизнеса (детали по ссылке https://servicespeedup.com/2015/04/).

Ссылка в тему: SEO тренды 2015

Что же нужно сделать с вашим сайтом для того, чтобы Google бот без проблем нашел нужные файлы и проиндексировал их?

Просмотреть как Googlebot

Для начала нужно понять и увидеть как видит Ваш сайт Google бот. Для этого необходимо войти в панель вебмастеров, перейти в раздел Сканирование и выбрать пункт Просмотреть как Googlebot. Ниже снимок экрана для наглядности:

Просмотреть как Googlebot

Чтобы увеличить нажмите на изображение!

Ну а теперь посмотрим как Google видел мой блог до открытия нужных файлов для робота:

Просмотреть как Google бот. Без доступа к скриптам и картинкам

Если Google боту не дать доступ к нужным файлам, он видит сайт не очень хорошо. На сайте seoprofy.ua я нашел несколько решений этой проблемы для разных видов сайтов и для Worpress в том числе.

Для успешной индексации сайта на WordPress нужно обязательно добавить в файл robots.txt вот такие строки:

Allow: /wp-content/themes/*.css

Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css

Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js

Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

После добавления этих строк в robots.txt я провел очередную проверку в Google Вебмастер и получил уже вот такой результат.

prosmotret-kak-google-bot

Уже намного лучше =), осталось только дать доступ роботу к некоторым изображениям. Я добавил вот такую строку:

Allow: /wp-content/themes/название вашей темы/images/ 

В результате Google бот увидел сайт так, как его видят пользователи.

prosmotret-kak-google-bot-good

Что же делать тем у кого другие CMS либо самописные сайты?

Решение для всех CMS

Данное универсальное решение позволит дать доступ Google боту к необходимым файлам в любой современной CMS.

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png

Решение для CMS Joomla

Данное решение позволит дать доступ Google боту к необходимым файлам в популярной CMS Joomla.

Allow: /templates/*.css
Allow: /templates/*.js
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.js
Allow: /media/*.css
Allow: /plugins/*.css
Allow: /plugins/*.js

Решение для CMS DLE

Владельцам сайтов на DLE нужно добавить вот такие строки в свой robots.txt.

Allow: /engine/classes/*.css

Allow: /engine/classes/*.js

Allow: /templates/Название шаблона/style/*.css

Allow: /templates/Название шаблона/js/*.js

Оцени пост!

Трешак >:-(Бесполезно :-(Как вариант :-|Полезно :-)Супер 8-)
Loading...

Статьи по теме

  1. Макс пишет:

    Вот век живи век учись, хорошая статья. Каждый день обновы новые выходят, только успевай отслеживать. Хорошая статья, буду пробовать.

  2. Марк пишет:

    Мой сайтик http://christianrock.ru/ стоит на DLE, мне нужно что то менять или настраивать для того что бы оптимизировать его?

    • Gendolf пишет:

      Читайте статьи про внутреннюю оптимизацию и на основании полученный информации вносите изменения на сайт. Как правило оптимизация это технические моменты, структура, метатеги, контент, индексация и т.д.

  3. Александр пишет:

    Спасибо за предупреждение. Хотя гугл мне ничего не писал, что ему что то не нравится. Сейчас специально выполнил “посмотреть как googlebot”. Сайт конечно показывается очень криво, поскольку стили и некоторые фоновые картинки действительно не показываются, но сам контент выводится.
    Теперь в раздумьях, оставить все как есть или разрешить просмотр стилей и скриптов. А яндекс что-нибудь говорил по данной теме?

  4. Аквалайн пишет:

    Спасиб помогло решить проблему с доступом гугл бота к нашим CSS

  5. Ростислав пишет:

    О супер ,для яши давно нашел что в робот тхт прописать а для гугла все плагины по запросу предлагает и ни одной толковой статьи

  6. Sergio пишет:

    Забавно, что еще несколько месяцев назад в интернете можно было найти рекомендовали с точностью до наоборот. Я вообще предпочитаю по мнимому использовать возможности robots.txt. Google видней, что ему и как индексировать.

  7. ABE-Строй пишет:

    Ура.. Спасибо помогло а то все что то ругался гугл в вебмастере

  8. Отличная статья! Не смотрел за этим, и гугл выкинул все мои страницы из поиска из-за этого!
    Сейчас все исправил, но сказали что да, мы разбираемся, в течении нескольких недель проверим его!)))))) Вылетал он гораздо быстрее)) так что не ждите пока вылетит, оптимизируйте свои сайты под ботов!))Все удачного продвижения!

    • Gendolf пишет:

      Я не думаю что выпадение сайта из индекса как-то связано с темой данного поста. Если у вас были проблемы с сайтом, то думаю, что вы решили ее не при помощи настройки robots.txt.