Помогаем Google боту добраться до CSS и JS файлов

Доступ к файлам CSS и JS в GoogleВсем привет. Совсем недавно многие владельцы сайтов получили очередное письмо от Google в панели для вебмастеров. В этот раз Google просить открыть для индексации файлы скриптов. В моем случае письмо имело такой вид “Googlebot не может получить доступ к файлам CSS и JS на сайте http://gendolf.info/“. Google предупреждает, что из-за данной проблемы сайт может быть даже пессимизирован в поисковой выдаче, что очень нежелательно и грозит снижением трафика.

В рекомендациях для вебмастеров кроме привычных требований также есть и технические. Именно в технических требованиях и указано о необходимости предоставления доступа к файлам CSS и JS. Для проверки доступности данных файлов рекомендуется использовать инструмент “Просмотреть как GoogleBot” и “Инструмент проверка файла robots.txt“.

В современном SEO очень важно держать руку на пульсе, особенно если вы владелец интетнет-магазина либо другого коммерческого ресурса. Если упустить несколько вот таких вот нововведений от Google, можно значительно потерять в трафике и вас не спасут даже преимущества от автоматизации вашего бизнеса (детали по ссылке https://servicespeedup.com/2015/04/).

Ссылка в тему: SEO тренды 2015

Что же нужно сделать с вашим сайтом для того, чтобы Google бот без проблем нашел нужные файлы и проиндексировал их?

Просмотреть как Googlebot

Для начала нужно понять и увидеть как видит Ваш сайт Google бот. Для этого необходимо войти в панель вебмастеров, перейти в раздел Сканирование и выбрать пункт Просмотреть как Googlebot. Ниже снимок экрана для наглядности:

Просмотреть как Googlebot

Чтобы увеличить нажмите на изображение!

Ну а теперь посмотрим как Google видел мой блог до открытия нужных файлов для робота:

Просмотреть как Google бот. Без доступа к скриптам и картинкам

Если Google боту не дать доступ к нужным файлам, он видит сайт не очень хорошо. На сайте seoprofy.ua я нашел несколько решений этой проблемы для разных видов сайтов и для Worpress в том числе.

Для успешной индексации сайта на WordPress нужно обязательно добавить в файл robots.txt вот такие строки:

Allow: /wp-content/themes/*.css

Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css

Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js

Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

После добавления этих строк в robots.txt я провел очередную проверку в Google Вебмастер и получил уже вот такой результат.

prosmotret-kak-google-bot

Уже намного лучше =), осталось только дать доступ роботу к некоторым изображениям. Я добавил вот такую строку:

Allow: /wp-content/themes/название вашей темы/images/ 

В результате Google бот увидел сайт так, как его видят пользователи.

prosmotret-kak-google-bot-good

Что же делать тем у кого другие CMS либо самописные сайты?

Решение для всех CMS

Данное универсальное решение позволит дать доступ Google боту к необходимым файлам в любой современной CMS.

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png

Решение для CMS Joomla

Данное решение позволит дать доступ Google боту к необходимым файлам в популярной CMS Joomla.

Allow: /templates/*.css
Allow: /templates/*.js
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.js
Allow: /media/*.css
Allow: /plugins/*.css
Allow: /plugins/*.js

Решение для CMS DLE

Владельцам сайтов на DLE нужно добавить вот такие строки в свой robots.txt.

Allow: /engine/classes/*.css

Allow: /engine/classes/*.js

Allow: /templates/Название шаблона/style/*.css

Allow: /templates/Название шаблона/js/*.js

Оцени пост!

Трешак >:-(Бесполезно :-(Как вариант :-|Полезно :-)Супер 8-) (1 голоса, оценка: 5.00 из 5)
Loading...

Статьи по теме

  1. Макс пишет:

    Вот век живи век учись, хорошая статья. Каждый день обновы новые выходят, только успевай отслеживать. Хорошая статья, буду пробовать.

  2. Марк пишет:

    Мой сайтик http://christianrock.ru/ стоит на DLE, мне нужно что то менять или настраивать для того что бы оптимизировать его?

    • Gendolf пишет:

      Читайте статьи про внутреннюю оптимизацию и на основании полученный информации вносите изменения на сайт. Как правило оптимизация это технические моменты, структура, метатеги, контент, индексация и т.д.

  3. Александр пишет:

    Спасибо за предупреждение. Хотя гугл мне ничего не писал, что ему что то не нравится. Сейчас специально выполнил “посмотреть как googlebot”. Сайт конечно показывается очень криво, поскольку стили и некоторые фоновые картинки действительно не показываются, но сам контент выводится.
    Теперь в раздумьях, оставить все как есть или разрешить просмотр стилей и скриптов. А яндекс что-нибудь говорил по данной теме?

  4. Аквалайн пишет:

    Спасиб помогло решить проблему с доступом гугл бота к нашим CSS

  5. Ростислав пишет:

    О супер ,для яши давно нашел что в робот тхт прописать а для гугла все плагины по запросу предлагает и ни одной толковой статьи

  6. Sergio пишет:

    Забавно, что еще несколько месяцев назад в интернете можно было найти рекомендовали с точностью до наоборот. Я вообще предпочитаю по мнимому использовать возможности robots.txt. Google видней, что ему и как индексировать.

  7. ABE-Строй пишет:

    Ура.. Спасибо помогло а то все что то ругался гугл в вебмастере

  8. Отличная статья! Не смотрел за этим, и гугл выкинул все мои страницы из поиска из-за этого!
    Сейчас все исправил, но сказали что да, мы разбираемся, в течении нескольких недель проверим его!)))))) Вылетал он гораздо быстрее)) так что не ждите пока вылетит, оптимизируйте свои сайты под ботов!))Все удачного продвижения!

    • Gendolf пишет:

      Я не думаю что выпадение сайта из индекса как-то связано с темой данного поста. Если у вас были проблемы с сайтом, то думаю, что вы решили ее не при помощи настройки robots.txt.

  9. Днепрянин пишет:

    Здравствуйте уважаемый gendolf. Очень помогла ваша статья.
    Хотел не писать о ищущих ссылочки и не вникающих в пост, так, по быстрому, и не буду. Раз одобряете… хотя только АГС недавно посещал )
    По теме – все стало на свои места, Googlebot теперь может получить доступ к файлам CSS и JS, но у меня есть вопросы. Буду благодарен если ответите.
    1) http://zakaz-mikroavtobusa.com.ua/wp-content/plugins/wordpress-file-monitor/wordpress-file-monitor.php?ver=scan Таблица стилей Заблокировано Низкий Инструмент проверки файла robots.txt
    просит удалить Disallow: /*? хотя предъидущая проверка запрашивала Disallow: /*?* может не обращать внимания?
    2) http://mc.yandex.ru/metrika/watch.js Скрипт Заблокировано Низкий robots.txt
    после клика выдает:
    User-Agent: *
    Disallow: /
    Что это значит?
    3) http://openstat.net/cnt.js Скрипт Заблокировано Низкий robots.txt
    после клика выдает:
    User-agent: *
    Disallow: /cnt
    В robots.txt таких символов нет… Что это значит?
    По последним двум пунктам у меня подозрения – я устанавливал плагин Responsible для адаптации сайта под мобильные устройства, но как оказалось он там 100 лет не нужен… Только вот после него у меня не отображаются рейтинги, размещены в футере. С мобильного видно, а с компа нет. Не подскажете? сайт http://zakaz-mikroavtobusa.com.ua/

  10. Днепрянин пишет:

    Извиняюсь, Responsible не причем. Просто в браузере стоит uBlock₀.
    Все остальное по теме – Googlebot не может получить доступ к файлам CSS и JS – актуально.

  11. Днепрянин пишет:

    Вот так для многих блогеров которые сидят только в админке и не мониторят в гугл вэбмастер. Из за таких внутренних ошибок как – Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован.
    Это может ухудшить позиции Вашего сайта в Поиске.
    А потом удивляются, что сайт упал в выдаче, хотя и за ссылочками ходят постоянно.