Всем привет. Совсем недавно многие владельцы сайтов получили очередное письмо от Google в панели для вебмастеров. В этот раз Google просить открыть для индексации файлы скриптов. В моем случае письмо имело такой вид “Googlebot не может получить доступ к файлам CSS и JS на сайте https://gendolf.info/“. Google предупреждает, что из-за данной проблемы сайт может быть даже пессимизирован в поисковой выдаче, что очень нежелательно и грозит снижением трафика.

В рекомендациях для вебмастеров кроме привычных требований также есть и технические. Именно в технических требованиях и указано о необходимости предоставления доступа к файлам CSS и JS. Для проверки доступности данных файлов рекомендуется использовать инструмент “Просмотреть как GoogleBot” и “Инструмент проверка файла robots.txt“.

В современном SEO очень важно держать руку на пульсе, особенно если вы владелец интетнет-магазина либо другого коммерческого ресурса. Если упустить несколько вот таких вот нововведений от Google, можно значительно потерять в трафике и вас не спасут даже преимущества от автоматизации вашего бизнеса (детали по ссылке https://servicespeedup.com/2015/04/).

[adrotate banner=”7″]

Ссылка в тему: SEO тренды 2015

Что же нужно сделать с вашим сайтом для того, чтобы Google бот без проблем нашел нужные файлы и проиндексировал их?

Просмотреть как Googlebot

Для начала нужно понять и увидеть как видит Ваш сайт Google бот. Для этого необходимо войти в панель вебмастеров, перейти в раздел Сканирование и выбрать пункт Просмотреть как Googlebot. Ниже снимок экрана для наглядности:

Чтобы увеличить нажмите на изображение!

Ну а теперь посмотрим как Google видел мой блог до открытия нужных файлов для робота:

Если Google боту не дать доступ к нужным файлам, он видит сайт не очень хорошо. На сайте seoprofy.ua я нашел несколько решений этой проблемы для разных видов сайтов и для Worpress в том числе.

Для успешной индексации сайта на WordPress нужно обязательно добавить в файл robots.txt вот такие строки:

Allow: /wp-content/themes/*.css

Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css

Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js

Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

После добавления этих строк в robots.txt я провел очередную проверку в Google Вебмастер и получил уже вот такой результат.

[adrotate banner=”7″]

Уже намного лучше =), осталось только дать доступ роботу к некоторым изображениям. Я добавил вот такую строку:

Allow: /wp-content/themes/название вашей темы/images/ 

В результате Google бот увидел сайт так, как его видят пользователи.

Что же делать тем у кого другие CMS либо самописные сайты?

Решение для всех CMS

Данное универсальное решение позволит дать доступ Google боту к необходимым файлам в любой современной CMS.

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png

Решение для CMS Joomla

Данное решение позволит дать доступ Google боту к необходимым файлам в популярной CMS Joomla.

Allow: /templates/*.css
Allow: /templates/*.js
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.js
Allow: /media/*.css
Allow: /plugins/*.css
Allow: /plugins/*.js

Решение для CMS DLE

Владельцам сайтов на DLE нужно добавить вот такие строки в свой robots.txt.

Allow: /engine/classes/*.css

Allow: /engine/classes/*.js

Allow: /templates/Название шаблона/style/*.css

Allow: /templates/Название шаблона/js/*.js