Джон Мюллер, представитель компании Google, в одном из топиков сервиса Google Webmaster Help отметил, что владельцам сайтов лучше всего не трогать настройки Robots.txt. Один из пользователей спросил, стоит ли блокировать доступ поисковой системы к админ панели для сайтов, созданных на базе CMS WordPress.

Джон отмечает, что в большинстве случаев рекомендуется оставить настройки по умолчанию. Особенно это касается сайтов, управляемых CMS WordPress, так как эта система управления контентом заранее «дружественно настроена» по отношению к поисковым системам.

Джон написал:

Если вы не знаете что конкретно изменить в файле robots.txt, оставьте его таким, каким он есть. Для получения дополнительной информации касательно принципа работы этого файла, необходимо перейти по ссылке.

Поэтому если вы не замечаете никаких проблем в работе сайта, связанных с файлом robots.txt, лучше всего не редактируйте его, оставив текущие настройки.

Original

Reviewer
Google: не меняйте настройки Robots.txt
Название
Google: не меняйте настройки Robots.txt
Описание
владельцам сайтов лучше всего не трогать настройки Robots.txt.
Автор
Издатель
8d9.ru
Лого
Google: не меняйте настройки Robots.txt
Оценка