Готовый файл robots.txt для WordPress

Файл robots.txt предназначен для поисковых систем. В этом файле прописываются директории и страницы сайта, которые не должны индексироваться роботами поисковых систем. Как правило, robots.txt также содержит ссылку на файл sitemap.xml — карта сайта для поисковых систем. Подробнее про нее смотрите здесь. А готовый файл robots.txt для WordPress Вы найдете в данном уроке.

В системе WordPress есть много папок, которые необходимо скрыть от индексации поисковыми системами. Это позволит в будущем избежать проблем с индексацией, а также снизит нагрузку на веб-сервер. Более подробно о файле robots.txt можно ознакомиться, перейдя по ссылке. В этом же уроке я приведу пример правильного файла robots.txt для WordPress. На своем блоге я использую именно его.

Пример готового файла robots.txt для WordPress представлен ниже:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Host: siteblogger.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Sitemap: //siteblogger.ru/sitemap.xml

Для того, чтобы создать файл robots.txt можно воспользоваться простым блокнотом. Для этого создаем текстовый документ, открываем его, копируем в него все строки из указанного выше примера, затем сохраняем документ, как «robots.txt». После создания этого файла нужно поместить его в корневую директорию на хостинге — там, где лежат все папки и файлы сайта. Как правило, папка «public_html» является корневой. Вот, собственно, и все.