Файл robots.txt предназначен для поисковых систем. В этом файле прописываются директории и страницы сайта, которые не должны индексироваться роботами поисковых систем. Как правило, robots.txt также содержит ссылку на файл sitemap.xml — карта сайта для поисковых систем. Подробнее про нее смотрите здесь.
В системе WordPress есть много папок, которые необходимо скрыть от индексации поисковыми системами. Это позволит в будущем избежать проблем с индексацией, а также снизит нагрузку на веб-сервер. Более подробно о файле robots.txt можно ознакомиться, перейдя по ссылке.
Пример готового файла robots.txt для WordPress представлен ниже:
User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /tag Host: https://siteblogger.ru User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /tag Sitemap: https://siteblogger.ru/sitemap.xml
Для того, чтобы создать файл robots.txt можно воспользоваться простым блокнотом. Для этого создаем текстовый документ, открываем его, копируем в него все строки из указанного выше примера, затем сохраняем документ, как «robots.txt». После создания этого файла нужно поместить его в корневую директорию на хостинге — там, где лежат все папки и файлы сайта. Как правило, папка «public_html» является корневой. Вот, собственно, и все.
