Как создать файл robots.txt для WordPress

Всем привет! Начитался и поэкспериментировал я с Robots.txt для WordPress, что информация уже сама просится с кем-нибудь поделиться. Ладно, если было бы что-то страшное и архисложное, а так простенький, текстовый файл, который всего лишь нужно создать на рабочем столе с помощью правой кнопки мыши, переименовать его в robots.txt, записать в нем несколько директив и (закинуть) перенести, с помощью Ftp-клиента ( Total Commander или FileZilla) на сервер, в корневой каталог вашего сайта. Все господа! Дело сделано! Можно теперь и «Трубку Мира» закурить. Но без нескольких уточнений, все же, нам не обойтись.

• Для чего нужен Robots.txt?

Все очень просто. Чтобы поисковые роботы-пауки не «шастали» по вашему сайту где им не следует и не индексировали все, что попало им в «лапы», мы, с помощью разрешающих (Allow) или запрещающих (Disallow) директив (команд), даем им указание (а скорее рекомендуем), что нужно индексировать, а на что не стоит тратить время и трафик.

Кстати, потраченное поисковиком время на сканирование сайта/блога, может отразиться на том, как часто робот будет заходить на вашу интернет-страницу в будущем и, к тому же, будет влиять на дальнейшее seo – продвижение вашего проекта. И если у вас Seo-файла robots.txt нет вообще, или он создан не правильно или с ошибками, то не стоит надеяться на ежедневное сканирование страниц вашего сайта, а это, в свою очередь, чревато редкой индексацией контента. Потому, советую отнестись к составлению Robots.txt со всей ответственностью и, лучше всего, если сделаете это на самом начальном этапе настройки блога/сайта.

♦ Как создать Robots.txt

Даже у новичков, надеюсь, это действие не должно вызвать больших проблем. Но, на всякий случай, предлагаю посмотреть скриншот:
Повторюсь. На рабочем столе нажимаем правую кнопку мыши и выбираем «Создать» — «Текстовый документ»:

Созданному файлу нужно присвоить имя. Наводим курсор мыши на файл, нажимаем правую кнопку и выбираем «Переименовать». Пишем «robots.txt» без кавычек. Все.
Теперь в этот файл нужно записать некоторые директивы.

♦ Что писать в Robots.txt для WordPress?

Основываясь на своей практике, перед тем как создать «robots.txt», было бы не плохо хорошенько изучить дизайн своего блога ( если не вы его делали а, например, поставили шаблонный дизайн), и особенно, обратить внимание на формирование шаблоном ссылок комментариев, rss, feed, меток и т.д., а так же внимательно ознакомьтесь с внутренними файлами и папками, находящимися в корневом каталоге. От этого будет зависеть правильность составления «robots.txt».

Давайте как пример, рассмотрим директивы в моем файле, который можете посмотреть по этой ссылке https://webodyssey.info/robots.txt

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/languages
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-comments
Disallow: */comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: /trackback
Disallow: */trackback
Disallow: /feed/
Disallow: */feed
Disallow: /*?*
Disallow: /*?

Вторая часть файла

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/languages
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-comments
Disallow: */comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: /trackback
Disallow: */trackback
Disallow: /feed/
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Host: webodyssey.info
.
Sitemap: https://webodyssey.info/sitemap.xml

♦ Директивы Robots.txt в подробностях

User-agent: — этой записью вы обращаетесь к какому-нибудь поисковому роботу. Как пример, можем записать так: User-agent: Yahoo
В моем случае, в «User-agent: *» — использован знак подстановки «*», то есть обращение направлено для всех роботов без исключений, тогда как в другой части, те же правила, но предназначены уже для поисковика Yandex.

Allow: /wp-content/uploads/ — Этой командой я разрешил индексировать папку
Uploads, (в которой находятся все картинки используемые в статьях), которая, в свою очередь, находится в каталоге wp-content. Эту директорию я прописал в качестве эксперимента, так как мне не очень нравилось, как Гугл индексирует мои картинки.
Вам это делать не обязательно и вполне хватит запрещающих команд Disallow:
Ведь то, что не запрещено – значит разрешено. Кстати, спустя три месяца, индексация картинок так и не улучшилась (видно причина в другом), потому мне эту строчку, скорее всего, придется убрать.

Disallow: /wp-login.php – такой директивой закроем файл с помощью которого мы, вводя логин и пароль, заходим на блог. К таким служебным, системным файлам и папкам можно отнести:

/wp-register.php
/wp-admin
/wp-includes
/wp-content/languages
/wp-content/plugins
/wp-content/cache
/wp-content/themes
/wp-comments

Чтобы запретить роботам индексировать трекбеки, фид и комментарии нужно внести такие записи:

*/comments
/xmlrpc.php
/trackback
/trackback
*/trackback
/feed/
*/feed

Этими записями мы запретим дубли страниц в поисковой выдаче.

Disallow: /*?*
Disallow: /*?

Дальше прописан Host: для Яндекса, что бы он видел главное зеркало ( с www или без) вашего блога. Я, например, для пущей уверенности, указал этот же адрес еще и в  Вебмастер Яндекс

Ну и в завершении, мы записываем адрес карты сайта в формате .xml. Это делается для облегчения поиска Яндексом этого файла на вашем блоге.

На этом буду заканчивать. Удачи Вам! и до следующих статей.
С огромным Уважением, Vladimir Zadorozhnyuk