Но интересно, учитывается ли его наличие как фактор ранжирования в 2019?
просто само наличие )

Latinos, очень хороший вопрос. Поисковики требуют его наличие, как не странно. Поэтому пусть будет, даже пустой, адрес карты сайта как-то же узнавать пауку надо.

Так его вроде давно уже в вебмастере записывают )

VinogradOFF, ну так вебмастерами не все же пользуются.

Андрей_WPM, ну если человек не пользуется вебмастерами, то и составить правильный роботс ему видимо не особо надо )
просто я не понимаю как можно разбираться в одном и не пользоватся тем что дают сами ПС нам в инструментарий )

VinogradOFF, Я полностью понимаю Ваше негодование. Но даже на этом форуме не раз ВМы говорили, что серые сайты не добавляют в вебмастера Гугла и Яндекса. Отсюда и мой ответ. Как раз этот случай предполагает, что все методы сео как раз нужны ВМу, а вот вебмастера поисковиков нет.

Это 100% не фактор ранжирования, а всего лишь рекомендуемый элемент

Сообщение отредактировал Mistic - 13.7.2019, 11:10

Что посоветуете добавить или убрать, плагины для сеоптимизации не использую.
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag



User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

Host: mysite.com
Sitemap: http://mysite.com/sitemap.xml.gz
Sitemap: http://mysite.com/sitemap.xml

zyzy, Я посоветую удалить всё кроме карты и хоста! И почему я так считаю, описал в статье.

Директории:
Disallow: /wp-admin
Disallow: /wp-includes
Закрывать бессмысленно! До них краулер не доберется. В статье я написал почему.

Директории:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Обычно закрыты от прямого вхождения, поэтому перейдя по такому адресу и вы и краулер увидит белый лист - абсолютно пустую страницу. А раз на ней нет ничего, даже пустого html краулер никогда в жизни не будет такие адреса индексировать.

Директории:
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Закрываются (удаляются) штатными средствами ВП в настройках уведомлений. Поэтому такие страницы удаляются физически и навряд-ли на них где-то будет ссылка на сайте. Поэтому закрывать воздух - бессмысленное занятие.

Директории:
Disallow: */*/feed/*/
Disallow: */feed
Либо убиваются одним из плагинов Clearfy, либо не трогают их. Потому-что страницы фидов никогда не попадут в индекс. Они не будут конкурировать с контентом на сайте.

Генерированные страницы с гет параметрами Disallow: /*?* очень спорный вопрос. Лично я никогда в жизни их не закрывал и никогда они в индекс у меня не попадали. Главное правильно настроить ЧПУ штатными средствами ВП.

На теги Disallow: /tag могут сослаться другие сайты (скажем граббером пройдутся или чем-то подобным) и не смотря на запрет, они будут проиндексированы СМ. ВИДЕО Джон Мюллер в статье. Теги закрываются тегом роботс ноиндекс через Yoast Seo автоматически или выборочно вручную через тот же плагин Yoast Seo.