X   Сообщение сайта
(Сообщение закроется через 3 секунды)


 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Добавить ответ в эту тему
> Составляем правильный robots.txt для WP, wpmaster.kz - Блог о WordPress для веб-мастеров.
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 10.7.2019, 18:58; Ответить: Андрей_WPM
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 365
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 147 раз
Репутация:   20  




Всем форумчанам, салют!

Решил тут я затронуть тему роботса для ВордПресс сайтов, вижу ещё многие вебмастера плавают в данном направлении. Тем более, требования к этому файлу меняются чуть ли не каждый год, поэтому быть в тренде нужно.

В статье я подробно описал какие директории нужно закрывать в WordPress'е, а какие уже смысла нет абсолютно. Что работает, а что уже кануло в лету. В общем, читаем, питаем, используем.

Время прочтения: ~8 минут.
Уровень: Начинающий, Пользователь.
Статья на блоге: Правильный файл роботс для Вордпресс.

Ну а то что я всегда готов обсудить или выслушать критику, вы и так знаете.


--------------------


Поблагодарили: (2)
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Latinos
Latinos
сообщение 10.7.2019, 23:18; Ответить: Latinos
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 338
Регистрация: 13.8.2018
Из: Там
Поблагодарили: 52 раза
Репутация:   6  


Цитата
Как видите, файл robots txt потерял свою актуальность к 2019 году (по крайней мере в мире WordPress). Закрывать практически нечего, поэтому данный файл обречен пустовать и мозолить всем вебмастерам глаз.


Но интересно, учитывается ли его наличие как фактор ранжирования в 2019?
просто само наличие )


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 11.7.2019, 9:31; Ответить: Андрей_WPM
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 365
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 147 раз
Репутация:   20  


Latinos, очень хороший вопрос. Поисковики требуют его наличие, как не странно. Поэтому пусть будет, даже пустой, адрес карты сайта как-то же узнавать пауку надо.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 11.7.2019, 21:09; Ответить: VinogradOFF
Сообщение #4


Топовый постер
*******


Группа: Active User
Сообщений: 2780
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 344 раза
Репутация:   27  


Цитата(Андрей_WPM @ 11.7.2019, 9:31) *
адрес карты сайта как-то же узнавать пауку надо


Так его вроде давно уже в вебмастере записывают )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 12.7.2019, 6:00; Ответить: Андрей_WPM
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 365
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 147 раз
Репутация:   20  


VinogradOFF, ну так вебмастерами не все же пользуются.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 12.7.2019, 12:50; Ответить: VinogradOFF
Сообщение #6


Топовый постер
*******


Группа: Active User
Сообщений: 2780
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 344 раза
Репутация:   27  


Андрей_WPM, ну если человек не пользуется вебмастерами, то и составить правильный роботс ему видимо не особо надо )
просто я не понимаю как можно разбираться в одном и не пользоватся тем что дают сами ПС нам в инструментарий )


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 12.7.2019, 15:50; Ответить: Андрей_WPM
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 365
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 147 раз
Репутация:   20  


VinogradOFF, Я полностью понимаю Ваше негодование. Но даже на этом форуме не раз ВМы говорили, что серые сайты не добавляют в вебмастера Гугла и Яндекса. Отсюда и мой ответ. Как раз этот случай предполагает, что все методы сео как раз нужны ВМу, а вот вебмастера поисковиков нет. :)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mistic
Mistic
сообщение 13.7.2019, 11:09; Ответить: Mistic
Сообщение #8


В мечтах...
******

Группа: Active User
Сообщений: 1132
Регистрация: 2.1.2014
Поблагодарили: 604 раза
Репутация:   105  


Цитата(Latinos @ 10.7.2019, 23:18) *
Но интересно, учитывается ли его наличие как фактор ранжирования в 2019?
просто само наличие )

Это 100% не фактор ранжирования, а всего лишь рекомендуемый элемент

Сообщение отредактировал Mistic - 13.7.2019, 11:10


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zyzy
zyzy
сообщение 13.7.2019, 13:08; Ответить: zyzy
Сообщение #9


Завсегдатай
*****

Группа: Active User
Сообщений: 783
Регистрация: 23.8.2010
Поблагодарили: 100 раз
Репутация:   9  


Что посоветуете добавить или убрать, плагины для сеоптимизации не использую.
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag



User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

Host: mysite.com
Sitemap: http://mysite.com/sitemap.xml.gz
Sitemap: http://mysite.com/sitemap.xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 13.7.2019, 16:03; Ответить: Андрей_WPM
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 365
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 147 раз
Репутация:   20  


zyzy, Я посоветую удалить всё кроме карты и хоста! :D И почему я так считаю, описал в статье.

Директории:
Disallow: /wp-admin
Disallow: /wp-includes
Закрывать бессмысленно! До них краулер не доберется. В статье я написал почему.

Директории:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Обычно закрыты от прямого вхождения, поэтому перейдя по такому адресу и вы и краулер увидит белый лист - абсолютно пустую страницу. А раз на ней нет ничего, даже пустого html краулер никогда в жизни не будет такие адреса индексировать.

Директории:
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Закрываются (удаляются) штатными средствами ВП в настройках уведомлений. Поэтому такие страницы удаляются физически и навряд-ли на них где-то будет ссылка на сайте. Поэтому закрывать воздух - бессмысленное занятие.

Директории:
Disallow: */*/feed/*/
Disallow: */feed
Либо убиваются одним из плагинов Clearfy, либо не трогают их. Потому-что страницы фидов никогда не попадут в индекс. Они не будут конкурировать с контентом на сайте.

Генерированные страницы с гет параметрами Disallow: /*?* очень спорный вопрос. Лично я никогда в жизни их не закрывал и никогда они в индекс у меня не попадали. Главное правильно настроить ЧПУ штатными средствами ВП.

На теги Disallow: /tag могут сослаться другие сайты (скажем граббером пройдутся или чем-то подобным) и не смотря на запрет, они будут проиндексированы СМ. ВИДЕО Джон Мюллер в статье. Теги закрываются тегом роботс ноиндекс через Yoast Seo автоматически или выборочно вручную через тот же плагин Yoast Seo.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Добавить ответ в эту тему
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыДОП приблуда для мастера Веб
у кого какая?
6 MihalychAIP 69 Сегодня, 4:00
автор: Serikos
Открытая тема (нет новых ответов) Google: заголовки H1 не важны для ранжирования
7 VinogradOFF 284 Сегодня, 0:08
автор: Trumper
Открытая тема (нет новых ответов) Соцсигналы для сайта
Где купить соцсигналы?
17 press74 332 Вчера, 23:49
автор: Trumper
Открытая тема (нет новых ответов) DoubleVPN.com - качественный VPN-сервис для успешных людей!
18 DoubleVPN 6756 Вчера, 20:21
автор: DoubleVPN
Открытая тема (нет новых ответов) Глава Microsoft: «Windows перестала быть для нас приоритетом»
6 MissContent 195 Вчера, 20:03
автор: Omrel


 



RSS Текстовая версия Сейчас: 17.10.2019, 4:46
Дизайн