X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Добавить ответ в эту тему
> Составляем правильный robots.txt для WP, wpmaster.kz - Блог о WordPress для веб-мастеров.
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 10.7.2019, 18:58; Ответить: Андрей_WPM
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 271
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 103 раза
Репутация:   12  




Всем форумчанам, салют!

Решил тут я затронуть тему роботса для ВордПресс сайтов, вижу ещё многие вебмастера плавают в данном направлении. Тем более, требования к этому файлу меняются чуть ли не каждый год, поэтому быть в тренде нужно.

В статье я подробно описал какие директории нужно закрывать в WordPress'е, а какие уже смысла нет абсолютно. Что работает, а что уже кануло в лету. В общем, читаем, питаем, используем.

Время прочтения: ~8 минут.
Уровень: Начинающий, Пользователь.
Статья на блоге: Правильный файл роботс для Вордпресс.

Ну а то что я всегда готов обсудить или выслушать критику, вы и так знаете.


--------------------


Поблагодарили: (2)
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Latinos
Latinos
сообщение 10.7.2019, 23:18; Ответить: Latinos
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 274
Регистрация: 13.8.2018
Из: Там
Поблагодарили: 45 раз
Репутация:   5  


Цитата
Как видите, файл robots txt потерял свою актуальность к 2019 году (по крайней мере в мире WordPress). Закрывать практически нечего, поэтому данный файл обречен пустовать и мозолить всем вебмастерам глаз.


Но интересно, учитывается ли его наличие как фактор ранжирования в 2019?
просто само наличие )


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 11.7.2019, 9:31; Ответить: Андрей_WPM
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 271
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 103 раза
Репутация:   12  


Latinos, очень хороший вопрос. Поисковики требуют его наличие, как не странно. Поэтому пусть будет, даже пустой, адрес карты сайта как-то же узнавать пауку надо.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 11.7.2019, 21:09; Ответить: VinogradOFF
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 2141
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 252 раза
Репутация:   20  


Цитата(Андрей_WPM @ 11.7.2019, 9:31) *
адрес карты сайта как-то же узнавать пауку надо


Так его вроде давно уже в вебмастере записывают )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 12.7.2019, 6:00; Ответить: Андрей_WPM
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 271
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 103 раза
Репутация:   12  


VinogradOFF, ну так вебмастерами не все же пользуются.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 12.7.2019, 12:50; Ответить: VinogradOFF
Сообщение #6


Старожил
******

Группа: Active User
Сообщений: 2141
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 252 раза
Репутация:   20  


Андрей_WPM, ну если человек не пользуется вебмастерами, то и составить правильный роботс ему видимо не особо надо )
просто я не понимаю как можно разбираться в одном и не пользоватся тем что дают сами ПС нам в инструментарий )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 12.7.2019, 15:50; Ответить: Андрей_WPM
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 271
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 103 раза
Репутация:   12  


VinogradOFF, Я полностью понимаю Ваше негодование. Но даже на этом форуме не раз ВМы говорили, что серые сайты не добавляют в вебмастера Гугла и Яндекса. Отсюда и мой ответ. Как раз этот случай предполагает, что все методы сео как раз нужны ВМу, а вот вебмастера поисковиков нет. :)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mistic
Mistic
сообщение 13.7.2019, 11:09; Ответить: Mistic
Сообщение #8


В мечтах...
******

Группа: Active User
Сообщений: 1114
Регистрация: 2.1.2014
Поблагодарили: 598 раз
Репутация:   105  


Цитата(Latinos @ 10.7.2019, 23:18) *
Но интересно, учитывается ли его наличие как фактор ранжирования в 2019?
просто само наличие )

Это 100% не фактор ранжирования, а всего лишь рекомендуемый элемент

Сообщение отредактировал Mistic - 13.7.2019, 11:10


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zyzy
zyzy
сообщение 13.7.2019, 13:08; Ответить: zyzy
Сообщение #9


Завсегдатай
*****

Группа: Active User
Сообщений: 763
Регистрация: 23.8.2010
Поблагодарили: 86 раз
Репутация:   4  


Что посоветуете добавить или убрать, плагины для сеоптимизации не использую.
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag



User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

Host: mysite.com
Sitemap: http://mysite.com/sitemap.xml.gz
Sitemap: http://mysite.com/sitemap.xml


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Андрей_WPM
Андрей_WPM
Topic Starter сообщение 13.7.2019, 16:03; Ответить: Андрей_WPM
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 271
Регистрация: 10.3.2019
Из: Казахстан, Россия
Поблагодарили: 103 раза
Репутация:   12  


zyzy, Я посоветую удалить всё кроме карты и хоста! :D И почему я так считаю, описал в статье.

Директории:
Disallow: /wp-admin
Disallow: /wp-includes
Закрывать бессмысленно! До них краулер не доберется. В статье я написал почему.

Директории:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Обычно закрыты от прямого вхождения, поэтому перейдя по такому адресу и вы и краулер увидит белый лист - абсолютно пустую страницу. А раз на ней нет ничего, даже пустого html краулер никогда в жизни не будет такие адреса индексировать.

Директории:
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Закрываются (удаляются) штатными средствами ВП в настройках уведомлений. Поэтому такие страницы удаляются физически и навряд-ли на них где-то будет ссылка на сайте. Поэтому закрывать воздух - бессмысленное занятие.

Директории:
Disallow: */*/feed/*/
Disallow: */feed
Либо убиваются одним из плагинов Clearfy, либо не трогают их. Потому-что страницы фидов никогда не попадут в индекс. Они не будут конкурировать с контентом на сайте.

Генерированные страницы с гет параметрами Disallow: /*?* очень спорный вопрос. Лично я никогда в жизни их не закрывал и никогда они в индекс у меня не попадали. Главное правильно настроить ЧПУ штатными средствами ВП.

На теги Disallow: /tag могут сослаться другие сайты (скажем граббером пройдутся или чем-то подобным) и не смотря на запрет, они будут проиндексированы СМ. ВИДЕО Джон Мюллер в статье. Теги закрываются тегом роботс ноиндекс через Yoast Seo автоматически или выборочно вручную через тот же плагин Yoast Seo.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Добавить ответ в эту тему
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) В Казахстане провайдеры вводят национальный сертификат безопасности для узаконенной слежки
9 seostock 76 Вчера, 21:54
автор: Андрей_WPM
Открытая тема (нет новых ответов) Дизайн для коттеджного поселка
Посоветуйте , пожалуста
10 korlos 548 Вчера, 18:50
автор: maxkis
Открытая тема (нет новых ответов) Пишу качественные статьи для сайтов
9 chelsea1994 2004 Вчера, 14:05
автор: chelsea1994
Открытая тема (нет новых ответов) Нужен копирайтер для описаний товаров (авто тематика)
0 rokot 98 Вчера, 13:58
автор: rokot
Горячая тема (нет новых ответов) 23 сайтa для размещения, с фиксированной ценой. Тиц до 400
83 kasey7 36016 21.7.2019, 20:57
автор: Silverspam


 



RSS Текстовая версия Сейчас: 23.7.2019, 0:39
Дизайн