X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Дублирование директив robots.txt
RageLT
RageLT
Topic Starter сообщение 3.8.2012, 19:58; Ответить: RageLT
Сообщение #1


Участник
***

Группа: User
Сообщений: 145
Регистрация: 1.10.2009
Поблагодарили: 52 раза
Репутация:   14  


Перебрал десятку популярных блогов в рунета, везде наблюдается одна и та же ситуация.
Все закрывают директория сперва для Яндекса, потом те же директории для всех остальных поисковиков.
Картина примерна следующая:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
....(другие директории)
Disallow: /*?
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
....(другие директории)
Disallow: /*?
Sitemap: http://www.site.ru/sitemap.xml


По сути дела отличаются они только директивой Host для Яндекса, и картой сайта.
Зачем столько дублируется? Яндекс прочитает свою часть роботс.тхт и не учтет параметры, что указаны для всех поисковиков?

По моему оптимально правильный вариант будет :

User-agent: Yandex
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
....(другие директории)
Disallow: /*?
Sitemap: http://www.site.ru/sitemap.xml


--------------------
Велосипед и жену не доверяй никому!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rjksdfhe
rjksdfhe
сообщение 3.8.2012, 20:11; Ответить: rjksdfhe
Сообщение #2


Straight arms
*******

Группа: Active User
Сообщений: 2760
Регистрация: 21.4.2009
Из: Мытищи, МО, РФ
Поблагодарили: 1111 раз
Репутация:   163  


Да, почти именно для этого.

Яндекс прочитает свои директивы, и съест их по своим правилам.

Другие поисковики пропустят часть User-agent: Yandex, и обработают только более универсальные директивы, и ничего лишнего для них не будет

По моему оптимально правильный вариант будет...
Нет. Яндекс съест свою часть, и дальше обрабатывать уже не пойдёт (т.к. по логике нашёл всё, что предназначалось именно для него). Но на 100% не уверен.

Если так уж интересно - в ЯWM проверяется на лету. Сам не проверял, но в Вашем случае советую поэкспериментировать, если так интересно.

Так что правильно во всех популярных CMS формируется robots.txt. От греха подальше. А лишние строки в robots в наше время ни на что не влияют, кроме пары миллисекунд (или микросекунд).


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
RageLT
RageLT
Topic Starter сообщение 3.8.2012, 20:25; Ответить: RageLT
Сообщение #3


Участник
***

Группа: User
Сообщений: 145
Регистрация: 1.10.2009
Поблагодарили: 52 раза
Репутация:   14  


(rjksdfhe @ 3.8.2012, 19:11) *
А лишние строки в robots в наше время ни на что не влияют

Согласен. Но дело принципа. И вы оказались правы. Протестировал в ЯВМ. Яндекс "кушает" только директивы которые выделены для него.
Вопрос закрыт.


--------------------
Велосипед и жену не доверяй никому!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47488 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 510 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Как реализовать поиск и избежать дублирование страниц?
4 rezoner 842 30.10.2017, 19:03
автор: rezoner
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1191 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty


 



RSS Текстовая версия Сейчас: 15.12.2017, 14:30
Дизайн