Помощник
Яндекс не понимает User-agent: *, Яндекс перестал понимать User-agent: * |
salamandra
|
Сообщение
#1
|
||
|
|
||
|
|||
_Dave_ |
19.6.2010, 16:25;
Ответить: _Dave_
Сообщение
#2
|
|
На форуме давно говорят что всегда для Яндекса прописывайте отдельные команды в robots
Сообщение отредактировал _Dave_ - 19.6.2010, 16:25 -------------------- |
|
|
Vibos |
19.6.2010, 16:34;
Ответить: Vibos
Сообщение
#3
|
|
|
В панельке вебмастера написанно, что если есть директива User-agent: Yandex, то все что в User-agent: * игнорируется. Так что дублируйте все правила с "User-agent: *" в "User-agent: Yandex"
Сам когда-то на это попался. http://help.yandex.ru/webmaster/?id=996567#996568 В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный пул страниц, которые планирует закачать робот. Сессия начинается с закачки robots.txt сайта, если его нет, он не текстовый или на запрос робота возвращается HTTP-код отличный от '200', считается, что доступ роботу не ограничен. В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.
Сообщение отредактировал Vibos - 19.6.2010, 16:36 |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Настройка яндекс директ рекламы БЕЗ РАСХОДОВ БЮДЖЕТА Количество продаж будет ОГРАНИЧЕННО! |
22 | ITstaf | 4405 | Вчера, 21:00 автор: 100ftd |
|
Аналоги Яндекс Директ | 4 | kuz999 | 1842 | Вчера, 18:55 автор: xramoviy |
|
Atlantic 2.0 - для безлимитного решения кликами Recaptcha и кликовой капчи Яндекс | 3 | waterworld | 1631 | 14.3.2024, 12:29 автор: waterworld |
|
Где дешевле клики в Яндекс.Директ или Таргет ВК? | 2 | rownong27 | 1007 | 18.2.2024, 9:49 автор: rownong27 |
|
Как в Яндекс.Директ задать для компании дневное ограничение бюджета? | 0 | rownong27 | 1028 | 16.2.2024, 16:18 автор: rownong27 |
Текстовая версия | Сейчас: 24.4.2024, 12:13 |