X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Яндекс не понимает User-agent: *, Яндекс перестал понимать User-agent: *
salamandra
salamandra
Topic Starter сообщение 17.6.2010, 21:56; Ответить: salamandra
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 81
Регистрация: 21.3.2010
Поблагодарили: 12 раз
Репутация:   6  


После сегодняшнего АПа, в индекс одного из сайтов попало +18к страниц (было 18к). Такой массы страниц не добавлял, все дубли закрыты. Начал смотреть что-же такое, и что Яндекс запихнул в индекс.

Обнаружил в индексе страницы которые закрыты в файле robots.txt.

Disallow: /profile.php?*lookup=

Начал проверять через Вебмастер - "Анализ robots.txt" и обнаружил что страницы данного вида индексируются, а внизу "Используемые секции" не обнаружил User-agent: *, а обнаружил только User-agent: Yandex (в этой секции о профилях ничего небыло).

Раньше все было норм, когда составлял robots.txt проверял через "Анализ robots.txt". То есть было и User-agent: * и User-agent: Yandex

Только что полностью убрал секцию User-agent: Yandex, оставил только User-agent: * и Профили снова "запрещены".

Вывод: если присутствует User-agent: Yandex, Яндекс бот не смотрит на User-agent: *

Такое уже давно? Или я только проснулся?

Может кто ответит наконец?

Сообщение отредактировал salamandra - 17.6.2010, 22:32
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
_Dave_
_Dave_
сообщение 19.6.2010, 16:25; Ответить: _Dave_
Сообщение #2


Забаненный
*****


Группа: Banned
Сообщений: 518
Регистрация: 2.5.2009
Из: Киров
Поблагодарили: 175 раз
Репутация:   17  


На форуме давно говорят что всегда для Яндекса прописывайте отдельные команды в robots

Сообщение отредактировал _Dave_ - 19.6.2010, 16:25


--------------------
Забанен по совокупности нарушений
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Vibos
Vibos
сообщение 19.6.2010, 16:34; Ответить: Vibos
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 642
Регистрация: 21.8.2009
Из: Украина
Поблагодарили: 122 раза
Репутация:   29  


В панельке вебмастера написанно, что если есть директива User-agent: Yandex, то все что в User-agent: * игнорируется. Так что дублируйте все правила с "User-agent: *" в "User-agent: Yandex"
Сам когда-то на это попался.

http://help.yandex.ru/webmaster/?id=996567#996568
В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный пул страниц, которые планирует закачать робот. Сессия начинается с закачки robots.txt сайта, если его нет, он не текстовый или на запрос робота возвращается HTTP-код отличный от '200', считается, что доступ роботу не ограничен. В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.


Сообщение отредактировал Vibos - 19.6.2010, 16:36
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Мобильный «Яндекс.Диск» стал безлимитным
9 MissContent 1213 Вчера, 20:28
автор: galikfor
Открытая тема (нет новых ответов) Тренд сайта по сравнению с аналогами, новый параметр в Яндекс Вебмастере
7 0alex1 1473 Вчера, 14:03
автор: coremission
Открытая тема (нет новых ответов) Стоит ли подавать платную заявку в Яндекс Каталог для регионального издания?
12 DVORYAN 1760 13.12.2017, 16:41
автор: vds4you
Открытая тема (нет новых ответов) Увеличение посещаемости сайта (яндекс, гугл, соц сети) - реальные люди
16 SANR 1269 13.12.2017, 13:03
автор: kukla
Открытая тема (нет новых ответов) Как пройти модерацию в Яндекс Директ, тематика Майнеры криптовалюты
4 rownong27 1205 12.12.2017, 20:02
автор: tygrytsa


 



RSS Текстовая версия Сейчас: 15.12.2017, 1:14
Дизайн