После сегодняшнего АПа, в индекс одного из сайтов попало +18к страниц (было 18к). Такой массы страниц не добавлял, все дубли закрыты. Начал смотреть что-же такое, и что Яндекс запихнул в индекс.

Обнаружил в индексе страницы которые закрыты в файле robots.txt.

Disallow: /profile.php?*lookup=

Начал проверять через Вебмастер - "Анализ robots.txt" и обнаружил что страницы данного вида индексируются, а внизу "Используемые секции" не обнаружил User-agent: *, а обнаружил только User-agent: Yandex (в этой секции о профилях ничего небыло).

Раньше все было норм, когда составлял robots.txt проверял через "Анализ robots.txt". То есть было и User-agent: * и User-agent: Yandex

Только что полностью убрал секцию User-agent: Yandex, оставил только User-agent: * и Профили снова "запрещены".

Вывод: если присутствует User-agent: Yandex, Яндекс бот не смотрит на User-agent: *

Такое уже давно? Или я только проснулся?

Может кто ответит наконец?

Сообщение отредактировал salamandra - 17.6.2010, 22:32