X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Яндекс не понимает User-agent: *, Яндекс перестал понимать User-agent: *
salamandra
salamandra
Topic Starter сообщение 17.6.2010, 21:56; Ответить: salamandra
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 81
Регистрация: 21.3.2010
Поблагодарили: 12 раз
Репутация:   6  


После сегодняшнего АПа, в индекс одного из сайтов попало +18к страниц (было 18к). Такой массы страниц не добавлял, все дубли закрыты. Начал смотреть что-же такое, и что Яндекс запихнул в индекс.

Обнаружил в индексе страницы которые закрыты в файле robots.txt.

Disallow: /profile.php?*lookup=

Начал проверять через Вебмастер - "Анализ robots.txt" и обнаружил что страницы данного вида индексируются, а внизу "Используемые секции" не обнаружил User-agent: *, а обнаружил только User-agent: Yandex (в этой секции о профилях ничего небыло).

Раньше все было норм, когда составлял robots.txt проверял через "Анализ robots.txt". То есть было и User-agent: * и User-agent: Yandex

Только что полностью убрал секцию User-agent: Yandex, оставил только User-agent: * и Профили снова "запрещены".

Вывод: если присутствует User-agent: Yandex, Яндекс бот не смотрит на User-agent: *

Такое уже давно? Или я только проснулся?

Может кто ответит наконец?

Сообщение отредактировал salamandra - 17.6.2010, 22:32
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
_Dave_
_Dave_
сообщение 19.6.2010, 16:25; Ответить: _Dave_
Сообщение #2


Забаненный
*****


Группа: Banned
Сообщений: 518
Регистрация: 2.5.2009
Из: Киров
Поблагодарили: 175 раз
Репутация:   17  


На форуме давно говорят что всегда для Яндекса прописывайте отдельные команды в robots

Сообщение отредактировал _Dave_ - 19.6.2010, 16:25


--------------------
Забанен по совокупности нарушений
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Vibos
Vibos
сообщение 19.6.2010, 16:34; Ответить: Vibos
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 642
Регистрация: 21.8.2009
Из: Украина
Поблагодарили: 122 раза
Репутация:   29  


В панельке вебмастера написанно, что если есть директива User-agent: Yandex, то все что в User-agent: * игнорируется. Так что дублируйте все правила с "User-agent: *" в "User-agent: Yandex"
Сам когда-то на это попался.

http://help.yandex.ru/webmaster/?id=996567#996568
В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный пул страниц, которые планирует закачать робот. Сессия начинается с закачки robots.txt сайта, если его нет, он не текстовый или на запрос робота возвращается HTTP-код отличный от '200', считается, что доступ роботу не ограничен. В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.


Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал Vibos - 19.6.2010, 16:36
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Автоматизация и заработок на Яндекс Дзен
Получаем траф на автомате и монетизируем контекстом
15 master_jeday 4157 Сегодня, 17:26
автор: kirch
Открытая тема (нет новых ответов) 5 крауд-ссылок с трастового ресурса Яндекс.Знатоки за 500руб
4 yulbee 819 Сегодня, 16:56
автор: yulbee
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыАккаунты Яндекс Директ без НДС [актуально]
Директ без НДС, экономия 18% при каждом пополнении РК
5 Diwate 1485 Вчера, 22:00
автор: Diwate
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыМануал по заработку в Яндекс Дзене «6 простых шагов — и 100 000 рублей в кармане»
В рамках Новогодних мероприятий 2017-2018
1398 Zoya83 90550 18.5.2018, 13:22
автор: Zoya83
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыБыстрый обмен WMR|WMZ|WMU|WME <=> Яндекс.Деньги <=> QIWI
Вам нужен быстрый, надежный и гарантированный обмен? Вам сюда!
458 Mark29 130179 18.5.2018, 12:09
автор: scanread


 



RSS Текстовая версия Сейчас: 20.5.2018, 19:55
Дизайн