[X] Помощник

[MisterAlex Topic Starter]

Подскажите, раздел сайта закрыт в роботсе

User-agent: Yandex
Disallow: /razdel/

Но страницы site/statyi/razdel/post1 , например, спокойно заходят в индекс. Как так-то?

[Hallboy222]

В апдейт вылетит. Спокойно.

[x64]

туц

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

получается, под адрес site/statyi/razdel/post1 правило /razdel/ не подходит

[MisterAlex Topic Starter]

Сидит уже больше месяца страница... И ссылочное с нее учитывается...

[RSmile]

MisterAlex, в комменте выше вам же написали, что надо писать: /razdel/*

[Alsally]

У вас не правильный синтаксис
В вашем случае нужно так

User-agent: Yandex
Disallow: *razdel*

А вообще, в яндекс.вебмастере есть проверка работы файла роботс.тхт

[rom_4]

надо убрать слеш в конце, сейчас вы закрываете папку раздел, но не урл. вообще в явебмастере есть инструмент проверки правильности роботса, в реальном времени. сделал правку - посмотрел, понравилось - внес уже на сайте. http://webmaster.yandex.ru/robots.xml

[Esite]

Disallow: /razdel/

Дак yandex и не будет индексировать эту папку "razdel" но её и не существует. Он понимает, что она находится в корневой директории сайта, а /statyi/razdel/ это другая папка на которую нет запретов вот и хавает.

[Дэймон]

Пропишите правильно правила и если очень срочно нужно удалить какие то страницы - воспользуйтесь формой http://webmaster.yandex.ru/delurl.xml

[Linkfeedsupport]

User-agent: Yandex
Disallow: *razdel*

Наверное самый оптимальный вариант решения, но тут главное, чтоб не было на сайте нужных урлов, в которых встречается razdel. Если такие есть, то их надо разрешить к индексации.