Надеюсь, термин `ссылка` в этом посте имеет значение `url страницы`.

1) Не знаю, чем пользовались, но надо выборочно проверить в ЯWM то, как бот Яндекса обработает этот url (Яндекс.Вебмастер > выбрать сайт > Настройка индексирования > Анализ robots.txt > Список Url > Добавить). Введите url`ы, который вы запретили к индексации, и получите ответ. Это проверка того, правильно ли интерпретируется ботом ваш robots.txt, могут быть ошибки.

2) Яндекс - чудо. Прописывал ему в robots категоричное "Disallow: /", и спрашивал Платона "Почему у меня в индексе страницы, индексирование которых я вам явно запретил?". Ответ: "Мы не можем запретить попадать в индекс страниц, которые мы считаем важными. В частности, если на них ссылаются.". Вот так (полный текст могу порыть в почте).

Так что ваше "User-agent: Yandex Disallow: \ " - не гарантия, что в индексе Я вашего сайта не будет.

1) в яндекс вебмастере проверял каждую ссылку - все ненужные находятся под запретом к индексированию, а если не находились - то создавал правило, чтоб они там находились!
Несмотря на это яндекс ссылки запретные проиндексировал и поставил в специальный раздел ошибок "под запретом в файле rrobots.txt"

Вот я и спрашиваю, может у яшки новый запой? - индексирование страниц под запретом и увеличение ошибок связаных с запретом в файле robots.txt?

2) ну ладно если то нужные страницы на которые ссылаются другие сайты, но как например другие сайты будут ссылаться на страницу редактирования документа, или страницу формы отправки сообщения зарегистрированному пользователю? Они явно относятся в интерфейсу администратора и не могут иметь внешних ссылок.

Я специально через анализатор файла роботс в яндекс вебмастере проверял каждую подозрительную ссылку, дабы не попасть в индекс страницами, которые по идее вообще не должны попадать в индекс.

Может дело все в истории?
изначально я пропустил этот важный шаг, думая о том, что если я пользуюсь CMS, которая явно имеет поддержку и постоянно обновляется, даже не заглядывал в файл robots.txt. По истечению времени получил в индекс страницы от новых использованных модулей, которые не учтены были в самом движке и его файле robots.txt. После того как я это обнаружил - я потратил день своего времени чтоб расчленить по ссылкам сайт и загнать под запрет в файл robots.txt ненужные к индексированию внутренние страницы сайта. С тех пор прошло 2 недели. А яндекс мне вчера выдал, что появились новые страницы под запрет, те, которые я уже давно поставил под него. Вполне возможно, что они и были под запретом до этого момента, но почему после того как робот прошел он эти страницы вообще не удалил, а поставил их в ошибки "запрет robots,txt"?

Может я чего не допонимаю?

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.