http://robotstxt.org.ru/

Немного не в тему, но спросить хочется ..
Смотрел я сегодня сайт один, так вот в файле роботс у них зашита целиковая страница совершенно другого сайта.
Знаю точно что сайт они заказывали и продвижение тоже. Это недобросовестные исполнители? Или же в этом есть какой-то смысл?

Использование тегов html форматом robots.txt не предусмотрено в принципе. Так что это является ошибкой.

Знаю одного человека, сайт которого Яндекс пессимизировал, за использование тэгов в robots.txt.
Следовательно, можно предположить, что поисковики могут весьма неадекватно отреагировать на ошибки, а написание robots.txt, используя html-тэги, несомненная ошибка.
Неадекватно, в данном контексте, может ничего быть, а могут быть последствия вплоть до санкций со стороны поисковиков...

Сайт у них ТИЦ 90...при чем уже наверно месяца 4, т.е пессимизации не было...А у них в роботсе реально, зашита морда хостера , я её в Фронтпейдж воткнул , красота...

Вопрос следующий...для этого хостера, в этом есть какая то выгода?
Нехочу рекламировать этот сайт поэтому просто пропишу это у них роботс чокнутый.

За неверный формат robots.txt не банят и не пессимизируют. Этот файл вообще не является обязательным.

mik-a-el, сайт не мой, но со слов человека, пессимизация была. После исправления robots.txt ее сняли, человеку смысла врать особого нет.
Да он (роботс) необязателен, но раз уж он есть, то должен быть написан правильно, коли он несет в себе функции запрещения или разрешения индексации директорий и файлов.

Он не врет, он просто чайник

либо я пишу не правильно.. но робота там больше нет)