На эту тему уже столько писано и переписано, что не знаю чего кардинально нового можно написать...
да и в хелпе яндекса по роботсу все подробно и четко написано.

Ну хоть бы за актуальностью того что пишут следили. Пишут про Crawl-delay, но яндекс отказался от учета этой директивы.

А гугл уже очень ее давно вроде как не учитывает.
Бесполезная директива получается )

Да сейчас в роботсе можно и ее не указывать и Host тоже.

А почему хост не указывать?
Потому что в вебмастере можно выбрать основное зеркало?

Потому что он яндексом уже тоже не учитывается, а главное зеркало задается 301 редиректом.

Пруф https://webmaster.yandex.ru/blog/301-y-redi...-direktivu-host

Ошибок очень много в статье.
Такое ощущение, что лютый рерайт )))

Вот например " Бывают случаи, когда страница закрыта в robots.txt, но в HTML-коде в теге <meta name=”robots”> она открыта для индексирования. Тогда робот может все равно проиндексировать страницу. "

А фот фиг там. Robots имеет преимущество:
Метатеги robots и HTTP-заголовки X-Robots-Tag обнаруживаются при сканировании URL. Если сканирование страницы запрещено файлом robots.txt, то директивы, касающиеся индексирования или показа контента, будут проигнорированы. Чтобы обеспечить обязательное выполнение директив, не следует запрещать сканирование URL, для которых они заданы.

https://developers.google.com/search/refere...ta_tag#--------

Есть одно единственное исключение, когда на страницу стоят жирные ссылки. Тогда она может быть проиндексирована, но все равно выпадет в последствии из выдачи. При этом проиндексируется не контент, а в выдаче появится текст ссылки или урл.

https://support.google.com/webmasters/answe...983763&rd=1

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.