Andrey1985, что-то например такое:

User-agent: Mediapartners-Google
Disallow: 
 
User-agent: Yandex
Disallow: /search
Allow: /
Sitemap: адрес сайта
Host: https://www.domen.ru

User-agent: *
Disallow: /search
Allow: /
Sitemap: адрес сайта 

Причём нужно указать протокол какой есть у сайта.

Указать поддомен www если он используется как главный адрес.

Домен указать тот, который продвигается как основной


Сообщение отредактировал Ixman - 7.5.2017, 10:36

Зачем? Если на HTTPS настроен редирект с HTTP 

Ixman, А как и где в вебмастере  изменить фаил  robots.txt ? 

Andrey1985,на хосте его меняют, а не в панеле вебмастера, в панеле вебмастера ты можешь проверить его на синтаксис только 

Ну так в blogger нет возможности добавить Host в файл robots.txt. А в яндекс вебмастер пишет что нужно добавить.  

 

Это к янду с такими вопросами.

Например аналогично можно спросить зачем писать с www если на него настроен 301 редирект с домена без www, или наоборот.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.