Доброго всем утра!

Нет не правильно составили.

Мне кажется, что будет правильнее так:


User-agent: Yandex
Disallow: /cabinet
Disallow: /*ref=
Disallow: /presentation
Disallow: /portfolio/perevozka
Disallow: /?*

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_id

Sitemap: http://site.ru/sitemap.xml

Host: site.ru


User-agent: Googlebot
Disallow: /cabinet
Disallow: /*ref=
Disallow: /presentation
Disallow: /portfolio/perevozka
Disallow: /?*

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_id

Sitemap: http://site.ru/sitemap.xml

User-agent: Bingbot
Disallow: /cabinet
Disallow: /*ref=
Disallow: /presentation
Disallow: /portfolio/perevozka
Disallow: /?*

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_id


Sitemap: http://site.ru/sitemap.xml

User-agent: Slurp
Disallow: /cabinet
Disallow: /*ref=
Disallow: /presentation
Disallow: /portfolio/perevozka
Disallow: /?*

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_id



Sitemap: http://site.ru/sitemap.xml



User-agent: Mail.Ru
Disallow: /cabinet
Disallow: /*ref=
Disallow: /presentation
Disallow: /portfolio/perevozka
Disallow: /?*

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_id


Sitemap: http://site.ru/sitemap.xml



User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: statdom.ru
Disallow: /

User-agent: oBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: openstat.ru
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: SemrushBot-SA
Disallow: /

User-agent: uCrawlr
Disallow: /

PS: Яндекс бота я поставил тут вместо для всех ботов (*), вероятнее всего его Вы забыли, а * лучше использовать для тех ботов которым Вы хотите закрыть доступ, но я точно не знаю, что Вы в конечном итоге хотите)

Сообщение отредактировал Антоныч88 - 8.8.2017, 9:23

Непонятно зачем Clean-param, если у вас не популярный форум или мощный сайт которого боты задалбываю. А судя по Disallow: /portfolio/perevozka это не так.
Как выше заметили, правила для каждого бота нужно прописать отдельно (а не перечислять в одном ботов), но непонятно зачем, если для всех ботов они идентичные. Достаточно User-agent: *
Непонятно зачем блокировать каких-то ботов, опять же, если они не создают проблем с нагрузкой.
И без сайта, в любом случае ответить не получится.

Спасибо за ответы.


ДО этого я заметил что Google не понимает "Достаточно User-agent: *" для него нужно прописывать отдельно "User-agent: Googlebot"

Не понимает, так не понимает...

rownong27, Прошу прощения за оффтоп, но как это не читает? Заходим в гугл вебмастер, выбираем проверочку Robots.txt и он всё показывает, что и как читает, так-же есть ф-ция "посмотреть, как гуглбот" и смотрим, что он всё видит (PS: Этой функцией можно загонять удалённые DMCA ссылочки, делаем на другой урл 301й, и вбиваем, и воаля"). Он это читает, но последнее время, я заметил, даже за яндексом, что он, иногда, может просто игнорировать написанное в роботсе.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.