Большинство роботов bing, solomono, msn, yahoo, alexa и совсем непонятные, кладут на роботс. Банить по IP их. Или в роботс.тхт писать
User-agent: bot
Disallow: */
или для нужных роботов
User-agent: Mediapartners-Google
Allow: /сайт или что-то
User-agent: Yandex
Allow: /что там у вас
И так далее для нужных

Сообщение отредактировал allvake - 13.12.2013, 12:15

Вот это г*вно просто атакует мои сайты!

Crawl-delay: 10 - задержка между запросами. Это, чтобы основные поисковики не заклевывали сайт.

Яндекс говорит

Сообщение отредактировал djalin - 14.12.2013, 22:02

Значит ваши сайты участвуют в биржах, так как solomono в приоритете сканирует именно такие сайты.

Вы такие наивные, думаете роботс.тхт поможет. Не хотите видеть роботов настраивайте сервер, в противном случае все это писанина по воде.

Сообщение отредактировал ManGysITI - 14.12.2013, 23:10

+1, сканить разные боты и так смогут. Тут нужно делать защиту с задержкой загрузки страничек, при частых обновлениях. Ну, а если просто от главных поисковиков нужно закрыть индексацию, то поможет это:

User-agent: *
Disallow: /

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.