Если нужно запретить роботам посещать ресурс, то достаточно VPS и fail2ban
В fail2ban пишется регулярка, которая парсит примерно раз в пять минут логи nginx или apache (зависит от того, что там на передовой трудится) на предмет нахождения в них имени робота сервиса и банит его IP
Срок бана, количество срабатываний можно корректировать.

через хтаксесс банить по юзер-агенту.
типо такого http://www.anchous.info/hide-pbn

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.