Только не понятно зачем вам это. Вы хотите только для роботов установить ограничение или для всех? Если для всех, то проблемы будут у посетителей сайта, поскольку страница, как правило, состоит не только с одной html-ки, а также из css, js, файлов изображений. Для каждого файла идет отдельный запрос. Поставив ограничение вы увеличите время загрузки страниц.

Да и для роботов нежелательно такое делать. Могут потом возникнуть проблемы с индексацией

А вообще,как узнать когда икакой робот ходил на сайт?

В панели вебмастеров гоши и яши (недавно появилось) есть графики отображающие сканирование страниц сайта. Гоша показывает скорость, количество и время на загрузку страниц. Яша показывает только количество загруженных страниц.
Так же в панели гоши можно задать скорость сканирования сайта, а для яши нужно прописывать в робот.тхт

Роботов лучше заманит посредством покупки ссылок с трастовых ресурсов. Когда роботы начнут ходить на сайт, необходимо наполнять сайт новым уникальным материалом. Чем чаще Вы это будете делать тем чаще будут заходить роботы

В панели яндекс вебмастера в общей информации о сате есть такая строчка: Дата последнего посещения сайта роботом
У гугла в панели не знаю где. Можно еще если лента через feedburner посмотреть в информаци о подписчиках. Там тоже часто боты сидят.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.