Директива Crawl-delay.

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
--------------------------------------------------------------------------------------

В вашем случае надо выставить побольше времени. Насколько больше смотрите сами. И еще: работа с robots.txt для любых движков одинакова.

Сообщение отредактировал CyberTech - 26.2.2011, 1:17

Вы не так поняли. Движок создает много страниц ненужных. Это страницы принтов, которые дублируются с темами, страницы разных видов отображения тем, так же дубляж. Так вот их всех нужно запретить, ищу готовое решение

sp0kexD, конкретно под IPB 3 не знаю, но с помощью директивы



Можно решить этот вопрос. В пользоваться Crawl-delay не стоит. Яндекс выберет наиболее оптимальную скорость.

Я знаю как запретить, но вот все лишние страницы не знаю, поэтому прошу помощи именно по ipb3

Интерисует самый оптимальный вариант Роботса для ИПБ 3.1.4

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.