Помощник
|
IPB 3 robots.txt |
sp0kexD
|
Сообщение
#1
|
||
|
|
||
|
|||
CyberTech |
26.2.2011, 1:14;
Ответить: CyberTech
Сообщение
#2
|
|
Директива Crawl-delay.
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow"). Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта. Примеры: User-agent: Yandex Crawl-delay: 2 # задает таймаут в 2 секунды User-agent: * Disallow: /search Crawl-delay: 4.5 # задает таймаут в 4.5 секунды -------------------------------------------------------------------------------------- В вашем случае надо выставить побольше времени. Насколько больше смотрите сами. И еще: работа с robots.txt для любых движков одинакова. Сообщение отредактировал CyberTech - 26.2.2011, 1:17 |
|
|
sp0kexD
|
Сообщение
#3
|
|
|
|
|
Webprof |
27.2.2011, 20:30;
Ответить: Webprof
Сообщение
#4
|
|
sp0kexD, конкретно под IPB 3 не знаю, но с помощью директивы
Disallow: /начало страницы печати Можно решить этот вопрос. В пользоваться Crawl-delay не стоит. Яндекс выберет наиболее оптимальную скорость. -------------------- |
|
|
sp0kexD
|
Сообщение
#5
|
|
Я знаю как запретить, но вот все лишние страницы не знаю, поэтому прошу помощи именно по ipb3
|
|
|
Drupal |
28.2.2011, 20:49;
Ответить: Drupal
Сообщение
#6
|
|
|
Интерисует самый оптимальный вариант Роботса для ИПБ 3.1.4
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ |
138 | Akira | 79131 | 12.8.2019, 21:28 автор: neonix |
|
Куплю места для размещения TXT+URL Строительная тематика. | 7 | regem | 7646 | 28.3.2019, 18:31 автор: regem |
|
Срочно требуется специалист по robots.txt Разовая работа |
1 | tankoff | 2207 | 8.3.2017, 1:56 автор: PavelMarty |
|
Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики. | 0 | regem | 8348 | 1.3.2017, 3:20 автор: regem |
|
Установить и настроить 2 форума IPB Нужно поставить 2 движка и настроить |
1 | drzlo777 | 2067 | 30.1.2017, 16:33 автор: paranormal |
Текстовая версия | Сейчас: 25.4.2024, 21:37 |