X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> IPB 3 robots.txt
sp0kexD
sp0kexD
Topic Starter сообщение 25.2.2011, 2:13; Ответить: sp0kexD
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 482
Регистрация: 14.5.2009
Поблагодарили: 79 раз
Репутация:   13  


Здравствуйте. В я. вебмастере проиндексировано около 1к страниц, Загружено роботом чуть больше 23к. Новые посты долго индексируются. Думаю, что страницы принтов и другие ненужные страницы забивают поисковик и это замедляет скорость индексации новых.
Насколько я знаю это исправляется в файле robots.txt, вот только для тройки не нашел.
Форум небольшой, порядка 3к тем

Сообщение отредактировал sp0kexD - 25.2.2011, 2:14
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
CyberTech
CyberTech
сообщение 26.2.2011, 1:14; Ответить: CyberTech
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 420
Регистрация: 22.2.2011
Из: CyberTech
Поблагодарили: 199 раз
Репутация:   41  


Директива Crawl-delay.

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
--------------------------------------------------------------------------------------

В вашем случае надо выставить побольше времени. Насколько больше смотрите сами. И еще: работа с robots.txt для любых движков одинакова.

Сообщение отредактировал CyberTech - 26.2.2011, 1:17


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sp0kexD
sp0kexD
Topic Starter сообщение 27.2.2011, 20:23; Ответить: sp0kexD
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 482
Регистрация: 14.5.2009
Поблагодарили: 79 раз
Репутация:   13  


(CyberTech @ 26.2.2011, 0:14) *
И еще: работа с robots.txt для любых движков одинакова

Вы не так поняли. Движок создает много страниц ненужных. Это страницы принтов, которые дублируются с темами, страницы разных видов отображения тем, так же дубляж. Так вот их всех нужно запретить, ищу готовое решение
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Webprof
Webprof
сообщение 27.2.2011, 20:30; Ответить: Webprof
Сообщение #4


Участник
***

Группа: User
Сообщений: 186
Регистрация: 16.1.2011
Поблагодарили: 39 раз
Репутация:   2  


sp0kexD, конкретно под IPB 3 не знаю, но с помощью директивы

Disallow: /начало страницы печати


Можно решить этот вопрос. В пользоваться Crawl-delay не стоит. Яндекс выберет наиболее оптимальную скорость.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sp0kexD
sp0kexD
Topic Starter сообщение 27.2.2011, 21:27; Ответить: sp0kexD
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 482
Регистрация: 14.5.2009
Поблагодарили: 79 раз
Репутация:   13  


Я знаю как запретить, но вот все лишние страницы не знаю, поэтому прошу помощи именно по ipb3
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Drupal
Drupal
сообщение 28.2.2011, 20:49; Ответить: Drupal
Сообщение #6


Новичок
*


Группа: User
Сообщений: 36
Регистрация: 4.12.2010
Поблагодарили: 4 раза
Репутация:   -49  


Интерисует самый оптимальный вариант Роботса для ИПБ 3.1.4
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47419 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 466 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1183 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 618 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 695 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 11.12.2017, 21:26
Дизайн