X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Используете ли Crawl-delay в robots.txt
Risk
Risk
Topic Starter сообщение 9.2.2015, 15:58; Ответить: Risk
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 802
Регистрация: 5.7.2010
Из: Интернета
Поблагодарили: 146 раз
Репутация:   41  


у кого сайты с великой посещяемостью, ставите ли вы дерективу
Crawl-delay: 10
в файле роботса, если нет, то почему?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Eserador
Eserador
сообщение 9.2.2015, 16:57; Ответить: Eserador
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 849
Регистрация: 17.5.2013
Из: Киев
Поблагодарили: 250 раз
Репутация:   22  


Цитата(Risk @ 9.2.2015, 14:58) *
у кого сайты с великой посещяемостью, ставите ли вы дерективу
Crawl-delay: 10
в файле роботса

При необходимости эта директива используется. Только нужно понимать, когда и для чего она нужна, а когда и для чего нет.
Значения также выставляются по надобности.
Чаще используется для контроля частоты лазания левых ботов, таких как Ахрефс, к примеру.


--------------------
Белый SEO-колдун
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GlazAlmaz
GlazAlmaz
сообщение 9.2.2015, 19:48; Ответить: GlazAlmaz
Сообщение #3


Генератор СДЛ
******

Группа: Super Moderator
Сообщений: 2305
Регистрация: 28.8.2010
Поблагодарили: 1289 раз
Репутация:   83  


Цитата(Risk @ 9.2.2015, 15:58) *
ставите ли вы дерективу
Crawl-delay: 10
в файле роботса

нет.
известных ботов (например, мелких ненужных мне ПС) закрываю через htaccess запретом доступа к сайту


--------------------
:: научу, как продвигать сайты :: SEO-шмео, все дела :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47537 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 514 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1195 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 697 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 18.12.2017, 21:07
Дизайн