Помощник
 |
|
|
|
|
Сообщение сайта
|
 Используете ли Crawl-delay в robots.txt |
Risk
|
Сообщение
#1
|
||
 Набирает сообщение..  Группа: Active User Сообщений: 810 Регистрация: 5.7.2010 Из: Интернет Поблагодарили: 150 раз Репутация:  41 
 |
|
||
 |
|
||
|
Eserador
|
 9.2.2015, 16:57;
Ответить: Eserador
Сообщение
#2
|
 Завсегдатай Группа: Active User Сообщений: 889 Регистрация: 17.5.2013 Поблагодарили: 256 раз Репутация: 22
|
Цитата(Risk @ 9.2.2015, 14:58)  у кого сайты с великой посещяемостью, ставите ли вы дерективу Crawl-delay: 10 в файле роботса При необходимости эта директива используется. Только нужно понимать, когда и для чего она нужна, а когда и для чего нет. Значения также выставляются по надобности. Чаще используется для контроля частоты лазания левых ботов, таких как Ахрефс, к примеру. -------------------- |
|
|
|
|
GlazAlmaz
|
9.2.2015, 19:48;
Ответить: GlazAlmaz
Сообщение
#3
|
|
 Главный SEO-стратег Группа: Super Moderator Сообщений: 3549 Регистрация: 28.8.2010 Поблагодарили: 1792 раза Репутация: 111
|
Цитата(Risk @ 9.2.2015, 15:58) ставите ли вы дерективу Crawl-delay: 10 в файле роботса нет. известных ботов (например, мелких ненужных мне ПС) закрываю через htaccess запретом доступа к сайту
-------------------- |
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Какие доргены используете в 2023 году? | 5 | metvekot | 2851 | 29.2.2024, 10:35 автор: Skyworker |
 |
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ |
138 | Akira | 79052 | 12.8.2019, 21:28 автор: neonix |
|
Куплю места для размещения TXT+URL Строительная тематика. | 7 | regem | 7641 | 28.3.2019, 18:31 автор: regem |
|
Срочно требуется специалист по robots.txt Разовая работа |
1 | tankoff | 2204 | 8.3.2017, 1:56 автор: PavelMarty |
|
Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики. | 0 | regem | 8346 | 1.3.2017, 3:20 автор: regem |
|
Текстовая версия | Сейчас: 20.4.2024, 6:25 |
