Помощник
|
Два бота грузят хостинг! Прошу помочь! |
Mikele
|
Сообщение
#1
|
||
|
|
||
|
|||
codenix |
6.7.2015, 17:07;
Ответить: codenix
Сообщение
#2
|
|
Mikele, попробуйте так:
Код SetEnvIfNoCase User-Agent "^Bingbot" no_bot
SetEnvIfNoCase User-Agent "^AhrefsBot" no_bot Order Allow,Deny Allow from all Deny from env=no_bot |
|
|
Mikele
|
Сообщение
#3
|
|
попробуйте так: Код SetEnvIfNoCase User-Agent "^Bingbot" no_bot SetEnvIfNoCase User-Agent "^AhrefsBot" no_bot Order Allow,Deny Allow from all Deny from env=no_bot Cделал как вы посоветовали.. Сейчас в логах вижу следующее: 157.55.39.210 - - [06/Jul/2015:00:05:57 +0300] "GET /elektronika/igry-i-aksessuary/xbox/chehly-dlya-zhestkih-diskov/ HTTP/1.0" 403 3665 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 188.165.15.233 - - [06/Jul/2015:00:05:41 +0300] "GET /elektronika/bytovaya-elektronika/prochaya-potrebitelskaya-elektronika/ HTTP/1.0" 403 3665 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" Правильно ли я понимаю, что этих ботов я отсек, так как видна ошибка 403 ?? Просто вчера еще в логах был код 200, а сегодня код 403... -------------------- |
|
|
kapelan28 |
6.7.2015, 21:26;
Ответить: kapelan28
Сообщение
#4
|
|
Можно, как вариант, ограничить частоту обращения ботов через эту строку
Код Crawl-delay: 10 Цифрами задаете интервал, хотя не все боты понимают это ограничение. Но мне помогало, когда на серваке было больше 60 много-тысяче-страничных сайтов |
|
|
x64 |
6.7.2015, 21:31;
Ответить: x64
Сообщение
#5
|
|
По 7000 заходов в сутки... Если это размазано по суткам, то не так и много. Но когда хостер шлёт письма, скорее всего, «атаки» совершаются за достаточно малый промежуток. Можно посмотреть IP по логам и добавить блокировку по ним (я так сделал). На юзер-агент особо рассчитывать не стоит — можно установить любым, в отличие от IP. kapelan28, Crawl-delay — это всего лишь указание, а не жёсткое правило. Боты сами решают, следовать роботсу или нет. |
|
|
kagtus |
6.7.2015, 22:48;
Ответить: kagtus
Сообщение
#6
|
|
Цитата(x64) Можно посмотреть IP по логам и добавить блокировку по ним у того же бингбота сотни айпишников, смысла фильтровать его по айпи никакого, его как раз лучше по юзер-агенту, он явно не будет подделывать что либо. а вот ахрефс можно и по айпи и по юзер-агенту - эффект будет одинаковый, ибо они тоже не прячутся. kapelan28, на Crawl-delay даже гугловский бот внимания не обращает, не говоря уже о остальных... ТС из вашего списка можно еще оставить Цитата SetEnvIfNoCase User-Agent "^MJ12bot" no_bot SetEnvIfNoCase User-Agent "^Baidu" no_bot + Цитата SetEnvIfNoCase User-Agent "^Detectify" no_bot SetEnvIfNoCase User-Agent "^DotBot" no_bot SetEnvIfNoCase User-Agent "^Riddler" no_bot SetEnvIfNoCase User-Agent "^SemrushBot" no_bot иногда они проявляются, остальные уже умерли давно. Сообщение отредактировал kagtus - 6.7.2015, 22:56 -------------------- |
|
|
Mikele
|
Сообщение
#7
|
|
По 7000 заходов в сутки... Если это размазано по суткам, то не так и много. Это за сутки только одного бота: Bingbot, и еще примерно 4000 ahrefs.com/robot. Не считая конечно гугловских ботов и яндексных. И еще, поясните плиз, теперь в коде появились 403 и 311 , это значит для ботов доступ запрещен? -------------------- |
|
|
codenix |
8.7.2015, 2:19;
Ответить: codenix
Сообщение
#8
|
|
Mikele, 403 - Доступ запрещен
|
|
|
ishipilov |
28.8.2015, 15:26;
Ответить: ishipilov
Сообщение
#9
|
|
|
7000 в сутки это не много.
Как вариант можно добавить простенький скрипт в index.php Код $useragent = $_SERVER['HTTP_USER_AGENT']; if(stristr($useragent, 'bingbot')||stristr($useragent, 'ahrefs')) exit(); (добавить в начало index.php)
Сообщение отредактировал ishipilov - 28.8.2015, 15:26 |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Услуги хостинг, аренда серверов США, Нидерланды, РФ | RICHHost | 108 | RICHHost | 65921 | 26.3.2024, 5:23 автор: RICHHost |
|
LITE.HOST - хостинг для тех, кто любит не переплачивать | 73 | akkyoh | 30437 | 24.3.2024, 18:28 автор: Kseniya_Klimova |
|
Как создать бота Телеграм с приемом оплат? | 0 | rownong27 | 414 | 4.3.2024, 0:51 автор: rownong27 |
|
Помогите вспомнить рекламного бота Телеграм для обмена рекламой | 0 | Mixatraider | 692 | 21.2.2024, 23:42 автор: Mixatraider |
|
Помогу оплатить хостинг 20% с меня! |
8 | GigArt | 3394 | 13.1.2024, 20:48 автор: SMM2040 |
Текстовая версия | Сейчас: 28.3.2024, 17:17 |