Помощник
Два бота грузят хостинг! Прошу помочь! |
Mikele
|
Сообщение
#1
|
||
|
|
||
|
|||
codenix |
6.7.2015, 17:07;
Ответить: codenix
Сообщение
#2
|
|
Mikele, попробуйте так:
Код SetEnvIfNoCase User-Agent "^Bingbot" no_bot
SetEnvIfNoCase User-Agent "^AhrefsBot" no_bot Order Allow,Deny Allow from all Deny from env=no_bot |
|
|
Mikele
|
Сообщение
#3
|
|
попробуйте так: Код SetEnvIfNoCase User-Agent "^Bingbot" no_bot SetEnvIfNoCase User-Agent "^AhrefsBot" no_bot Order Allow,Deny Allow from all Deny from env=no_bot Cделал как вы посоветовали.. Сейчас в логах вижу следующее: 157.55.39.210 - - [06/Jul/2015:00:05:57 +0300] "GET /elektronika/igry-i-aksessuary/xbox/chehly-dlya-zhestkih-diskov/ HTTP/1.0" 403 3665 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 188.165.15.233 - - [06/Jul/2015:00:05:41 +0300] "GET /elektronika/bytovaya-elektronika/prochaya-potrebitelskaya-elektronika/ HTTP/1.0" 403 3665 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" Правильно ли я понимаю, что этих ботов я отсек, так как видна ошибка 403 ?? Просто вчера еще в логах был код 200, а сегодня код 403... -------------------- |
|
|
kapelan28 |
6.7.2015, 21:26;
Ответить: kapelan28
Сообщение
#4
|
|
Можно, как вариант, ограничить частоту обращения ботов через эту строку
Код Crawl-delay: 10 Цифрами задаете интервал, хотя не все боты понимают это ограничение. Но мне помогало, когда на серваке было больше 60 много-тысяче-страничных сайтов |
|
|
x64 |
6.7.2015, 21:31;
Ответить: x64
Сообщение
#5
|
|
По 7000 заходов в сутки... Если это размазано по суткам, то не так и много. Но когда хостер шлёт письма, скорее всего, «атаки» совершаются за достаточно малый промежуток. Можно посмотреть IP по логам и добавить блокировку по ним (я так сделал). На юзер-агент особо рассчитывать не стоит — можно установить любым, в отличие от IP. kapelan28, Crawl-delay — это всего лишь указание, а не жёсткое правило. Боты сами решают, следовать роботсу или нет. |
|
|
kagtus |
6.7.2015, 22:48;
Ответить: kagtus
Сообщение
#6
|
|
Цитата(x64) Можно посмотреть IP по логам и добавить блокировку по ним у того же бингбота сотни айпишников, смысла фильтровать его по айпи никакого, его как раз лучше по юзер-агенту, он явно не будет подделывать что либо. а вот ахрефс можно и по айпи и по юзер-агенту - эффект будет одинаковый, ибо они тоже не прячутся. kapelan28, на Crawl-delay даже гугловский бот внимания не обращает, не говоря уже о остальных... ТС из вашего списка можно еще оставить Цитата SetEnvIfNoCase User-Agent "^MJ12bot" no_bot SetEnvIfNoCase User-Agent "^Baidu" no_bot + Цитата SetEnvIfNoCase User-Agent "^Detectify" no_bot SetEnvIfNoCase User-Agent "^DotBot" no_bot SetEnvIfNoCase User-Agent "^Riddler" no_bot SetEnvIfNoCase User-Agent "^SemrushBot" no_bot иногда они проявляются, остальные уже умерли давно. Сообщение отредактировал kagtus - 6.7.2015, 22:56 -------------------- |
|
|
Mikele
|
Сообщение
#7
|
|
По 7000 заходов в сутки... Если это размазано по суткам, то не так и много. Это за сутки только одного бота: Bingbot, и еще примерно 4000 ahrefs.com/robot. Не считая конечно гугловских ботов и яндексных. И еще, поясните плиз, теперь в коде появились 403 и 311 , это значит для ботов доступ запрещен? -------------------- |
|
|
codenix |
8.7.2015, 2:19;
Ответить: codenix
Сообщение
#8
|
|
Mikele, 403 - Доступ запрещен
|
|
|
ishipilov |
28.8.2015, 15:26;
Ответить: ishipilov
Сообщение
#9
|
|
|
7000 в сутки это не много.
Как вариант можно добавить простенький скрипт в index.php Код $useragent = $_SERVER['HTTP_USER_AGENT']; if(stristr($useragent, 'bingbot')||stristr($useragent, 'ahrefs')) exit(); (добавить в начало index.php)
Сообщение отредактировал ishipilov - 28.8.2015, 15:26 |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Хостинг "Hostland" - качественный хостинг по разумным ценам и со своей Панелью Управления | 0 | artmeteor | 513 | 18.4.2024, 22:46 автор: artmeteor |
|
Услуги хостинг, аренда серверов США, Нидерланды, РФ | RICHHost | 110 | RICHHost | 66934 | 17.4.2024, 1:30 автор: RICHHost |
|
LITE.HOST - хостинг для тех, кто любит не переплачивать | 74 | akkyoh | 30892 | 6.4.2024, 19:41 автор: Kseniya_Klimova |
|
Дешевый SSD хостинг на DDR4 с DDOS защитой для 10 сайтов за 69 рублей! | 106 | HostiMan | 70390 | 2.4.2024, 19:34 автор: HostiMan |
|
Как создать бота Телеграм с приемом оплат? | 0 | rownong27 | 452 | 4.3.2024, 0:51 автор: rownong27 |
Текстовая версия | Сейчас: 23.4.2024, 11:09 |