X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как заблокировать ботов
kesn
kesn
Topic Starter сообщение 17.10.2014, 22:05; Ответить: kesn
Сообщение #1


Топовый постер
*******


Группа: Active User
Сообщений: 5090
Регистрация: 20.9.2008
Из: опринозин
Поблагодарили: 1984 раза
Репутация:   479  


Всем привет, 4 дня серв нагружен по полной, долго не мог понять в чем проблема, залез в логи апача и охренел, 7 гигов у файла other_vhosts_access.log и 95% это сранные боты MJ12bot, AhrefsBot и прочая ересть.
Как заблочить эту гадость?
MJ12bot, AhrefsBot - robots.txt не слушают; копаться в нём бесполезно. В htaccess тоже не получаеться

Сообщение отредактировал kesn - 17.10.2014, 22:05


--------------------


Поблагодарили: (1)
3
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 17.10.2014, 22:37; Ответить: devuser
Сообщение #2


Все будет тип-топ
*****

Группа: Active User
Сообщений: 713
Регистрация: 5.12.2012
Из: Online
Поблагодарили: 342 раза
Репутация:   52  


Я побанил многих через конфиг nginx (может и полезных тоже, но на деве на них пофигу)

if $http_user_agent отдает 403 по юзерагенту
далее блок, не дающий подбирать пароли к некоторым CMS

Код
set $mgr_proxy "http://xxx.xxx.xxx.xxx:xxxx";
location ^~ /manimg/ {
    alias /usr/local/ispmgr/skins/;
}

if ($http_user_agent ~* (ca-crawler|mail.ru|ScreenerBot.com|LWNutch|www.warebay.com|WinHttpRequest|nikolaydo
vydov|sogou.com|SemrushBot|opensiteexplorer|WebBot-FindUrl|SEOkicks-Robot|360spider|vedma.ru|bing.com|uMBot-LN|monoid.nic.ru|openhose.org|paperlibot|python-|metauri.com|linkfluence.net|crowsnest.tv|www.turnitin.com|help.coccoc.com|Baidu
spider/2.0|www.exabox.com|search.msn.com|Ezooms|majestic12.co.uk|ahrefs.com|turnitin.co
m|crawler.sistrix.net|webmeup-crawler.com|SputnikBot) ) {
    return 403;
}
location ~* /(wp-login\.php|administrator|admin\.php) {
    set $humantest 0;
    if ($http_cookie !~* "humans=check_this_fucking_test_d3jds") {
    set $humantest 1;
    }
    if ($args ~* (callback|logout|lostpassword)) {
    set $humantest 0;
    }
    if ($humantest = 1) {
    add_header Content-Type text/html;
    return 200 "<html><body><script>document.cookie='humans=check_this_fucking_test_d3jds;path=/';location.reload();</script></body></html>";
    }
    error_page 404 = @fallback;
}

location ^~ /manager {
    proxy_pass $mgr_proxy;
    proxy_redirect $mgr_proxy /;
    proxy_set_header Host $host:$server_port;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Manager-Path /manager;
    proxy_set_header X-Secret OEQTLpOOyag3c0MY6QtPccUH;
    chunked_transfer_encoding off;
}
location ^~ /mancgi/ {
    proxy_pass $mgr_proxy;
    proxy_redirect $mgr_proxy /;
    proxy_set_header Host $host:$server_port;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Secret OEQTLpOOyag3c0MY6QtPccUH;
    chunked_transfer_encoding off;
}


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
nffd
nffd
сообщение 17.10.2014, 23:23; Ответить: nffd
Сообщение #3


Участник
***

Группа: User
Сообщений: 113
Регистрация: 2.5.2014
Поблагодарили: 23 раза
Репутация:   -1  


devuser, Полезная информация.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
djalin
djalin
сообщение 19.10.2014, 20:37; Ответить: djalin
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 414
Регистрация: 8.5.2011
Поблагодарили: 87 раз
Репутация:   9  


Цитата(kesn @ 17.10.2014, 21:05) *
MJ12bot


слушают

Цитата
User-agent: MJ12bot
Disallow: /


Взял отсюда




--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Brim
Brim
сообщение 19.10.2014, 22:21; Ответить: Brim
Сообщение #5


Участник
***

Группа: User
Сообщений: 182
Регистрация: 21.7.2013
Поблагодарили: 55 раз
Репутация:   8  


Вот такой у меня .htaccess в части ботов:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
# Block bots
RewriteCond %{HTTP_USER_AGENT} Firefox/2.0.0.13 [OR]
RewriteCond %{HTTP_USER_AGENT} Sleuth [OR]
RewriteCond %{HTTP_USER_AGENT} ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} proximic [OR]
RewriteCond %{HTTP_USER_AGENT} Lightspeedsystems [OR]
RewriteCond %{HTTP_USER_AGENT} SearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} parser3 [OR]
RewriteCond %{HTTP_USER_AGENT} TurnitinBot [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SISTRIX [OR]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot [OR]
RewriteCond %{HTTP_USER_AGENT} Wotbox [OR]
RewriteCond %{HTTP_USER_AGENT} AntivirusPro [OR]
RewriteCond %{HTTP_USER_AGENT} AntiVirusPro [OR]
RewriteCond %{HTTP_USER_AGENT} Insitesbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} mbot
RewriteRule .* - [F,L]
</IfModule>

Толку от них ноль, только сервер грузят.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
djalin
djalin
сообщение 19.10.2014, 23:26; Ответить: djalin
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 414
Регистрация: 8.5.2011
Поблагодарили: 87 раз
Репутация:   9  


Цитата(Brim @ 19.10.2014, 21:21) *
RewriteCond %{HTTP_USER_AGENT} Firefox/2.0.0.13 [OR]


страшный бот :)


--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Brim
Brim
сообщение 20.10.2014, 8:10; Ответить: Brim
Сообщение #7


Участник
***

Группа: User
Сообщений: 182
Регистрация: 21.7.2013
Поблагодарили: 55 раз
Репутация:   8  


Цитата(djalin @ 19.10.2014, 23:26) *
страшный бот :)


Реальные посетители таким старьем все равно не пользуются. А бот с таким юзер-агентом мой сайт пронимал активно. :)
Ведь юзер-агент можно указать любой... Хоть Yandex-Bot...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
selivandex
selivandex
сообщение 20.10.2014, 8:29; Ответить: selivandex
Сообщение #8


Новичок
*

Группа: User
Сообщений: 16
Регистрация: 26.7.2010
Поблагодарили: 2 раза
Репутация:   0  


Не проще переехать на nginx и настроить фильтр в нем?) Мне кажется apache вообще отжил свое.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Как заработать новичку?
106 Emeralda 17645 Вчера, 21:17
автор: lesssss81
Горячая тема (нет новых ответов) Как заставить Google любить тебя?
Хочу роста трафа из Гугла : ))
72 Aslan88 16144 Вчера, 21:02
автор: alexandrrr
Открытая тема (нет новых ответов) Как установить источник заражения сайтов?
5 kelevra 321 Вчера, 17:55
автор: Nell
Горячая тема (нет новых ответов) Как быстро похудеть мужчине в домашних условиях?
бесплатно, без регистрации, без смс
211 Silverspam 13348 Вчера, 16:48
автор: Catherine_Molli
Открытая тема (нет новых ответов) Как правильно сделать категории на сайте?
Хелппп!!!
5 norino 623 Вчера, 16:28
автор: One_on_One


 



RSS Текстовая версия Сейчас: 12.12.2017, 0:53
Дизайн