Помощник
 |
|
|
|
|
Сообщение сайта
Здравствуйте, гость ( Вход | Регистрация )
|
 Как заблокировать ботов |
kesn
|
Сообщение
#1
|
||
 Топовый постер  
 Группа: Active User Сообщений: 5101 Регистрация: 20.9.2008 Из: опринозин Поблагодарили: 1991 раз Репутация:  483 
 |
|
||
 |
|
||
|
devuser
|
 17.10.2014, 22:37;
Ответить: devuser
Сообщение
#2
|
 Все будет тип-топ Группа: Active User Сообщений: 713 Регистрация: 5.12.2012 Из: Online Поблагодарили: 343 раза Репутация: 52
|
Я побанил многих через конфиг nginx (может и полезных тоже, но на деве на них пофигу)
if $http_user_agent отдает 403 по юзерагенту далее блок, не дающий подбирать пароли к некоторым CMS Код set $mgr_proxy "http://xxx.xxx.xxx.xxx:xxxx";
location ^~ /manimg/ { alias /usr/local/ispmgr/skins/; } if ($http_user_agent ~* (ca-crawler|mail.ru|ScreenerBot.com|LWNutch|www.warebay.com|WinHttpRequest|nikolaydo vydov|sogou.com|SemrushBot|opensiteexplorer|WebBot-FindUrl|SEOkicks-Robot|360spider|vedma.ru|bing.com|uMBot-LN|monoid.nic.ru|openhose.org|paperlibot|python-|metauri.com|linkfluence.net|crowsnest.tv|www.turnitin.com|help.coccoc.com|Baidu spider/2.0|www.exabox.com|search.msn.com|Ezooms|majestic12.co.uk|ahrefs.com|turnitin.co m|crawler.sistrix.net|webmeup-crawler.com|SputnikBot) ) { return 403; } location ~* /(wp-login\.php|administrator|admin\.php) { set $humantest 0; if ($http_cookie !~* "humans=check_this_fucking_test_d3jds") { set $humantest 1; } if ($args ~* (callback|logout|lostpassword)) { set $humantest 0; } if ($humantest = 1) { add_header Content-Type text/html; return 200 "<html><body><script>document.cookie='humans=check_this_fucking_test_d3jds;path=/';location.reload();</script></body></html>"; } error_page 404 = @fallback; } location ^~ /manager { proxy_pass $mgr_proxy; proxy_redirect $mgr_proxy /; proxy_set_header Host $host:$server_port; proxy_set_header X-Forwarded-For $remote_addr; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Manager-Path /manager; proxy_set_header X-Secret OEQTLpOOyag3c0MY6QtPccUH; chunked_transfer_encoding off; } location ^~ /mancgi/ { proxy_pass $mgr_proxy; proxy_redirect $mgr_proxy /; proxy_set_header Host $host:$server_port; proxy_set_header X-Forwarded-For $remote_addr; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Secret OEQTLpOOyag3c0MY6QtPccUH; chunked_transfer_encoding off; } -------------------- |
|
|
|
|
nffd
|
17.10.2014, 23:23;
Ответить: nffd
Сообщение
#3
|
 Участник Группа: User Сообщений: 113 Регистрация: 2.5.2014 Поблагодарили: 23 раза Репутация: -1
|
devuser, Полезная информация.
|
|
|
|
|
djalin
|
19.10.2014, 20:37;
Ответить: djalin
Сообщение
#4
|
 Бывалый Группа: User Сообщений: 415 Регистрация: 8.5.2011 Поблагодарили: 87 раз Репутация: 9
|
-------------------- |
|
|
|
Brim
|
19.10.2014, 22:21;
Ответить: Brim
Сообщение
#5
|
|
Участник Группа: User Сообщений: 182 Регистрация: 21.7.2013 Поблагодарили: 55 раз Репутация: 8
|
Вот такой у меня .htaccess в части ботов:
<IfModule mod_rewrite.c> RewriteEngine On RewriteBase / # Block bots RewriteCond %{HTTP_USER_AGENT} Firefox/2.0.0.13 [OR] RewriteCond %{HTTP_USER_AGENT} Sleuth [OR] RewriteCond %{HTTP_USER_AGENT} ezooms [OR] RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} proximic [OR] RewriteCond %{HTTP_USER_AGENT} Lightspeedsystems [OR] RewriteCond %{HTTP_USER_AGENT} SearchBot [OR] RewriteCond %{HTTP_USER_AGENT} parser3 [OR] RewriteCond %{HTTP_USER_AGENT} TurnitinBot [OR] RewriteCond %{HTTP_USER_AGENT} Wget [OR] RewriteCond %{HTTP_USER_AGENT} SISTRIX [OR] RewriteCond %{HTTP_USER_AGENT} LinkpadBot [OR] RewriteCond %{HTTP_USER_AGENT} Wotbox [OR] RewriteCond %{HTTP_USER_AGENT} AntivirusPro [OR] RewriteCond %{HTTP_USER_AGENT} AntiVirusPro [OR] RewriteCond %{HTTP_USER_AGENT} Insitesbot [OR] RewriteCond %{HTTP_USER_AGENT} ^$ [OR] RewriteCond %{HTTP_USER_AGENT} mbot RewriteRule .* - [F,L] </IfModule> Толку от них ноль, только сервер грузят. |
|
|
|
|
djalin
|
19.10.2014, 23:26;
Ответить: djalin
Сообщение
#6
|
|
Бывалый Группа: User Сообщений: 415 Регистрация: 8.5.2011 Поблагодарили: 87 раз Репутация: 9
|
Цитата(Brim @ 19.10.2014, 21:21)  RewriteCond %{HTTP_USER_AGENT} Firefox/2.0.0.13 [OR] страшный бот 
-------------------- |
|
|
|
|
Brim
|
20.10.2014, 8:10;
Ответить: Brim
Сообщение
#7
|
|
Участник Группа: User Сообщений: 182 Регистрация: 21.7.2013 Поблагодарили: 55 раз Репутация: 8
|
Цитата(djalin @ 19.10.2014, 23:26) страшный бот Реальные посетители таким старьем все равно не пользуются. А бот с таким юзер-агентом мой сайт пронимал активно. Ведь юзер-агент можно указать любой... Хоть Yandex-Bot... |
|
|
|
|
selivandex
|
20.10.2014, 8:29;
Ответить: selivandex
Сообщение
#8
|
|
|
Новичок Группа: User Сообщений: 16 Регистрация: 26.7.2010 Поблагодарили: 2 раза Репутация: 0
|
Не проще переехать на nginx и настроить фильтр в нем?) Мне кажется apache вообще отжил свое.
|
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Как YM и GA считают клики по ссылкам? | 4 | artstyle | 246 | Сегодня, 2:10 автор: Wachowski |
|
Как набрать 10 000 минут просмотра в Яндекс Дзене и начать зарабатывать от 50 000 рублей i-marketing.kz - Разбираем детально Яндекс Дзен на примере кейса |
9 | r0mZet | 463 | Вчера, 16:40 автор: NormanSky |
|
Давайте блокировать ботов в robots.txt | 26 | Cott | 945 | Вчера, 12:53 автор: Osipec |
|
 Как в гугле быстро продвинуть сайт региональный |
24 | Filadelso | 2839 | Вчера, 12:42 автор: Osipec |
|
Как максимально удобно принимать оплату? желательно анонимно |
20 | Wachowski | 2939 | 6.3.2021, 16:45 автор: EvilGomel |
|
Текстовая версия | Сейчас: 8.3.2021, 5:11 |
