X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Как заблокировать ботов
kesn
kesn
Topic Starter сообщение 17.10.2014, 22:05; Ответить: kesn
Сообщение #1


Всем привет, 4 дня серв нагружен по полной, долго не мог понять в чем проблема, залез в логи апача и охренел, 7 гигов у файла other_vhosts_access.log и 95% это сранные боты MJ12bot, AhrefsBot и прочая ересть.
Как заблочить эту гадость?
MJ12bot, AhrefsBot - robots.txt не слушают; копаться в нём бесполезно. В htaccess тоже не получаеться

Сообщение отредактировал kesn - 17.10.2014, 22:05


--------------------


Поблагодарили: (1)
3
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 17.10.2014, 22:37; Ответить: devuser
Сообщение #2


Я побанил многих через конфиг nginx (может и полезных тоже, но на деве на них пофигу)

if $http_user_agent отдает 403 по юзерагенту
далее блок, не дающий подбирать пароли к некоторым CMS

Код
set $mgr_proxy "http://xxx.xxx.xxx.xxx:xxxx";
location ^~ /manimg/ {
    alias /usr/local/ispmgr/skins/;
}

if ($http_user_agent ~* (ca-crawler|mail.ru|ScreenerBot.com|LWNutch|www.warebay.com|WinHttpRequest|nikolaydo
vydov|sogou.com|SemrushBot|opensiteexplorer|WebBot-FindUrl|SEOkicks-Robot|360spider|vedma.ru|bing.com|uMBot-LN|monoid.nic.ru|openhose.org|paperlibot|python-|metauri.com|linkfluence.net|crowsnest.tv|www.turnitin.com|help.coccoc.com|Baidu
spider/2.0|www.exabox.com|search.msn.com|Ezooms|majestic12.co.uk|ahrefs.com|turnitin.co
m|crawler.sistrix.net|webmeup-crawler.com|SputnikBot) ) {
    return 403;
}
location ~* /(wp-login\.php|administrator|admin\.php) {
    set $humantest 0;
    if ($http_cookie !~* "humans=check_this_fucking_test_d3jds") {
    set $humantest 1;
    }
    if ($args ~* (callback|logout|lostpassword)) {
    set $humantest 0;
    }
    if ($humantest = 1) {
    add_header Content-Type text/html;
    return 200 "<html><body><script>document.cookie='humans=check_this_fucking_test_d3jds;path=/';location.reload();</script></body></html>";
    }
    error_page 404 = @fallback;
}

location ^~ /manager {
    proxy_pass $mgr_proxy;
    proxy_redirect $mgr_proxy /;
    proxy_set_header Host $host:$server_port;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Manager-Path /manager;
    proxy_set_header X-Secret OEQTLpOOyag3c0MY6QtPccUH;
    chunked_transfer_encoding off;
}
location ^~ /mancgi/ {
    proxy_pass $mgr_proxy;
    proxy_redirect $mgr_proxy /;
    proxy_set_header Host $host:$server_port;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Secret OEQTLpOOyag3c0MY6QtPccUH;
    chunked_transfer_encoding off;
}


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
nffd
nffd
сообщение 17.10.2014, 23:23; Ответить: nffd
Сообщение #3


devuser, Полезная информация.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
djalin
djalin
сообщение 19.10.2014, 20:37; Ответить: djalin
Сообщение #4


Цитата(kesn @ 17.10.2014, 21:05) *
MJ12bot


слушают

Цитата
User-agent: MJ12bot
Disallow: /


Взял отсюда




--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Brim
Brim
сообщение 19.10.2014, 22:21; Ответить: Brim
Сообщение #5


Вот такой у меня .htaccess в части ботов:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
# Block bots
RewriteCond %{HTTP_USER_AGENT} Firefox/2.0.0.13 [OR]
RewriteCond %{HTTP_USER_AGENT} Sleuth [OR]
RewriteCond %{HTTP_USER_AGENT} ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} proximic [OR]
RewriteCond %{HTTP_USER_AGENT} Lightspeedsystems [OR]
RewriteCond %{HTTP_USER_AGENT} SearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} parser3 [OR]
RewriteCond %{HTTP_USER_AGENT} TurnitinBot [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SISTRIX [OR]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot [OR]
RewriteCond %{HTTP_USER_AGENT} Wotbox [OR]
RewriteCond %{HTTP_USER_AGENT} AntivirusPro [OR]
RewriteCond %{HTTP_USER_AGENT} AntiVirusPro [OR]
RewriteCond %{HTTP_USER_AGENT} Insitesbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} mbot
RewriteRule .* - [F,L]
</IfModule>

Толку от них ноль, только сервер грузят.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
djalin
djalin
сообщение 19.10.2014, 23:26; Ответить: djalin
Сообщение #6


Цитата(Brim @ 19.10.2014, 21:21) *
RewriteCond %{HTTP_USER_AGENT} Firefox/2.0.0.13 [OR]


страшный бот :)


--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Brim
Brim
сообщение 20.10.2014, 8:10; Ответить: Brim
Сообщение #7


Цитата(djalin @ 19.10.2014, 23:26) *
страшный бот :)


Реальные посетители таким старьем все равно не пользуются. А бот с таким юзер-агентом мой сайт пронимал активно. :)
Ведь юзер-агент можно указать любой... Хоть Yandex-Bot...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
selivandex
selivandex
сообщение 20.10.2014, 8:29; Ответить: selivandex
Сообщение #8


Не проще переехать на nginx и настроить фильтр в нем?) Мне кажется apache вообще отжил свое.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Большие ставки для кликов в Я.Директ. Как удешевить?
2 rownong27 1120 26.3.2024, 14:13
автор: knezevolk
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
12 uahomka 2291 25.3.2024, 6:52
автор: Skyworker
Открытая тема (нет новых ответов) Как отозвать банковский платеж фрилансеру?
28 metvekot 3917 25.3.2024, 6:34
автор: Skyworker
Открытая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
23 freeax 3644 24.3.2024, 20:55
автор: Liudmila
Открытая тема (нет новых ответов) Через какой браузер и как можно найти в кэшэ браузера видео
10 Room 1934 23.3.2024, 7:41
автор: Room


 



RSS Текстовая версия Сейчас: 29.3.2024, 3:00
Дизайн