X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Как заблокировать ботов
kesn
kesn
Topic Starter сообщение 17.10.2014, 22:05; Ответить: kesn
Сообщение #1


Всем привет, 4 дня серв нагружен по полной, долго не мог понять в чем проблема, залез в логи апача и охренел, 7 гигов у файла other_vhosts_access.log и 95% это сранные боты MJ12bot, AhrefsBot и прочая ересть.
Как заблочить эту гадость?
MJ12bot, AhrefsBot - robots.txt не слушают; копаться в нём бесполезно. В htaccess тоже не получаеться

Сообщение отредактировал kesn - 17.10.2014, 22:05


--------------------


Поблагодарили: (1)
3
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 17.10.2014, 22:37; Ответить: devuser
Сообщение #2


Я побанил многих через конфиг nginx (может и полезных тоже, но на деве на них пофигу)

if $http_user_agent отдает 403 по юзерагенту
далее блок, не дающий подбирать пароли к некоторым CMS

Код
set $mgr_proxy "http://xxx.xxx.xxx.xxx:xxxx";
location ^~ /manimg/ {
    alias /usr/local/ispmgr/skins/;
}

if ($http_user_agent ~* (ca-crawler|mail.ru|ScreenerBot.com|LWNutch|www.warebay.com|WinHttpRequest|nikolaydo
vydov|sogou.com|SemrushBot|opensiteexplorer|WebBot-FindUrl|SEOkicks-Robot|360spider|vedma.ru|bing.com|uMBot-LN|monoid.nic.ru|openhose.org|paperlibot|python-|metauri.com|linkfluence.net|crowsnest.tv|www.turnitin.com|help.coccoc.com|Baidu
spider/2.0|www.exabox.com|search.msn.com|Ezooms|majestic12.co.uk|ahrefs.com|turnitin.co
m|crawler.sistrix.net|webmeup-crawler.com|SputnikBot) ) {
    return 403;
}
location ~* /(wp-login\.php|administrator|admin\.php) {
    set $humantest 0;
    if ($http_cookie !~* "humans=check_this_fucking_test_d3jds") {
    set $humantest 1;
    }
    if ($args ~* (callback|logout|lostpassword)) {
    set $humantest 0;
    }
    if ($humantest = 1) {
    add_header Content-Type text/html;
    return 200 "<html><body><script>document.cookie='humans=check_this_fucking_test_d3jds;path=/';location.reload();</script></body></html>";
    }
    error_page 404 = @fallback;
}

location ^~ /manager {
    proxy_pass $mgr_proxy;
    proxy_redirect $mgr_proxy /;
    proxy_set_header Host $host:$server_port;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Manager-Path /manager;
    proxy_set_header X-Secret OEQTLpOOyag3c0MY6QtPccUH;
    chunked_transfer_encoding off;
}
location ^~ /mancgi/ {
    proxy_pass $mgr_proxy;
    proxy_redirect $mgr_proxy /;
    proxy_set_header Host $host:$server_port;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Secret OEQTLpOOyag3c0MY6QtPccUH;
    chunked_transfer_encoding off;
}


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
nffd
nffd
сообщение 17.10.2014, 23:23; Ответить: nffd
Сообщение #3


devuser, Полезная информация.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
djalin
djalin
сообщение 19.10.2014, 20:37; Ответить: djalin
Сообщение #4


Цитата(kesn @ 17.10.2014, 21:05) *
MJ12bot


слушают

Цитата
User-agent: MJ12bot
Disallow: /


Взял отсюда




--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Brim
Brim
сообщение 19.10.2014, 22:21; Ответить: Brim
Сообщение #5


Вот такой у меня .htaccess в части ботов:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
# Block bots
RewriteCond %{HTTP_USER_AGENT} Firefox/2.0.0.13 [OR]
RewriteCond %{HTTP_USER_AGENT} Sleuth [OR]
RewriteCond %{HTTP_USER_AGENT} ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} proximic [OR]
RewriteCond %{HTTP_USER_AGENT} Lightspeedsystems [OR]
RewriteCond %{HTTP_USER_AGENT} SearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} parser3 [OR]
RewriteCond %{HTTP_USER_AGENT} TurnitinBot [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SISTRIX [OR]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot [OR]
RewriteCond %{HTTP_USER_AGENT} Wotbox [OR]
RewriteCond %{HTTP_USER_AGENT} AntivirusPro [OR]
RewriteCond %{HTTP_USER_AGENT} AntiVirusPro [OR]
RewriteCond %{HTTP_USER_AGENT} Insitesbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} mbot
RewriteRule .* - [F,L]
</IfModule>

Толку от них ноль, только сервер грузят.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
djalin
djalin
сообщение 19.10.2014, 23:26; Ответить: djalin
Сообщение #6


Цитата(Brim @ 19.10.2014, 21:21) *
RewriteCond %{HTTP_USER_AGENT} Firefox/2.0.0.13 [OR]


страшный бот :)


--------------------
Услуги: установка WP + плагины. Установка SAPE: wordpress/phpbb/Quick.Cms/некоторые самописы (php)
Хостинг - The HostVille
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Brim
Brim
сообщение 20.10.2014, 8:10; Ответить: Brim
Сообщение #7


Цитата(djalin @ 19.10.2014, 23:26) *
страшный бот :)


Реальные посетители таким старьем все равно не пользуются. А бот с таким юзер-агентом мой сайт пронимал активно. :)
Ведь юзер-агент можно указать любой... Хоть Yandex-Bot...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
selivandex
selivandex
сообщение 20.10.2014, 8:29; Ответить: selivandex
Сообщение #8


Не проще переехать на nginx и настроить фильтр в нем?) Мне кажется apache вообще отжил свое.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Как и где отдыхать весной-летом 2021?
32 uahomka 479 Сегодня, 22:43
автор: hulivtuli
Открытая тема (нет новых ответов) Хочу встать на учет как самозанятый
Какие там нюансы и подводные камни?
12 PostBrigada 362 Сегодня, 20:47
автор: JOHNY
Открытая тема (нет новых ответов) Спецпредложение "Коробка Битрикс24 в облаке: как перенести и сколько это стоит"
20 Tucha 3416 Вчера, 9:29
автор: Tucha
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКак в гугле быстро продвинуть сайт региональный
42 Filadelso 4519 15.4.2021, 21:32
автор: WGN
Открытая тема (нет новых ответов) Как в Wordpress центрировать изображение по умолчанию?
5 SkyFire 1649 15.4.2021, 16:02
автор: malamut


 



RSS Текстовая версия Сейчас: 17.4.2021, 23:55
Дизайн