X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

4 страниц V   1 2 3 4 >
Открыть тему
Тема закрыта
> Как избавиться от бота?
MosClock
MosClock
Topic Starter сообщение 9.12.2015, 19:19; Ответить: MosClock
Сообщение #1


Проблема:
Ко мне на сайт заходит бот из США, под разными IP, на разные страницы и накручивает счётчики, посещая в среднем с десяток страниц.
Я-Метрикой и Гуглом определяется как "внутренний заход".
Пытаться блокировать по IP бесполезно - большой диапазон.
Пытаюсь по наименованию, но он почему то всё равно "пролазиет".
1) Может что -то не так делаю? 
2) Если совсем ничего не поделать, то может можно США заблокировать?

Вот пример захода бота из моих логов:

199.167.134.86 - - [09/Dec/2015:16:42:32 +0300] "GET /wa-data/public/shop/products/76/43/14376/images/12509/12509.970x0.jpg HTTP/1.1" 200 43182 "http://mosclock.ru/watch/casio/casio-ltp-1234l-1a/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)"

Вот кусок моего .htaccess, где его IP по началу вставляла : 



# Блокировка IP
Order Deny,Allow
Deny from 23.92.54.112
Deny from 162.248.100.80
Deny from 162.218.209.242
Deny from 162.248.96.154
Deny from 165.225.149.69
Deny from 173.255.139.183
Deny from 216.47.75.134
Deny from 216.47.75.135
Deny from 216.47.75.135

RewriteCond %{HTTP_USER_AGENT} "CLR" [OR]
RewriteCond %{HTTP_USER_AGENT} "50727" [OR]
RewriteCond %{HTTP_USER_AGENT} CLR [OR]
RewriteCond %{HTTP_USER_AGENT} "NET CLR 2.0.50727" [OR]



Сообщение отредактировал BLIK - 9.12.2015, 19:22
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 9.12.2015, 19:24; Ответить: BLIK
Сообщение #2


MozClock,Можно блокировать сразу диапазон, например

Deny from 162.248.

Блокировать полностью США нельзя, пострадать может и ip Google и других поисковиков.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MosClock
MosClock
Topic Starter сообщение 9.12.2015, 19:46; Ответить: MosClock
Сообщение #3


Понятно.
Мне не совсем понятно вот это: "NET CLR 2.0.50727".
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 9.12.2015, 19:55; Ответить: BLIK
Сообщение #4


(MozClock @ 9.12.2015, 21:46) *
Мне не совсем понятно вот это: "NET CLR 2.0.50727".
Стоит набрать в Google и видим 

Ну и становится понятно, что просто парсят магазин(я так думаю) 

Бороться с парсерами невозможно, а точнее тяжело.

Максимум можно помудрить с лимитами обращения к серверу с одного ip.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MosClock
MosClock
Topic Starter сообщение 9.12.2015, 20:18; Ответить: MosClock
Сообщение #5


Я тоже к этому выводу пришла.
Нашла программку даже "накручивалка банеров", где устанавливаются точь в точь такие же параметры как у этого бота. Можно менять не только IP
Перечень существенных возможностей:

  1. Незаметная маскировка вашего IP адреса псевдоадресами.

  2. Накрутка через Прокси и через SOCKS-Прокси.

  3. Имитация времени просмотра страниц вашего сайта.

  4. Детальная настройка накрутки для каждого счетчика в отдельности.

  5. Накрутка счетчиков одновременно и имитация параллельных посещений.

  6. Имитация популярных браузеров и мобильных телефонов.

  7. Обновление списков Прокси, SOCKS и др. в онлайн режиме. Редактирование этих списков.

  8. Подробное ведение статистики показов и кликов.

  9. Настройка расписаний для накрутки по дням недели и часам.

  10. Накрутка кодов баннеров в виде j-cкриптов и IFrame (реализовано не до конца).

  11. Имитация Java-функций и пр.

  12. Работа с "Cookies" и перехватывание редиректов.

 

НО КАК ТО ЛЮДИ БОРЮТСЯ С DOS -атаками? А это тоже самое только с меньшей интенсивностью.

С лимитами тоже не вариант. Там заходы с абсолютно разных IP и при этом пока до 300 в день. Чуть блокирую и тут же новый IP.

 

И зачем опять таки они сканируют? Ищут вход? Было бы там что-то суперценное, а то так...

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 9.12.2015, 20:37; Ответить: BLIK
Сообщение #6


(MozClock @ 9.12.2015, 22:18) *
НО КАК ТО ЛЮДИ БОРЮТСЯ С DOS -атаками?

Что примерно в роли такого устанавливают
 
Развернуть/Свернуть

Но я не стал через него работать, нюансов много негативных.

(MozClock @ 9.12.2015, 22:18) *
И зачем опять таки они сканируют? Ищут вход? Было бы там что-то суперценное, а то так.

Я бы закрыл вход в админ по ip(своему)

Сканируют, или парсят или ищут уязвимости для плохих действий)) 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ShowPrint
ShowPrint
сообщение 9.12.2015, 20:45; Ответить: ShowPrint
Сообщение #7


MozClock, BLIK_mw, у нас вроде r0mZet "специализируется" на защитных сервисах сайта, правда он вроде как дня три не заходил, может "постучаться" ему в ЛС??? Вдруг откликнется и дельным советом поможет...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MosClock
MosClock
Topic Starter сообщение 9.12.2015, 21:30; Ответить: MosClock
Сообщение #8


Всем спасибо, как то легче когда не в одиночку. А то техподдержка на хосте отфуболила и спросить то неукого).
Вот ещё рецептик выписала, только не знаю подойдёт ли мне. Много слов непонятных), а поговорить там не с кем :

баним примитивных самописных ботов, такие боты имеют отличие - у них ничего не написано в HTTP_USER_AGENT и HTTP_REFERER, если оба условия верны - блокируем. Я это делаю средствами php, в самое начало скриптов (до вызова конфигов, подключений к базе и т.п. тяжелых процессов) вставляю код:

 

if ($_SERVER["HTTP_REFERER"] == '' AND $_SERVER["HTTP_USER_AGENT"] == '') {die('Bad bot');}

 

Пока лично мне не очень понятно куда эту строчку вставить. В Index , head где скрипты подгружаются?

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
r0mZet
r0mZet
сообщение 9.12.2015, 21:47; Ответить: r0mZet
Сообщение #9


Я считаю что проблемы так таковой нет. Не стоит поднимать панику раньше времени, вас же никто как я понял не взломал и 503 ошибки тоже нет. Блокировкой ботов не увлекайтесь, а то еще забаните  краулеров, и индексировать вас будет некому. Ваша наблюдательность вызывает уважение, но главное чтобы это не превратилось в паранойю
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ShowPrint
ShowPrint
сообщение 9.12.2015, 21:50; Ответить: ShowPrint
Сообщение #10


Судя по
(MozClock @ 9.12.2015, 23:30) *
Я это делаю средствами php, в самое начало скриптов
это надо прописать в index.php "чем выше - тем лучше"...
Работать должно даже если поставите вообще первой строкой... Правда поскольку не большой "спец", то 
(MozClock @ 9.12.2015, 23:30) *
такие боты имеют отличие - у них ничего не написано в HTTP_USER_AGENT и HTTP_REFERER
подтвердить не могу...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4 страниц V   1 2 3 4 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Большие ставки для кликов в Я.Директ. Как удешевить?
2 rownong27 1124 26.3.2024, 14:13
автор: knezevolk
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
12 uahomka 2298 25.3.2024, 6:52
автор: Skyworker
Открытая тема (нет новых ответов) Как отозвать банковский платеж фрилансеру?
28 metvekot 3922 25.3.2024, 6:34
автор: Skyworker
Открытая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
23 freeax 3650 24.3.2024, 20:55
автор: Liudmila
Открытая тема (нет новых ответов) Через какой браузер и как можно найти в кэшэ браузера видео
10 Room 1943 23.3.2024, 7:41
автор: Room


 



RSS Текстовая версия Сейчас: 29.3.2024, 16:29
Дизайн