X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как остановить спам-ботов, портящих аналитику.
MissContent
MissContent
Topic Starter сообщение 15.5.2015, 13:10; Ответить: MissContent
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 883
Регистрация: 22.7.2013
Поблагодарили: 899 раз
Репутация:   93  


Несколько месяцев назад наше агентство заметило небывалый взлёт реферрального траффика в Google Analytics. Поначалу я просто умилялся. Подумать только! На нас ставят ссылки, люди переходят! Праздник, да и только!

Но каково было моё разочарование, когда я копнул поглубже. Скандал, непоправимый скандал! Как оказалось, большая часть этого траффика шла от спамеров, в основном от некого Виталия Попова (сущая «кость в горле», по-другому назвать не поворачивается язык).

С его доменов на сайт нашей компании, как и многих наших клиентов, поступало по нескольку сотен переходов в месяц – достаточно для того, чтобы «смазать» данные аналитики.

Попов, по сути, не единственный спамер, но именно он доставил нам массу хлопот в последнее время. Если у вас та же история со спамерскими реферралами, возможно, вам помогут описанные мной тут действия, чтобы остановить это дело и не позволить дальше искажать данные вашей аналитики.

Зачем мне нужно фильтровать и блокировать эти сайты?

Для меня причин было две. Во-первых, порча показателей аналитики. Так, несколько сотен спамерских сессий в месяц возможно и не сделают особой погоды для сайта вроде Moz.com, у которого эти сессии ежедневно исчисляются тысячами, однако на небольшом сайте какой-нибудь фирмы по монтажу пластиковых труб из 30 переходов в день 70% наверняка будут спамерскими, которые задушат нормальный трафик и не позволят получить достоверные результаты маркетингового анализа.

Во-вторых, это нагрузка на сервер и вопрос безопасности. Я ведь не прошу ботов заходить на мой сайт, я не зову их, и более того, лучше бы они держались от меня подальше. Но независимо от моей воли они приходят, и их визиты загружают сервер. На перегруженном сервере страницы загружаются медленнее, повышается процент отказов, и всё это в итоге приводит к упадку. Кроме того, одному Богу известно, что именно эти боты делают на моем сайте, пока они там сидят. Наверняка, сидят не просто так, а ищут уязвимости WordPress, плагинов, сервера и тому подобные «дыры».

Основные домены спамерских реферралов

Слава Богу, есть WHOIS.net, и он выдал мне господина Попова с головой. Я обнаружил, что "ноги растут" вот откуда:

darodar.com (и его различные поддомены);
econom.co;
ilovevitaly.co (и другие варианты TLD).

Попов не единственный в своём роде, есть и другие, как то:

semalt.com (и его различные поддомены);
buttons-for-website.com;
see-your-website-here.com.

Вообще говоря, спамеров великое множество. Просто те, что выше, были наиболее активными в последнее время.

Зачем они лезут на мой сайт?


Угадайте, кто целенаправленно не скрывает себя от аналитики при заходе на сайты? Это спам-боты! Их тысячи, и это меня уже начинает бесить. Я исследовал некоторые из сайтов, перечисленных выше. Расскажу про три самых «ярых».

See-your-website-here.com



Этот сайт использует реферральный спам в качестве маркетинговой тактики. А что же они производят? Веб-спам. За плату они подготовят для вашей компании тонны веб-спама, нацеленного на поиск и привлечение новых клиентов. Владелец домена был так любезен, что не скрыл даже Whois-информации, знакомьтесь: это Бен Сайкс, и он из Лондона.

Semalt.com



С Semalt.com у меня собственные счёты. Semalt является SEO-продуктом для анализа ключевых слов и метрики – продукт, как видно, вполне легальный, но вот методы… Semalt использует своего бота, который лазает по сайтам, и, в отличие от ему подобных, но «порядочных» ботов, не отключает учёт аналитики при этом. Надо сказать, существует формуляр, с помощью которого можно якобы исключить свой сайт из поля зрения Semalt (http://semalt.com/project_crawler.php), только он, похоже, не работает. Я пробовал отвадить бота от своего сайта через этот формуляр, но бот всё равно приходил и гадил. Дело кончилось тем, что я связался с представителем Semalt.com через Twitter, в результате чего родилась статья «Как остановить Semalt.com, который портит данные Google Analytics».Там я подробно всё расписал.

Darodar.com, econom.co и ilovevitaly.com



Как я понял, эта сеть существует с целью направления аффилированого траффика на сайты магазинов, таких как AliExpress.com и eBay.com. Она, таким образом, поставляет магазинам новых клиентов, на чём и зарабатывает. Переход на shopping.ilovevitaly.com раньше перенаправлял прямо на aliexpress.com, а сейчас приводит на страницу, где расположены ссылки на разные Интернет-магазины.

Как остановить спам-ботов

Блокировка с помощью .htaccess

Лучший способ блокировки путей доступа на ваш сайт – это заблокировать их в файле .htaccess в корневой директории вашего домена. Вы можете скопировать и вставить в .htaccess код прямо отсюда (предполагается, что у вас Apache). На мой взгляд этот метод лучше, чем просто блокировать в аналитике, потому что предотвращает скоординированную атаку спам-ботов. А можно подойти к делу с изюминкой: перенаправить спамный трафик им в обратную.

# Block Russian Referrer Spam
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly.\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.info/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*iloveitaly\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*econom\.co/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*darodar\.com/ [NC]
RewriteRule ^(.*)$ – [F,L]

Однако внимание: .htaccess является ключевым файлом, который определяет поведение вашего домена в целом. Ошибка может завалить весь сайт, поэтому прежде чем вносить изменения в .htaccess, сделайте его резервную копию. Если редактирование .htaccess для вас неудобно, смотрите про аналогичную настройку WordPress ниже.

Фильтры аналитики

Само по себе редактирование .htaccess не является панацеей, оно не решит всех проблем. Этот способ защитит вас от будущих спамерских сессий, но он бессилен перед сессиями, которые уже произошли. Мне нравится настраивать фильтры аналитики по странам, чтобы удалить прошлые данные, а также отсечть ботов из потенциально неблагонадёжных регионов. Конечно, этот подход слишком радикальный по отношению к «легальному» траффику из таких стран, как Россия, Бразилия или Индонезии, но в Америке до этого никому нет дела, и многие американские компании смело блокируют эти страны без риска потерять ценных клиентов. Следуйте инструкциям ниже, чтобы настроить фильтры.

Во-первых, перейдите на вкладку «Admin» («Администратор») в верхней части страницы. В колонке «View» («Вид») создайте «новый вид», чтобы потом не было путаницы в Google Analytics. Дайте ему понятное название, я например назвал свой «новый вид» "Filter Bots" («Фильтр ботов»). После этого щёлкните на "Filters" («Фильтры»), затем выберите "+New Filter Button" («Добавить новый»).



Настройка фильтров довольно проста. Я, к примеру, отсеку весь траффик из России, Бразилии и Индонезии. Это те страны, которые доставляли мне жуткий головняк в последнее время. Вы можете добавить свои собственные фильтры.

Имя фильтра должно быть чётким и ёмким. Я обычно так и пишу: «Блокировать [какую-то страну]». Далее выбираем тип фильтра «custom» («пользовательский», «настраиваемый»). Выберите «country» («страна») из выпадающего списка «Filter Field» («Фильтровать по»). В поле “Filter Pattern Field” («Шаблон фильтра») надо определить, какие страны будут отсекаться, поэтому важно их правильно написать. Вы можете сделать дополнительную проверку: с помощью кнопки ”Verify This Filter” («Проверка фильтра»). Появится всплывающее окно, в котором будет показано, сколько сессий будут удалены из истории за последние семь дней.



Я бы порекомендовал ещё поставить флажок у “Bot Filtering” («Фильтрация ботов»), что находится в "View Settings" («Настройка вида») на вкладке «Admin» («Администратор»). По моим наблюдениям, эта опция, в принципе, ничего не делает, но и не вредит, а коль скоро она есть, то, возможно, при её включении Google будет блокировать ещё какой-то спам.



Используете WordPress и не хотите редактировать .htaccess?

Я всегда использую использовал плагин Wp-Ban, с его помощью можно легко блокировать нежелательных посетителей. Wp-Ban даёт возможность запретить пользователей, IP, диапазоны IP, имя хоста, User-Agent и ссылки URL прямо из админ-панели WordPress. Это отличное решение для людей, которые не хотят возиться с .htaccess.

Заключение

Я надеюсь, моя статья поможет вам заблокировать всех надоедливых спамеров. Способов существует масса, и это только те, которые помогли лично мне защитить свои данные в Google Analytics. Хотелось бы знать, как и вы боретесь со спам-ботами, поделитесь со мной своими историями в комментариях ниже.

Оригинал статьи на английском языке: https://moz.com/blog/how-to-stop-spam-bots-...s-referral-data


--------------------
Реальный конверт с реальной Фарма ПП!
Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org


Поблагодарили: (4)
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
andrey10tic
andrey10tic
сообщение 15.5.2015, 13:35; Ответить: andrey10tic
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 476
Регистрация: 14.5.2014
Из: Москва
Поблагодарили: 144 раза
Репутация:   13  


MissContent, Очень интересная статья, узнал много полезное. Но, у меня к автору один вопрос: Как можно отличить ботов от реальных посетителей если переходы прямые? Как узнать что это бот или реальный человек?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Eserador
Eserador
сообщение 15.5.2015, 14:16; Ответить: Eserador
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 849
Регистрация: 17.5.2013
Из: Киев
Поблагодарили: 250 раз
Репутация:   22  


Цитата(andrey10tic @ 15.5.2015, 12:35) *
Но, у меня к автору один вопрос:

Автор:
Jared Gardner
Цитата(MissContent @ 15.5.2015, 12:10) *
Оригинал статьи на английском языке: https://moz.com/blog/how-to-stop-spam-bots-...s-referral-data

Перечитайте еще раз вступление (первые 4 абзаца), и поймете о чем речь и как это все отследить, чем руководствовался автор.

Сообщение отредактировал Eserador - 15.5.2015, 14:17


--------------------
Белый SEO-колдун
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mobilnikplus
mobilnikplus
сообщение 15.5.2015, 16:31; Ответить: mobilnikplus
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 780
Регистрация: 21.9.2010
Из: Украина
Поблагодарили: 143 раза
Репутация:   10  


Может, у кого-то есть списочек таких ботов? buttons-for-website.com точно видел у себя в статистике, теперь хоть буду понимать, что это за гусь в яблоках. :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mobilnikplus
mobilnikplus
сообщение 21.6.2015, 23:37; Ответить: mobilnikplus
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 780
Регистрация: 21.9.2010
Из: Украина
Поблагодарили: 143 раза
Репутация:   10  


Что-то не получается у меня заблокировать спам-ботов с помощью .htaccess, сайт "ложится". Может, кто подскажет, в чем может быть проблема?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rokot
rokot
сообщение 21.6.2015, 23:40; Ответить: rokot
Сообщение #6


Loading...
******

Группа: Super Moderator
Сообщений: 1619
Регистрация: 6.7.2012
Поблагодарили: 899 раз
Репутация:   133  


mobilnikplus, вот на этом ресурсе: http://incredibill.me/htaccess-block-referer можно сделать код для .htaccess) Просто вбиваете домены, которые нужно заблокировать и все. Готовый код копируете и вставляете в свой файл .htaccess.


--------------------
Дешевый и быстрый хостинг (US,RU сервера) | ПРОМОКОД на 10% - OFF10
Сайты на WordPress от 1500 рублей!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Plant
Plant
сообщение 22.6.2015, 1:01; Ответить: Plant
Сообщение #7


Частый гость
**

Группа: User
Сообщений: 50
Регистрация: 29.9.2012
Поблагодарили: 5 раз
Репутация:   1  


Хм.
А я думал, что уже в далёком 2009, 6 -ть лет назад тему закрыли, но нет... жив ещё курилка.
RewriteCond
----------------
говноботы и качалки

RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [OR]
RewriteCond %{HTTP_USER_AGENT} ^1-More\ Scanner [OR]
RewriteCond %{HTTP_USER_AGENT} ^192.comAgent [OR]
RewriteCond %{HTTP_USER_AGENT} ^Accelerator [OR]
RewriteCond %{HTTP_USER_AGENT} ^Accoona [OR]
RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR]
RewriteCond %{HTTP_USER_AGENT} ^almaden.ibm.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^Ants [OR]
RewriteCond %{HTTP_USER_AGENT} ^Aport [OR]
RewriteCond %{HTTP_USER_AGENT} ^AppleWebKit [OR]
RewriteCond %{HTTP_USER_AGENT} ^archive.org [OR]
RewriteCond %{HTTP_USER_AGENT} ^Ask\ Jeeves [OR]
RewriteCond %{HTTP_USER_AGENT} ^asterias [OR]
RewriteCond %{HTTP_USER_AGENT} ^attach [OR]
RewriteCond %{HTTP_USER_AGENT} ^BabalooSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^BackWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ^Badex-Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bandit [OR]
RewriteCond %{HTTP_USER_AGENT} ^BecomeBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^BilgiBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^BilgiFeedBot/experimental [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bingbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Black.Hole [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlowFish [OR]
RewriteCond %{HTTP_USER_AGENT} ^BotALot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Brontok.A\ Browser [OR]
RewriteCond %{HTTP_USER_AGENT} ^Buddy [OR]
RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bullseye [OR]
RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers [OR]
RewriteCond %{HTTP_USER_AGENT} ^Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} ^CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^CazoodleBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh [OR]
RewriteCond %{HTTP_USER_AGENT} ^CFNetwork [OR]
RewriteCond %{HTTP_USER_AGENT} ^CheeseBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^ConveraCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Copier [OR]
RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck [OR]
RewriteCond %{HTTP_USER_AGENT} ^cosmos [OR]
RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Deepnet\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^DLE_Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Dead\ Link\ Checker [OR]
RewriteCond %{HTTP_USER_AGENT} ^DepSpid [OR]
RewriteCond %{HTTP_USER_AGENT} ^DIIbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DittoSpyder [OR]
RewriteCond %{HTTP_USER_AGENT} ^Dolphin [OR]
RewriteCond %{HTTP_USER_AGENT} ^DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^dotnetdotcom [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Master [OR]
RewriteCond %{HTTP_USER_AGENT} ^Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^Drip [OR]
RewriteCond %{HTTP_USER_AGENT} ^e-SocietyRobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^EroCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Exabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} ^FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} ^FAST\ MetaWeb\ Crawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Feedfetcher-Google [OR]
RewriteCond %{HTTP_USER_AGENT} ^FileHound [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Flexum\ spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Foobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^FrontPage [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^Gets [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^gotit [OR]
RewriteCond %{HTTP_USER_AGENT} ^GoZilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^Gulliver [OR]
RewriteCond %{HTTP_USER_AGENT} ^Harvest [OR]
RewriteCond %{HTTP_USER_AGENT} ^help.naver.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^hloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} ^holmes [OR]
RewriteCond %{HTTP_USER_AGENT} ^HP\ Web\ PrintSmart [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTMLParser [OR]
RewriteCond %{HTTP_USER_AGENT} ^httplib [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} ^humanlinks [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} ^IBrowse [OR]
RewriteCond %{HTTP_USER_AGENT} ^ichiro [OR]
RewriteCond %{HTTP_USER_AGENT} ^IDBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library [OR]
RewriteCond %{HTTP_USER_AGENT} ^InetURL [OR]
RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Iria [OR]
RewriteCond %{HTTP_USER_AGENT} ^IRLbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java [OR]
RewriteCond %{HTTP_USER_AGENT} ^JennyBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC [OR]
RewriteCond %{HTTP_USER_AGENT} ^JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} ^JustView [OR]
RewriteCond %{HTTP_USER_AGENT} ^Kenjin.Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Keyword.Density [OR]
RewriteCond %{HTTP_USER_AGENT} ^kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Konqueror [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^leech [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^LexiBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^lftp [OR]
RewriteCond %{HTTP_USER_AGENT} ^libWeb/clsHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^libwww [OR]
RewriteCond %{HTTP_USER_AGENT} ^likse [OR]
RewriteCond %{HTTP_USER_AGENT} ^Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkScan [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^ListChecker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Lupa\.ru [OR]
RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} ^LWP::Simple [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mag-Net [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mata.Hari [OR]
RewriteCond %{HTTP_USER_AGENT} ^Memo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIIxpc [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mirror [OR]
RewriteCond %{HTTP_USER_AGENT} ^Missigua [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^moget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Moreoverbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MSFrontPage [OR]
RewriteCond %{HTTP_USER_AGENT} ^MSIECrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^NaverBot/1.0 [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net.*Reaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetCache [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetMechanic [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^NextGenSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^nicebot [OR]
RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR]
RewriteCond %{HTTP_USER_AGENT} ^Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Nokia6682 [OR]
RewriteCond %{HTTP_USER_AGENT} ^noxtrumbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^NPBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline [OR]
RewriteCond %{HTTP_USER_AGENT} ^OmniExplorer_Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^OneTouchSystems [OR]
RewriteCond %{HTTP_USER_AGENT} ^Openfind [OR]
RewriteCond %{HTTP_USER_AGENT} ^Page.*Saver [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^PEAR [OR]
RewriteCond %{HTTP_USER_AGENT} ^PHP.*/ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Ping [OR]
RewriteCond %{HTTP_USER_AGENT} ^Pita [OR]
RewriteCond %{HTTP_USER_AGENT} ^Pockey [OR]
RewriteCond %{HTTP_USER_AGENT} ^Port\ Huron\ Labs [OR]
RewriteCond %{HTTP_USER_AGENT} ^PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} ^ProPowerBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^psbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Pump [OR]
RewriteCond %{HTTP_USER_AGENT} ^Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} ^PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} ^Python [OR]
RewriteCond %{HTTP_USER_AGENT} ^QihooBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^Reaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Recorder [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey [OR]
RewriteCond %{HTTP_USER_AGENT} ^RMA [OR]
RewriteCond %{HTTP_USER_AGENT} ^RPT-HTTPClient [OR]
RewriteCond %{HTTP_USER_AGENT} ^RufusBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^rulinki [OR]
RewriteCond %{HTTP_USER_AGENT} ^SBIder [OR]
RewriteCond %{HTTP_USER_AGENT} ^shelob [OR]
RewriteCond %{HTTP_USER_AGENT} ^ShopWiki [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^sitecheck.internetseer.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} ^SlySearch [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SMILE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Snagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Snake [OR]
RewriteCond %{HTTP_USER_AGENT} ^Sogou\ web\ spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Sosospider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Soup [OR]
RewriteCond %{HTTP_USER_AGENT} ^SpaceBison [OR]
RewriteCond %{HTTP_USER_AGENT} ^SpankBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^spanner [OR]
RewriteCond %{HTTP_USER_AGENT} ^spbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Speedy [OR]
RewriteCond %{HTTP_USER_AGENT} ^Speedy\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^StackRambler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^suzuran [OR]
RewriteCond %{HTTP_USER_AGENT} ^SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} ^Szukacz [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^Telesoft [OR]
RewriteCond %{HTTP_USER_AGENT} ^The.Intraformant [OR]
RewriteCond %{HTTP_USER_AGENT} ^TheFreeDictionary.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^TheNomad [OR]
RewriteCond %{HTTP_USER_AGENT} ^TightTwatBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Titan [OR]
RewriteCond %{HTTP_USER_AGENT} ^TMCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR]
RewriteCond %{HTTP_USER_AGENT} ^Triton [OR]
RewriteCond %{HTTP_USER_AGENT} ^True_Robot [OR]
RewriteCond %{HTTP_USER_AGENT} ^ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^turingos [OR]
RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^TurtleScanner [OR]
RewriteCond %{HTTP_USER_AGENT} ^Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} ^UniversalFeedParser [OR]
RewriteCond %{HTTP_USER_AGENT} ^URLy.Warning [OR]
RewriteCond %{HTTP_USER_AGENT} ^User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} ^Vacuum [OR]
RewriteCond %{HTTP_USER_AGENT} ^VCI [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoilaBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^voyager [OR]
RewriteCond %{HTTP_USER_AGENT} ^Weazel [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web.*Image.*Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web.*Spy [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web.*Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web.Image.Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAlta [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebBandit [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCapture [OR]
RewriteCond %{HTTP_USER_AGENT} ^webcollage [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebData [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebEnhancer [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebEx [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebExtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebmasterWorldForumBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebMirror [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebRecorder [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSite.*Extractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website.*Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website.Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSpy [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webster [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webster.Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webster\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZip [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Whacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWW-Collector-E [OR]
RewriteCond %{HTTP_USER_AGENT} ^www.cuill.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^www.metacrawler.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^www\.asona\.org [OR]
RewriteCond %{HTTP_USER_AGENT} ^www\.cys\.ru [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wysigot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xenu's [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yanga [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} ^YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^xpymep [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus [OR]
RewriteCond %{HTTP_USER_AGENT} ^ZyBorg
RewriteRule ^.* - [F,L]
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mobilnikplus
mobilnikplus
сообщение 8.7.2015, 13:36; Ответить: mobilnikplus
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 780
Регистрация: 21.9.2010
Из: Украина
Поблагодарили: 143 раза
Репутация:   10  


Сделал так:

Код
# Block Referrer Spam
RewriteCond %{HTTP_REFERER} ^http://.*100dollars\-seo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*success\-seo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*best\-seo\-offer\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*globososo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*videos\-for\-your\-business\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-your\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-website\.com/ [NC]
RewriteRule .* - [F,L]


Где-то с неделю никого не было, но теперь опять начали заходить.

Что я сделал не так?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как мошенники зарабатывают на прямых трансляциях в Instagram
Не ждите порно в инстаграм, его нет
10 PostBrigada 1117 Вчера, 22:40
автор: JOHNY
Открытая тема (нет новых ответов) Маленький кейс как сделать много почтовых ящиков в Gmail
Один аккаунт = много ящиков
1 PostBrigada 502 Вчера, 21:34
автор: Pingunio
Горячая тема (нет новых ответов) Черный список обменников и как безопасно обменять валюту
141 Kurses 29904 Вчера, 13:04
автор: BestExchangers
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыКак черные SEO оптимизаторы собирают миллионы посетителей по высоко-актуальным запросам в Яндексе
5 serg5777 1549 Вчера, 11:05
автор: Ley
Открытая тема (нет новых ответов) Как действительно успешно внедрять привычки. И менять жизнь
seoandme.ru - SEO-блог Анны Ященко
14 AnnaYa 1419 Вчера, 8:49
автор: kaverima80


 



RSS Текстовая версия Сейчас: 16.12.2017, 1:57
Дизайн