Помощник
|
Давайте блокировать ботов в robots.txt |
Cott
|
Сообщение
#42
|
|
Да признаю, роботс дырявый и ненадежный.
Применил этот вариант и все работает ОК - HTTrack и другие блокируются Ботов развелось, хотя я и сам много раз пользовался HTTrack-ом |
|
|
Trumper |
6.4.2021, 18:28;
Ответить: Trumper
Сообщение
#43
|
|
Cott, а Xenu там за что блокнули?
Ей кроме самого вебмастера кто-то постоянно пользуется? парочку конкурентов просканят - имхо не страшно |
|
|
Cott
|
Сообщение
#44
|
|
Без разницы, нет желания вникать.
Цель - больше блокировать. |
|
|
kvsgeek |
10.4.2021, 15:03;
Ответить: kvsgeek
Сообщение
#45
|
|
Ostromir,
Обычно хорошие хостинги делают такую опцию, но лучше уточнять у самой поддержки хостинга, делают ли они такое. |
|
|
Cott
|
Сообщение
#46
|
|
Сайт работает в Москве и только по Москве.
Начала долбиться вот эта гадость из Канады. Из логов: 51.161.119.104 - - [10/Apr/2021:13:07:55 +0300] "GET / HTTP/1.1" 301 173 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36" Перекрыл доступ: Deny from 51.161.0.0/16 Сообщение отредактировал Cott - 10.4.2021, 17:15 |
|
|
AFFSCALE |
26.4.2021, 12:45;
Ответить: AFFSCALE
Сообщение
#47
|
|
подскажите суть всей этой слежки и блокировки, это как то негативно сказывается в рамках SEO для региональных сайтов, например, что сайт привязан к Москве, а к нему долбятся с Канады? Ну так яндекс же 100% знает все эти заходы и все ip, гугл тоже, при сопоставлении бигдата выдается условие игнорирование этого мусора как пользователя, разве не так?
-------------------- |
|
|
coremission |
26.4.2021, 13:51;
Ответить: coremission
Сообщение
#48
|
|
Да признаю, роботс дырявый и ненадежный. Он не дырявый, это просто файл с рекомендациями. Какие-то боты его используют, а какие-то нет. -------------------- Разрабатываем Календарь: даты выхода игр |
|
|
akmid81 |
12.5.2021, 19:37;
Ответить: akmid81
Сообщение
#49
|
|
Добавляю только наиболее надоедливых, на одиночных нет желания тратить время.
# Запрет хакерских и плохих ботов RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^$ [OR] RewriteCond %{HTTP_USER_AGENT} (<|>|'|%0A|%0D|%27|%3C|%3E|%00) [NC,OR] RewriteCond %{HTTP_USER_AGENT} .*(libwww-perl|wget|python|nikto|curl|scan|java|winhttp|clshttp|loader|bidswitchbot).* [NC,OR] RewriteCond %{HTTP_USER_AGENT} .*(MJ12bot|Detectify|dotbot|Riddler|BLEXBot|FlipboardProxy|aiHitBot|trovitBot|Ah refsBot|SemrushBot|MauiBot|LinkpadBot|admantx|criteobot|photon|rogerbot|barkrowle r|scrapy|ZoominfoBot|ltx71|PetalBot).* [NC] RewriteRule ^(.*)$ - [F,L] |
|
|
Starpony |
12.5.2021, 20:38;
Ответить: Starpony
Сообщение
#50
|
|
|
|
|
ZevSua |
15.5.2021, 16:01;
Ответить: ZevSua
Сообщение
#51
|
|
|
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
<Braga/> Создание Telegram-ботов, web-приложений, крипто-бирж, сайтов. | 2 | newbraga | 1674 | 10.3.2024, 22:04 автор: newbraga |
|
В каких тизерных сетях меньше ботов? | 37 | Boymaster | 8321 | 24.1.2024, 22:13 автор: Boymaster |
|
ВК: Реальные/целевые подписчики. Оплата за вступивших. Без ботов. Гарантия. Скидки! Тест за отзыв. | 96 | VilD | 68387 | 17.3.2022, 2:37 автор: Hydra |
|
Разработка ботов под любую рутину. Разгрузи свой график! | 1 | basmeister | 1257 | 19.12.2020, 13:35 автор: basmeister |
|
ZennoPoster-услуги по написанию ботов, автоматизация работы в браузере. Сбор любых баз. ZennoPoster-услуги по написанию шаблонов |
0 | Progernaut | 1184 | 13.11.2020, 20:20 автор: Progernaut |
Текстовая версия | Сейчас: 29.3.2024, 9:40 |