X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

6 страниц V  < 1 2 3 4 5 6 >
Открыть тему
Тема закрыта
> Давайте блокировать ботов в robots.txt
Cott
Cott
Topic Starter сообщение 4.4.2021, 22:34; Ответить: Cott
Сообщение #42


Да признаю, роботс дырявый и ненадежный.

Применил этот вариант и все работает ОК - HTTrack и другие блокируются

Ботов развелось, хотя я и сам много раз пользовался HTTrack-ом
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Trumper
Trumper
сообщение 6.4.2021, 18:28; Ответить: Trumper
Сообщение #43


Cott, а Xenu там за что блокнули?
Ей кроме самого вебмастера кто-то постоянно пользуется?
парочку конкурентов просканят - имхо не страшно
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Cott
Cott
Topic Starter сообщение 6.4.2021, 19:41; Ответить: Cott
Сообщение #44


Без разницы, нет желания вникать.
Цель - больше блокировать.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kvsgeek
kvsgeek
сообщение 10.4.2021, 15:03; Ответить: kvsgeek
Сообщение #45


Ostromir,
Обычно хорошие хостинги делают такую опцию, но лучше уточнять у самой поддержки хостинга, делают ли они такое.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Cott
Cott
Topic Starter сообщение 10.4.2021, 17:10; Ответить: Cott
Сообщение #46


Сайт работает в Москве и только по Москве.
Начала долбиться вот эта гадость из Канады.
Из логов: 51.161.119.104 - - [10/Apr/2021:13:07:55 +0300] "GET / HTTP/1.1" 301 173 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"

Перекрыл доступ: Deny from 51.161.0.0/16



Сообщение отредактировал Cott - 10.4.2021, 17:15
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AFFSCALE
AFFSCALE
сообщение 26.4.2021, 12:45; Ответить: AFFSCALE
Сообщение #47


подскажите суть всей этой слежки и блокировки, это как то негативно сказывается в рамках SEO для региональных сайтов, например, что сайт привязан к Москве, а к нему долбятся с Канады? Ну так яндекс же 100% знает все эти заходы и все ip, гугл тоже, при сопоставлении бигдата выдается условие игнорирование этого мусора как пользователя, разве не так?


--------------------
AffScale.com – прямой нутра рекламодатель в Азии
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
coremission
coremission
сообщение 26.4.2021, 13:51; Ответить: coremission
Сообщение #48


Цитата(Cott @ 4.4.2021, 22:34) *
Да признаю, роботс дырявый и ненадежный.

Он не дырявый, это просто файл с рекомендациями. Какие-то боты его используют, а какие-то нет.


--------------------
Геймдев и игровая индустрия. Автор сайта CoreMission.net
Разрабатываем Календарь: даты выхода игр
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
akmid81
akmid81
сообщение 12.5.2021, 19:37; Ответить: akmid81
Сообщение #49


Добавляю только наиболее надоедливых, на одиночных нет желания тратить время.

# Запрет хакерских и плохих ботов
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} (<|>|'|%0A|%0D|%27|%3C|%3E|%00) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*(libwww-perl|wget|python|nikto|curl|scan|java|winhttp|clshttp|loader|bidswitchbot).* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*(MJ12bot|Detectify|dotbot|Riddler|BLEXBot|FlipboardProxy|aiHitBot|trovitBot|Ah
refsBot|SemrushBot|MauiBot|LinkpadBot|admantx|criteobot|photon|rogerbot|barkrowle
r|scrapy|ZoominfoBot|ltx71|PetalBot).* [NC]
RewriteRule ^(.*)$ - [F,L]
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Starpony
Starpony
сообщение 12.5.2021, 20:38; Ответить: Starpony
Сообщение #50


Цитата(akmid81 @ 12.5.2021, 19:37) *
хакерских


а что делают хакерские боты?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ZevSua
ZevSua
сообщение 15.5.2021, 16:01; Ответить: ZevSua
Сообщение #51


Цитата(Audioman @ 10.3.2021, 20:30) *
Отсек через htaccess, полет нормалный, обстановка стабильная.

ПОдскажите а как? просто эти строки вставить в htaccess? Просто всегда с роботсем мучился. а оно оказывается лучше блочить так. А как туда вписать ботов не в курсе
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
6 страниц V  < 1 2 3 4 5 6 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) <Braga/> Создание Telegram-ботов, web-приложений, крипто-бирж, сайтов.
2 newbraga 1674 10.3.2024, 22:04
автор: newbraga
Горячая тема (нет новых ответов) В каких тизерных сетях меньше ботов?
37 Boymaster 8321 24.1.2024, 22:13
автор: Boymaster
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВК: Реальные/целевые подписчики. Оплата за вступивших. Без ботов. Гарантия. Скидки! Тест за отзыв.
96 VilD 68387 17.3.2022, 2:37
автор: Hydra
Открытая тема (нет новых ответов) Разработка ботов под любую рутину. Разгрузи свой график!
1 basmeister 1257 19.12.2020, 13:35
автор: basmeister
Открытая тема (нет новых ответов) ZennoPoster-услуги по написанию ботов, автоматизация работы в браузере. Сбор любых баз.
ZennoPoster-услуги по написанию шаблонов
0 Progernaut 1184 13.11.2020, 20:20
автор: Progernaut


 



RSS Текстовая версия Сейчас: 29.3.2024, 9:40
Дизайн