Помощник
|
Давайте блокировать ботов в robots.txt |
Cott
|
Сообщение
#12
|
|
|
|
|
MetalMessiah |
3.3.2021, 1:41;
Ответить: MetalMessiah
Сообщение
#13
|
|
ТС, объясните мне, для чего блокировать китайский поисковик Baidu или чешский Seznam?
Какой смысл блокировать Teleport Pro, когда этот раритет не подключится ни к одному современному серверу по https из-за несовместимого набора шифров? (а если нет - в настройках проги есть поле для ввода произвольного User-Agent). Кроме ботов, которых вы перечислили, можно насчитать еще десяток если не сотню всяких бомжей, лазящих по нашим с вами мусорникам Намного хуже когда вас посещает какой-нибудь YandexBot, но IP адрес не принадлежит компании Яндекс. Вот их сначала попробуйте заблокировать, это довольно интересная задачка на ночь. |
|
|
Cott
|
Сообщение
#14
|
|
ТС, объясните мне, для чего блокировать китайский поисковик Baidu или чешский Seznam? Какой смысл блокировать Teleport Pro, когда этот раритет не подключится ни к одному современному серверу по https из-за несовместимого набора шифров? (а если нет - в настройках проги есть поле для ввода произвольного User-Agent). Кроме ботов, которых вы перечислили, можно насчитать еще десяток если не сотню всяких бомжей, лазящих по нашим с вами мусорникам Намного хуже когда вас посещает какой-нибудь YandexBot, но IP адрес не принадлежит компании Яндекс. Вот их сначала попробуйте заблокировать, это довольно интересная задачка на ночь. Мне китайские и чешские поисковики не уперлись. Весь нормальный европейский люд юзает Гугль, по Ru Яндекс и еще немного типа Бинга и тд. У меня локальные клиентские сайты, расположенные далеко от Китая. Просто и ясно. ЗЫ Кстати, список почти полностью взят с роботса Wildberries (а там далеко не дураки) Сообщение отредактировал Cott - 3.3.2021, 2:11 |
|
|
WGN |
3.3.2021, 20:51;
Ответить: WGN
Сообщение
#15
|
|
Cott,
Дело личное конечно, но высказал мнение))). -------------------- ЛУЧШИЙ ПРОВЕРЕННЫЙ И САМЫЙ НЕДОРОГОЙ ХОСТИНГ: Постоянные АКЦИИ! |
|
|
Вентилятор |
3.3.2021, 21:44;
Ответить: Вентилятор
Сообщение
#16
|
|
бессмысленная затея. такое на уровне веб-сервера весь нормальный люд блокирует, а не в роботсе
|
|
|
Cott
|
Сообщение
#17
|
|
|
|
|
Madm |
4.3.2021, 0:00;
Ответить: Madm
Сообщение
#18
|
|
Это можно сравнить с объявлением на двери подъезда "наркоманам вход воспрещен!"
Не все боты обращают внимание на roots.txt, только культруные Так что лучше все таки им 403 отдавать, с помощью .htaccess, или еще на уровне Nginx рубить. Но смех смехом, а мысль поделиться списком плохих ботов дельная, вот мой : SetEnvIfNoCase User-Agent JS-Kit bad_bot SetEnvIfNoCase User-Agent PostRank bad_bot SetEnvIfNoCase User-Agent Python-urllib bad_bot SetEnvIfNoCase User-Agent UnwindFetchor bad_bot SetEnvIfNoCase User-Agent facebookexternalhit bad_bot SetEnvIfNoCase User-Agent TweetmemeBot bad_bot SetEnvIfNoCase User-Agent Butterfly bad_bot SetEnvIfNoCase User-Agent MFE_expand bad_bot SetEnvIfNoCase User-Agent Java bad_bot SetEnvIfNoCase User-Agent Summify bad_bot SetEnvIfNoCase User-Agent MetaURI bad_bot SetEnvIfNoCase User-Agent FlipboardProxy bad_bot SetEnvIfNoCase User-Agent ScribdReader bad_bot SetEnvIfNoCase User-Agent RockMelt bad_bot SetEnvIfNoCase User-Agent InAGist bad_bot SetEnvIfNoCase User-Agent NING bad_bot SetEnvIfNoCase User-Agent TweetedTimes bad_bot SetEnvIfNoCase User-Agent PaperLiBot bad_bot SetEnvIfNoCase User-Agent Library bad_bot SetEnvIfNoCase User-Agent Ezooms bad_bot SetEnvIfNoCase User-Agent strawberryj bad_bot SetEnvIfNoCase User-Agent Scooper bad_bot SetEnvIfNoCase User-Agent Ahrefs bad_bot SetEnvIfNoCase User-Agent Spider bad_bot SetEnvIfNoCase User-Agent None bad_bot SetEnvIfNoCase User-Agent EventMachine bad_bot SetEnvIfNoCase User-Agent aiHitBot bad_bot SetEnvIfNoCase User-Agent SolomonoBot bad_bot SetEnvIfNoCase User-Agent SearchBot bad_bot SetEnvIfNoCase User-Agent Wget bad_bot SetEnvIfNoCase User-Agent Crawler bad_bot SetEnvIfNoCase User-Agent bingbot bad_bot SetEnvIfNoCase User-Agent Semrush bad_bot SetEnvIfNoCase User-Agent MJ12 bad_bot SetEnvIfNoCase User-Agent Mail.RU_Bot bad_bot -------------------- |
|
|
Cott
|
Сообщение
#19
|
|
Madm, спасибо за дельный ответ.
|
|
|
Trumper |
4.3.2021, 0:49;
Ответить: Trumper
Сообщение
#20
|
|
В Wilberries не нормальный люд? Сколько у них страниц на сайте, в курсе? ) смотря на каких уровнях если речь про их админа\сеошника - всякое может быть, не обязательно он прав ) ну это все полемика по факту же реально тут скорее не "наркоманам вход воспрещен!" А вполне очевидное объявление. И у многих наверняка закрыто на уровне сервера. |
|
|
Cott
|
Сообщение
#21
|
|
Суть темы не как пинать ботов или не пинать, а пополнять список ненужного ботного шлака, шатающегося по сети.
Пока что только Madm ответил по делу, содержательно и со смыслом. |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Давайте обсудим качество in-page push трафика | 0 | Boymaster | 627 | 16.4.2024, 22:47 автор: Boymaster |
|
<Braga/> Создание Telegram-ботов, web-приложений, крипто-бирж, сайтов. | 2 | newbraga | 1793 | 10.3.2024, 22:04 автор: newbraga |
|
В каких тизерных сетях меньше ботов? | 37 | Boymaster | 8485 | 24.1.2024, 22:13 автор: Boymaster |
|
ВК: Реальные/целевые подписчики. Оплата за вступивших. Без ботов. Гарантия. Скидки! Тест за отзыв. | 96 | VilD | 68654 | 17.3.2022, 2:37 автор: Hydra |
|
Разработка ботов под любую рутину. Разгрузи свой график! | 1 | basmeister | 1279 | 19.12.2020, 13:35 автор: basmeister |
Текстовая версия | Сейчас: 25.4.2024, 3:47 |