Давайте блокировать ботов в robots.txt

Давайте блокировать ботов в robots.txt

Опции

Cott

Topic Starter сообщение

2.3.2021, 15:52; Ответить: Cott

Сообщение #11

Участник

Группа: User
Сообщений: 110
Регистрация: 18.7.2020
Поблагодарили: 9 раз
Репутация:

0

Собственно, по названию понятно. Отсекаем ненужный шлак.
Давайте делиться ботами, которых следует блокировать.

У меня на нескольких сайтах в роботсе сейчас блокируются следующие боты:

User-agent: Baiduspider
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: ExaBot
Disallow: /

User-agent: CrazyWebCrawler-Spider
Disallow: /

User-Agent: DISCo Pump
Disallow: /

User-Agent: Wget
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: Teleport Pro
Disallow: /

User-Agent: WebSnake
Disallow: /

User-Agent: Offline Explorer
Disallow: /

User-Agent: Web-By-Mail
Disallow: /

User-agent: psbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: NetinfoBot
Disallow: /

0

Ответить с цитированием данного сообщения

Cott Topic Starter CottTopic Starter 2.3.2021, 23:59; Сообщений: 110 Поблагодарили: 9 раз Репутация: 0 Просмотр профиля	Topic Starter 2.3.2021, 23:59; Ответить: Cott Сообщение #12
Участник Группа: User Сообщений: 110 Регистрация: 18.7.2020 Поблагодарили: 9 раз Репутация: 0	Цитата(WGN @ 2.3.2021, 22:09) Так плохих ботов bad bot надо в htceess блокировать чтобы уж наверняка. Мне с роботсом проще иметь дело, пусть все блоки будут в одном месте. Да меня несильно данный вопрос напрягает, просто сегодня по настроению вспомнил.

MetalMessiah MetalMessiah 3.3.2021, 1:41; Сообщений: 191 Поблагодарили: 40 раз Репутация: 5 Просмотр профиля	3.3.2021, 1:41; Ответить: MetalMessiah Сообщение #13
Участник Группа: User Сообщений: 191 Регистрация: 15.1.2014 Поблагодарили: 40 раз Репутация: 5	ТС, объясните мне, для чего блокировать китайский поисковик Baidu или чешский Seznam? Какой смысл блокировать Teleport Pro, когда этот раритет не подключится ни к одному современному серверу по https из-за несовместимого набора шифров? (а если нет - в настройках проги есть поле для ввода произвольного User-Agent). Кроме ботов, которых вы перечислили, можно насчитать еще десяток если не сотню всяких бомжей, лазящих по нашим с вами мусорникам Намного хуже когда вас посещает какой-нибудь YandexBot, но IP адрес не принадлежит компании Яндекс. Вот их сначала попробуйте заблокировать, это довольно интересная задачка на ночь. Поблагодарили: (1) Silverspam

Cott Topic Starter CottTopic Starter 3.3.2021, 2:04; Сообщений: 110 Поблагодарили: 9 раз Репутация: 0 Просмотр профиля	Topic Starter 3.3.2021, 2:04; Ответить: Cott Сообщение #14
Участник Группа: User Сообщений: 110 Регистрация: 18.7.2020 Поблагодарили: 9 раз Репутация: 0	Цитата(MetalMessiah @ 3.3.2021, 1:41) ТС, объясните мне, для чего блокировать китайский поисковик Baidu или чешский Seznam? Какой смысл блокировать Teleport Pro, когда этот раритет не подключится ни к одному современному серверу по https из-за несовместимого набора шифров? (а если нет - в настройках проги есть поле для ввода произвольного User-Agent). Кроме ботов, которых вы перечислили, можно насчитать еще десяток если не сотню всяких бомжей, лазящих по нашим с вами мусорникам Намного хуже когда вас посещает какой-нибудь YandexBot, но IP адрес не принадлежит компании Яндекс. Вот их сначала попробуйте заблокировать, это довольно интересная задачка на ночь. Мне китайские и чешские поисковики не уперлись. Весь нормальный европейский люд юзает Гугль, по Ru Яндекс и еще немного типа Бинга и тд. У меня локальные клиентские сайты, расположенные далеко от Китая. Просто и ясно. ЗЫ Кстати, список почти полностью взят с роботса Wildberries (а там далеко не дураки) Сообщение отредактировал Cott - 3.3.2021, 2:11

WGN WGN 3.3.2021, 20:51; Сообщений: 1788 Поблагодарили: 57 раз Репутация: 47 Просмотр профиля	3.3.2021, 20:51; Ответить: WGN Сообщение #15
Старожил Группа: Active User Сообщений: 1788 Регистрация: 30.12.2016 Поблагодарили: 57 раз Репутация: 47	Cott, Дело личное конечно, но высказал мнение))). -------------------- Качественные Живые ПОСЕТИТЕЛИ на ваш сайт, блог, канал — Бесплатно! ЛУЧШИЙ ПРОВЕРЕННЫЙ И САМЫЙ НЕДОРОГОЙ ХОСТИНГ: Постоянные АКЦИИ! Поблагодарили: (1) Cott

Вентилятор Вентилятор 3.3.2021, 21:44; Сообщений: 1938 Поблагодарили: 663 раза Репутация: 112 Просмотр профиля	3.3.2021, 21:44; Ответить: Вентилятор Сообщение #16
покупаю хорошие проекты Группа: Active User Сообщений: 1938 Регистрация: 8.8.2010 Поблагодарили: 663 раза Репутация: 112	бессмысленная затея. такое на уровне веб-сервера весь нормальный люд блокирует, а не в роботсе Поблагодарили: (1) MaxPan

Cott Topic Starter CottTopic Starter 3.3.2021, 23:52; Сообщений: 110 Поблагодарили: 9 раз Репутация: 0 Просмотр профиля	Topic Starter 3.3.2021, 23:52; Ответить: Cott Сообщение #17
Участник Группа: User Сообщений: 110 Регистрация: 18.7.2020 Поблагодарили: 9 раз Репутация: 0	Цитата(Вентилятор @ 3.3.2021, 21:44) бессмысленная затея. такое на уровне веб-сервера весь нормальный люд блокирует, а не в роботсе Пример блокировки приведите. В Wilberries не нормальный люд?

Madm Madm 4.3.2021, 0:00; Сообщений: 23 Поблагодарили: 5 раз Репутация: 1 Просмотр профиля	4.3.2021, 0:00; Ответить: Madm Сообщение #18
Новичок Группа: User Сообщений: 23 Регистрация: 22.2.2021 Поблагодарили: 5 раз Репутация: 1	Это можно сравнить с объявлением на двери подъезда "наркоманам вход воспрещен!" Не все боты обращают внимание на roots.txt, только культруные Так что лучше все таки им 403 отдавать, с помощью .htaccess, или еще на уровне Nginx рубить. Но смех смехом, а мысль поделиться списком плохих ботов дельная, вот мой : SetEnvIfNoCase User-Agent JS-Kit bad_bot SetEnvIfNoCase User-Agent PostRank bad_bot SetEnvIfNoCase User-Agent Python-urllib bad_bot SetEnvIfNoCase User-Agent UnwindFetchor bad_bot SetEnvIfNoCase User-Agent facebookexternalhit bad_bot SetEnvIfNoCase User-Agent TweetmemeBot bad_bot SetEnvIfNoCase User-Agent Butterfly bad_bot SetEnvIfNoCase User-Agent MFE_expand bad_bot SetEnvIfNoCase User-Agent Java bad_bot SetEnvIfNoCase User-Agent Summify bad_bot SetEnvIfNoCase User-Agent MetaURI bad_bot SetEnvIfNoCase User-Agent FlipboardProxy bad_bot SetEnvIfNoCase User-Agent ScribdReader bad_bot SetEnvIfNoCase User-Agent RockMelt bad_bot SetEnvIfNoCase User-Agent InAGist bad_bot SetEnvIfNoCase User-Agent NING bad_bot SetEnvIfNoCase User-Agent TweetedTimes bad_bot SetEnvIfNoCase User-Agent PaperLiBot bad_bot SetEnvIfNoCase User-Agent Library bad_bot SetEnvIfNoCase User-Agent Ezooms bad_bot SetEnvIfNoCase User-Agent strawberryj bad_bot SetEnvIfNoCase User-Agent Scooper bad_bot SetEnvIfNoCase User-Agent Ahrefs bad_bot SetEnvIfNoCase User-Agent Spider bad_bot SetEnvIfNoCase User-Agent None bad_bot SetEnvIfNoCase User-Agent EventMachine bad_bot SetEnvIfNoCase User-Agent aiHitBot bad_bot SetEnvIfNoCase User-Agent SolomonoBot bad_bot SetEnvIfNoCase User-Agent SearchBot bad_bot SetEnvIfNoCase User-Agent Wget bad_bot SetEnvIfNoCase User-Agent Crawler bad_bot SetEnvIfNoCase User-Agent bingbot bad_bot SetEnvIfNoCase User-Agent Semrush bad_bot SetEnvIfNoCase User-Agent MJ12 bad_bot SetEnvIfNoCase User-Agent Mail.RU_Bot bad_bot -------------------- Услуги администрирования и технической поддержки Linux https://www.madmin.online Поблагодарили: (2) Cott, Trumper

Cott Topic Starter CottTopic Starter 4.3.2021, 0:25; Сообщений: 110 Поблагодарили: 9 раз Репутация: 0 Просмотр профиля	Topic Starter 4.3.2021, 0:25; Ответить: Cott Сообщение #19
Участник Группа: User Сообщений: 110 Регистрация: 18.7.2020 Поблагодарили: 9 раз Репутация: 0	Madm, спасибо за дельный ответ.

Trumper Trumper 4.3.2021, 0:49; Сообщений: 988 Поблагодарили: 147 раз Репутация: 25 Просмотр профиля	4.3.2021, 0:49; Ответить: Trumper Сообщение #20
Завсегдатай Группа: Active User Сообщений: 988 Регистрация: 9.8.2018 Из: Планета Земля Поблагодарили: 147 раз Репутация: 25	Цитата(Cott @ 3.3.2021, 23:52) В Wilberries не нормальный люд? Сколько у них страниц на сайте, в курсе? ) смотря на каких уровнях если речь про их админа\сеошника - всякое может быть, не обязательно он прав ) ну это все полемика по факту же реально тут скорее не Цитата(Madm @ 4.3.2021, 0:00) "наркоманам вход воспрещен!" А вполне очевидное объявление. И у многих наверняка закрыто на уровне сервера.

Cott Topic Starter CottTopic Starter 4.3.2021, 1:35; Сообщений: 110 Поблагодарили: 9 раз Репутация: 0 Просмотр профиля	Topic Starter 4.3.2021, 1:35; Ответить: Cott Сообщение #21
Участник Группа: User Сообщений: 110 Регистрация: 18.7.2020 Поблагодарили: 9 раз Репутация: 0	Суть темы не как пинать ботов или не пинать, а пополнять список ненужного ботного шлака, шатающегося по сети. Пока что только Madm ответил по делу, содержательно и со смыслом.

« Предыдущая тема · Поисковая оптимизация (SEO) · Следующая тема »

1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)

Пользователей: 0

Похожие темы

Тема	Ответов	Автор	Просмотров	Последний ответ
Давайте обсудим качество in-page push трафика	0	Boymaster	617	16.4.2024, 22:47 автор: Boymaster
<Braga/> Создание Telegram-ботов, web-приложений, крипто-бирж, сайтов.	2	newbraga	1789	10.3.2024, 22:04 автор: newbraga
В каких тизерных сетях меньше ботов?	37	Boymaster	8483	24.1.2024, 22:13 автор: Boymaster
ВК: Реальные/целевые подписчики. Оплата за вступивших. Без ботов. Гарантия. Скидки! Тест за отзыв.	96	VilD	68634	17.3.2022, 2:37 автор: Hydra
Разработка ботов под любую рутину. Разгрузи свой график!	1	basmeister	1278	19.12.2020, 13:35 автор: basmeister