Давайте блокировать ботов в robots.txt

Давайте блокировать ботов в robots.txt

Опции

Cott

Topic Starter сообщение

2.3.2021, 15:52; Ответить: Cott

Сообщение #21

Участник

Группа: User
Сообщений: 110
Регистрация: 18.7.2020
Поблагодарили: 9 раз
Репутация:

0

Собственно, по названию понятно. Отсекаем ненужный шлак.
Давайте делиться ботами, которых следует блокировать.

У меня на нескольких сайтах в роботсе сейчас блокируются следующие боты:

User-agent: Baiduspider
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: ExaBot
Disallow: /

User-agent: CrazyWebCrawler-Spider
Disallow: /

User-Agent: DISCo Pump
Disallow: /

User-Agent: Wget
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: Teleport Pro
Disallow: /

User-Agent: WebSnake
Disallow: /

User-Agent: Offline Explorer
Disallow: /

User-Agent: Web-By-Mail
Disallow: /

User-agent: psbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: NetinfoBot
Disallow: /

0

Ответить с цитированием данного сообщения

Вентилятор Вентилятор 4.3.2021, 12:23; Сообщений: 1938 Поблагодарили: 663 раза Репутация: 112 Просмотр профиля	4.3.2021, 12:23; Ответить: Вентилятор Сообщение #22
покупаю хорошие проекты Группа: Active User Сообщений: 1938 Регистрация: 8.8.2010 Поблагодарили: 663 раза Репутация: 112	Цитата(Cott @ 3.3.2021, 22:52) Пример блокировки приведите. В Wilberries не нормальный люд? примеров полно в интернете, я больше как-то о принципах, а не о технической реализации=) у меня на одном сервере такой прописан (не говорю что он какой-то самый полный, или самый правильный):

Cott Topic Starter CottTopic Starter 4.3.2021, 16:09; Сообщений: 110 Поблагодарили: 9 раз Репутация: 0 Просмотр профиля	Topic Starter 4.3.2021, 16:09; Ответить: Cott Сообщение #23
Участник Группа: User Сообщений: 110 Регистрация: 18.7.2020 Поблагодарили: 9 раз Репутация: 0	Зачем вы сюда картинки тащите?

adamsadriane adamsadriane 4.3.2021, 17:39; Сообщений: 1825 Поблагодарили: 319 раз Репутация: 62 Просмотр профиля	4.3.2021, 17:39; Ответить: adamsadriane Сообщение #24
много знает Группа: Active User Сообщений: 1825 Регистрация: 29.2.2008 Поблагодарили: 319 раз Репутация: 62	Цитата(Cott @ 4.3.2021, 14:09) Зачем вы сюда картинки тащите? Картинкофоб получается? Помнится мне вроде это ты недавно ворчал на статью по анализу апдейта гугла какого-то форучанина, типа нафик никому не нужна? А сам решил вспомнить то, что все адекватные люди давно уже выпиливают более грамотным способом? Получается так?

Cott Topic Starter CottTopic Starter 4.3.2021, 18:59; Сообщений: 110 Поблагодарили: 9 раз Репутация: 0 Просмотр профиля	Topic Starter 4.3.2021, 18:59; Ответить: Cott Сообщение #25
Участник Группа: User Сообщений: 110 Регистрация: 18.7.2020 Поблагодарили: 9 раз Репутация: 0	Ну вот, дурацкую статью сюда притащили. Картинки )) Мыслители, усложнители ..

Starpony Starpony 6.3.2021, 16:49; Сообщений: 633 Поблагодарили: 67 раз Репутация: 8 Просмотр профиля	6.3.2021, 16:49; Ответить: Starpony Сообщение #26
Завсегдатай Группа: Active User Сообщений: 633 Регистрация: 26.7.2020 Поблагодарили: 67 раз Репутация: 8	Цитата(Вентилятор @ 4.3.2021, 12:23) у меня на одном сервере такой прописан (не говорю что он какой-то самый полный, или самый правильный): со смартфона это почти не реально прочитать ) текстового варианта нет? спасибо Поблагодарили: (1) Cott

Cott Topic Starter CottTopic Starter 6.3.2021, 20:57; Сообщений: 110 Поблагодарили: 9 раз Репутация: 0 Просмотр профиля	Topic Starter 6.3.2021, 20:57; Ответить: Cott Сообщение #27
Участник Группа: User Сообщений: 110 Регистрация: 18.7.2020 Поблагодарили: 9 раз Репутация: 0	Цитата(Starpony @ 6.3.2021, 16:49) со смартфона это почти не реально прочитать ) текстового варианта нет? спасибо Он боится, что код своруют )) Попался на глаза роботс одного сайта, не анализировал, может что-то следует вырезать. ( во всяком случае сайт не копируется обычными скачивателями ) User-agent: grub-client Disallow: / User-agent: grub Disallow: / User-agent: looksmart Disallow: / User-agent: WebZip Disallow: / User-agent: larbin Disallow: / User-agent: b2w/0.1 Disallow: / User-agent: psbot Disallow: / User-agent: Python-urllib Disallow: / User-agent: NetMechanic Disallow: / User-agent: URL_Spider_Pro Disallow: / User-agent: CherryPicker Disallow: / User-agent: EmailCollector Disallow: / User-agent: EmailSiphon Disallow: / User-agent: WebBandit Disallow: / User-agent: EmailWolf Disallow: / User-agent: ExtractorPro Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: Crescent Disallow: / User-agent: SiteSnagger Disallow: / User-agent: ProWebWalker Disallow: / User-agent: CheeseBot Disallow: / User-agent: LNSpiderguy Disallow: / User-agent: ia_archiver Disallow: / User-agent: ia_archiver/1.6 Disallow: / User-agent: Teleport Disallow: / User-agent: TeleportPro Disallow: / User-agent: MIIxpc Disallow: / User-agent: Telesoft Disallow: / User-agent: Website Quester Disallow: / User-agent: moget/2.1 Disallow: / User-agent: WebZip/4.0 Disallow: / User-agent: WebStripper Disallow: / User-agent: WebSauger Disallow: / User-agent: WebCopier Disallow: / User-agent: NetAnts Disallow: / User-agent: Mister PiX Disallow: / User-agent: WebAuto Disallow: / User-agent: TheNomad Disallow: / User-agent: WWW-Collector-E Disallow: / User-agent: RMA Disallow: / User-agent: libWeb/clsHTTP Disallow: / User-agent: asterias Disallow: / User-agent: httplib Disallow: / User-agent: turingos Disallow: / User-agent: spanner Disallow: / User-agent: InfoNaviRobot Disallow: / User-agent: Harvest/1.5 Disallow: / User-agent: Bullseye/1.0 Disallow: / User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) Disallow: / User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 Disallow: / User-agent: CherryPickerSE/1.0 Disallow: / User-agent: CherryPickerElite/1.0 Disallow: / User-agent: WebBandit/3.50 Disallow: / User-agent: NICErsPRO Disallow: / User-agent: Microsoft URL Control - 5.01.4511 Disallow: / User-agent: DittoSpyder Disallow: / User-agent: Foobot Disallow: / User-agent: WebmasterWorldForumBot Disallow: / User-agent: SpankBot Disallow: / User-agent: BotALot Disallow: / User-agent: lwp-trivial/1.34 Disallow: / User-agent: lwp-trivial Disallow: / User-agent: BunnySlippers Disallow: / User-agent: Microsoft URL Control - 6.00.8169 Disallow: / User-agent: URLy Warning Disallow: / User-agent: Wget/1.6 Disallow: / User-agent: Wget/1.5.3 Disallow: / User-agent: Wget Disallow: / User-agent: LinkWalker Disallow: / User-agent: cosmos Disallow: / User-agent: moget Disallow: / User-agent: hloader Disallow: / User-agent: humanlinks Disallow: / User-agent: LinkextractorPro Disallow: / User-agent: Offline Explorer Disallow: / User-agent: Mata Hari Disallow: / User-agent: LexiBot Disallow: / User-agent: Web Image Collector Disallow: / User-agent: The Intraformant Disallow: / User-agent: True_Robot/1.0 Disallow: / User-agent: True_Robot Disallow: / User-agent: BlowFish/1.0 Disallow: / User-agent: JennyBot Disallow: / User-agent: MIIxpc/4.2 Disallow: / User-agent: BuiltBotTough Disallow: / User-agent: ProPowerBot/2.14 Disallow: / User-agent: BackDoorBot/1.0 Disallow: / User-agent: toCrawl/UrlDispatcher Disallow: / User-agent: WebEnhancer Disallow: / User-agent: suzuran Disallow: / User-agent: VCI WebViewer VCI WebViewer Win32 Disallow: / User-agent: VCI Disallow: / User-agent: Szukacz/1.4 Disallow: / User-agent: QueryN Metasearch Disallow: / User-agent: Openfind data gathere Disallow: / User-agent: Openfind Disallow: / User-agent: Xenu's Link Sleuth 1.1c Disallow: / User-agent: Xenu's Disallow: / User-agent: Zeus Disallow: / User-agent: RepoMonkey Bait & Tackle/v1.01 Disallow: / User-agent: RepoMonkey Disallow: / User-agent: Microsoft URL Control Disallow: / User-agent: Openbot Disallow: / User-agent: URL Control Disallow: / User-agent: Zeus Link Scout Disallow: / User-agent: Zeus 32297 Webster Pro V2.9 Win32 Disallow: / User-agent: Webster Pro Disallow: / User-agent: EroCrawler Disallow: / User-agent: LinkScan/8.1a Unix Disallow: / User-agent: Keyword Density/0.9 Disallow: / User-agent: Kenjin Spider Disallow: / User-agent: Iron33/1.0.2 Disallow: / User-agent: Bookmark search tool Disallow: / User-agent: GetRight/4.2 Disallow: / User-agent: FairAd Client Disallow: / User-agent: Gaisbot Disallow: / User-agent: Aqua_Products Disallow: / User-agent: Radiation Retriever 1.1 Disallow: / User-agent: Flaming AttackBot Disallow: / User-agent: Oracle Ultra Search Disallow: / User-agent: MSIECrawler Disallow: / User-agent: PerMan Disallow: / User-agent: searchpreview Disallow: /

Osipec Osipec 7.3.2021, 12:53; Сообщений: 1054 Поблагодарили: 118 раз Репутация: 15 Просмотр профиля	7.3.2021, 12:53; Ответить: Osipec Сообщение #28
Старожил Группа: Active User Сообщений: 1054 Регистрация: 17.8.2018 Поблагодарили: 118 раз Репутация: 15	Цитата(Cott @ 6.3.2021, 20:57) во всяком случае сайт не копируется обычными скачивателями Цитата(Cott @ 6.3.2021, 20:57) роботс Это абсолютно никак не связано.

Audioman Audioman 10.3.2021, 22:30; Сообщений: 26 Поблагодарили: 3 раза Репутация: 2 Просмотр профиля	10.3.2021, 22:30; Ответить: Audioman Сообщение #29
Новичок Группа: User Сообщений: 26 Регистрация: 18.12.2007 Из: Венгрия Поблагодарили: 3 раза Репутация: 2	У меня на форуме постоянно висело сначала 30-40 ботов, потом это количество возросло до 60-70, памяти сервера стало не хватать, стал падать. Отсек через htaccess, полет нормалный, обстановка стабильная. Для доступа к контенту вам необходимо иметь минимум 1 сообщений, сейчас у вас сообщений. -------------------- Архипелаг вебмастера Поблагодарили: (1) Ostromir

Ostromir Ostromir 11.3.2021, 0:40; Сообщений: 940 Поблагодарили: 94 раза Репутация: 6 Просмотр профиля	11.3.2021, 0:40; Ответить: Ostromir Сообщение #30
Завсегдатай Группа: Active User Сообщений: 940 Регистрация: 10.8.2018 Поблагодарили: 94 раза Репутация: 6	Цитата(Audioman @ 10.3.2021, 22:30) висело сначала 30-40 ботов, потом это количество возросло до 60-70, памяти сервера стало не хватать, стал падать подскажите, это выделенный сервер? А виртуальные хостинги на уровне сервера остеивают сами все это?

GlazAlmaz GlazAlmaz 12.3.2021, 19:08; Сообщений: 3549 Поблагодарили: 1792 раза Репутация: 111 Просмотр профиля	12.3.2021, 19:08; Ответить: GlazAlmaz Сообщение #31
Главный SEO-стратег Группа: Super Moderator Сообщений: 3549 Регистрация: 28.8.2010 Поблагодарили: 1792 раза Репутация: 111	Cott, все боты вот прямо раз! и послушались каких-то надписей в роботсе... -------------------- :: научу, как продвигать сайты :: SEO-шмео, все дела :)

« Предыдущая тема · Поисковая оптимизация (SEO) · Следующая тема »

1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)

Пользователей: 0

Похожие темы

Тема	Ответов	Автор	Просмотров	Последний ответ
Давайте обсудим качество in-page push трафика	0	Boymaster	745	16.4.2024, 22:47 автор: Boymaster
<Braga/> Создание Telegram-ботов, web-приложений, крипто-бирж, сайтов.	2	newbraga	1799	10.3.2024, 22:04 автор: newbraga
В каких тизерных сетях меньше ботов?	37	Boymaster	8488	24.1.2024, 22:13 автор: Boymaster
ВК: Реальные/целевые подписчики. Оплата за вступивших. Без ботов. Гарантия. Скидки! Тест за отзыв.	96	VilD	68671	17.3.2022, 2:37 автор: Hydra
Разработка ботов под любую рутину. Разгрузи свой график!	1	basmeister	1280	19.12.2020, 13:35 автор: basmeister