Давайте блокировать ботов в robots.txt

Сообщение сайта

(Сообщение закроется через 3 секунды)

Здравствуйте, гость (

| Вход | Регистрация )

SEO форум MaulTalk.com > Поисковая оптимизация > Поисковая оптимизация (SEO)

6 страниц

< 1 2 3 4 5 6

Давайте блокировать ботов в robots.txt

Опции

Cott

Topic Starter сообщение

2.3.2021, 15:52; Ответить: Cott

Сообщение #51

Участник

Группа: User
Сообщений: 110
Регистрация: 18.7.2020
Поблагодарили: 9 раз
Репутация:

Собственно, по названию понятно. Отсекаем ненужный шлак.
Давайте делиться ботами, которых следует блокировать.

У меня на нескольких сайтах в роботсе сейчас блокируются следующие боты:

User-agent: Baiduspider
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: ExaBot
Disallow: /

User-agent: CrazyWebCrawler-Spider
Disallow: /

User-Agent: DISCo Pump
Disallow: /

User-Agent: Wget
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: Teleport Pro
Disallow: /

User-Agent: WebSnake
Disallow: /

User-Agent: Offline Explorer
Disallow: /

User-Agent: Web-By-Mail
Disallow: /

User-agent: psbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: NetinfoBot
Disallow: /

Ответить с цитированием данного сообщения

DUbiev

15.5.2021, 21:40; Ответить: DUbiev

Сообщение #52

Завсегдатай

Группа: Active User
Сообщений: 585
Регистрация: 21.1.2020
Поблагодарили: 44 раза
Репутация:

ZevSua, да вставить и посмотреть как работает

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой

или обратитесь к любому из модераторов.

« Предыдущая тема · Поисковая оптимизация (SEO) · Следующая тема »

6 страниц

< 1 2 3 4 5 6

2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)

Пользователей: 0

Похожие темы

Тема	Ответов	Автор	Просмотров	Последний ответ
Давайте обсудим качество in-page push трафика	0	Boymaster	473	16.4.2024, 22:47 автор: Boymaster
<Braga/> Создание Telegram-ботов, web-приложений, крипто-бирж, сайтов.	2	newbraga	1775	10.3.2024, 22:04 автор: newbraga
В каких тизерных сетях меньше ботов?	37	Boymaster	8469	24.1.2024, 22:13 автор: Boymaster
ВК: Реальные/целевые подписчики. Оплата за вступивших. Без ботов. Гарантия. Скидки! Тест за отзыв.	96	VilD	68619	17.3.2022, 2:37 автор: Hydra
Разработка ботов под любую рутину. Разгрузи свой график!	1	basmeister	1278	19.12.2020, 13:35 автор: basmeister

Режим отображения: Стандартный · Переключить на: Линейный · Переключить на: Древовидный

Подписка на тему · Сообщить другу · Версия для печати · Подписка на этот форум

Текстовая версия

Сейчас: 19.4.2024, 17:37

Дизайн