X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

6 страниц V   1 2 3 4 5 6 >
Открыть тему
Тема закрыта
> Давайте блокировать ботов в robots.txt
Cott
Cott
Topic Starter сообщение 2.3.2021, 15:52; Ответить: Cott
Сообщение #1


Собственно, по названию понятно. Отсекаем ненужный шлак.
Давайте делиться ботами, которых следует блокировать.

У меня на нескольких сайтах в роботсе сейчас блокируются следующие боты:

User-agent: Baiduspider
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: ExaBot
Disallow: /

User-agent: CrazyWebCrawler-Spider
Disallow: /

User-Agent: DISCo Pump
Disallow: /

User-Agent: Wget
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: Teleport Pro
Disallow: /

User-Agent: WebSnake
Disallow: /

User-Agent: Offline Explorer
Disallow: /

User-Agent: Web-By-Mail
Disallow: /

User-agent: psbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: NetinfoBot
Disallow: /
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Coffee
Coffee
сообщение 2.3.2021, 16:17; Ответить: Coffee
Сообщение #2


Давайте делать это с 2012 )))
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
maxmer
maxmer
сообщение 2.3.2021, 18:42; Ответить: maxmer
Сообщение #3


Цитата(Cott @ 2.3.2021, 14:52) *
Давайте делиться ботами, которых следует блокировать.

Какая цель такого действия? Он вам сильно мешают?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Cott
Cott
Topic Starter сообщение 2.3.2021, 20:04; Ответить: Cott
Сообщение #4


Цитата(maxmer @ 2.3.2021, 18:42) *
Какая цель такого действия? Он вам сильно мешают?

Представьте, что к вашей двери подходят тысячи кошек и метят ее.
И камера видеонаблюдения реагирует на каждую.
Понаделали долбанных ботов.
))

Сообщение отредактировал Cott - 2.3.2021, 20:05
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
maxmer
maxmer
сообщение 2.3.2021, 20:28; Ответить: maxmer
Сообщение #5


Цитата(Cott @ 2.3.2021, 19:04) *
Понаделали долбанных ботов.

Чем конкретно мешают вам боты?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
NormanSky
NormanSky
сообщение 2.3.2021, 20:32; Ответить: NormanSky
Сообщение #6


Цитата(maxmer @ 2.3.2021, 20:28) *
Чем конкретно мешают вам боты?


А зачем им пастись на сайте?
Лишняя нагрузка на сервер...


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ekvador
ekvador
сообщение 2.3.2021, 20:43; Ответить: ekvador
Сообщение #7


Cott, не все боты выполнят директивы robots.txt


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rom_4
rom_4
сообщение 2.3.2021, 20:51; Ответить: rom_4
Сообщение #8


Код
User-agent: ia_archiver
Disallow: /


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Cott
Cott
Topic Starter сообщение 2.3.2021, 21:42; Ответить: Cott
Сообщение #9


Мне на сайтах вообще никто не нужен кроме основных поисковиков.
Занимаюсь только локальными клиентскими бизнесами - главное - это позиции и клиенты.
Все остальное можно отсекать за ненадобностью (имею в виду всяких ботов)

Сообщение отредактировал Cott - 2.3.2021, 21:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
WGN
WGN
сообщение 2.3.2021, 22:09; Ответить: WGN
Сообщение #10


Cott,
Так плохих ботов bad bot надо в htceess блокировать чтобы уж наверняка.


--------------------


Поблагодарили: (3)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
6 страниц V   1 2 3 4 5 6 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Давайте обсудим качество in-page push трафика
0 Boymaster 602 16.4.2024, 22:47
автор: Boymaster
Открытая тема (нет новых ответов) <Braga/> Создание Telegram-ботов, web-приложений, крипто-бирж, сайтов.
2 newbraga 1787 10.3.2024, 22:04
автор: newbraga
Горячая тема (нет новых ответов) В каких тизерных сетях меньше ботов?
37 Boymaster 8482 24.1.2024, 22:13
автор: Boymaster
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВК: Реальные/целевые подписчики. Оплата за вступивших. Без ботов. Гарантия. Скидки! Тест за отзыв.
96 VilD 68628 17.3.2022, 2:37
автор: Hydra
Открытая тема (нет новых ответов) Разработка ботов под любую рутину. Разгрузи свой график!
1 basmeister 1278 19.12.2020, 13:35
автор: basmeister


 



RSS Текстовая версия Сейчас: 23.4.2024, 12:06
Дизайн