X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

5 страниц V   1 2 3 4 5 >
Открыть тему
Добавить ответ в эту тему
> Давайте блокировать ботов в robots.txt
Cott
Cott
Topic Starter сообщение 2.3.2021, 15:52; Ответить: Cott
Сообщение #1


Собственно, по названию понятно. Отсекаем ненужный шлак.
Давайте делиться ботами, которых следует блокировать.

У меня на нескольких сайтах в роботсе сейчас блокируются следующие боты:

User-agent: Baiduspider
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: ExaBot
Disallow: /

User-agent: CrazyWebCrawler-Spider
Disallow: /

User-Agent: DISCo Pump
Disallow: /

User-Agent: Wget
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: Teleport Pro
Disallow: /

User-Agent: WebSnake
Disallow: /

User-Agent: Offline Explorer
Disallow: /

User-Agent: Web-By-Mail
Disallow: /

User-agent: psbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: NetinfoBot
Disallow: /
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Coffee
Coffee
сообщение 2.3.2021, 16:17; Ответить: Coffee
Сообщение #2


Давайте делать это с 2012 )))
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
maxmer
maxmer
сообщение 2.3.2021, 18:42; Ответить: maxmer
Сообщение #3


Цитата(Cott @ 2.3.2021, 14:52) *
Давайте делиться ботами, которых следует блокировать.

Какая цель такого действия? Он вам сильно мешают?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Cott
Cott
Topic Starter сообщение 2.3.2021, 20:04; Ответить: Cott
Сообщение #4


Цитата(maxmer @ 2.3.2021, 18:42) *
Какая цель такого действия? Он вам сильно мешают?

Представьте, что к вашей двери подходят тысячи кошек и метят ее.
И камера видеонаблюдения реагирует на каждую.
Понаделали долбанных ботов.
))

Сообщение отредактировал Cott - 2.3.2021, 20:05
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
maxmer
maxmer
сообщение 2.3.2021, 20:28; Ответить: maxmer
Сообщение #5


Цитата(Cott @ 2.3.2021, 19:04) *
Понаделали долбанных ботов.

Чем конкретно мешают вам боты?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
NormanSky
NormanSky
сообщение 2.3.2021, 20:32; Ответить: NormanSky
Сообщение #6


Цитата(maxmer @ 2.3.2021, 20:28) *
Чем конкретно мешают вам боты?


А зачем им пастись на сайте?
Лишняя нагрузка на сервер...


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ekvador
ekvador
сообщение 2.3.2021, 20:43; Ответить: ekvador
Сообщение #7


Cott, не все боты выполнят директивы robots.txt


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rom_4
rom_4
сообщение 2.3.2021, 20:51; Ответить: rom_4
Сообщение #8


Код
User-agent: ia_archiver
Disallow: /


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Cott
Cott
Topic Starter сообщение 2.3.2021, 21:42; Ответить: Cott
Сообщение #9


Мне на сайтах вообще никто не нужен кроме основных поисковиков.
Занимаюсь только локальными клиентскими бизнесами - главное - это позиции и клиенты.
Все остальное можно отсекать за ненадобностью (имею в виду всяких ботов)

Сообщение отредактировал Cott - 2.3.2021, 21:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
WGN
WGN
сообщение 2.3.2021, 22:09; Ответить: WGN
Сообщение #10


Cott,
Так плохих ботов bad bot надо в htceess блокировать чтобы уж наверняка.


--------------------


Поблагодарили: (3)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
5 страниц V   1 2 3 4 5 >
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
3 чел. читают эту тему (гостей: 3, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВК: Реальные/целевые подписчики. Оплата за вступивших. Без ботов. Гарантия. Скидки! Тест за отзыв.
86 VilD 38929 13.4.2021, 11:33
автор: VilD
Открытая тема (нет новых ответов) Google: трафик сторонних ботов напрямую не влияет на ранжирование сайта
6 VinogradOFF 1236 7.4.2021, 22:10
автор: NikosTM
Открытая тема (нет новых ответов) Разработка ботов под любую рутину. Разгрузи свой график!
1 basmeister 507 19.12.2020, 13:35
автор: basmeister
Открытая тема (нет новых ответов) ZennoPoster-услуги по написанию ботов, автоматизация работы в браузере. Сбор любых баз.
ZennoPoster-услуги по написанию шаблонов
0 Progernaut 326 13.11.2020, 20:20
автор: Progernaut
Открытая тема (нет новых ответов) Порекомендуйте живые тизерки с минимумом ботов
9 Mansurka 650 24.10.2020, 21:40
автор: EvilGomel


 



RSS Текстовая версия Сейчас: 20.4.2021, 3:07
Дизайн