X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Yahoo!, озверел в корень
Dev
Dev
Topic Starter сообщение 28.6.2008, 13:11; Ответить: Dev
Сообщение #1


Народ, подскажите плиз, каким таким хитрым макаром забанить поисковые боты яху? не хочу создавать нагрузку на хост...этих ботов весит примерно по 130-150 на форуме. В robots.txt прописанно следующее для попытки бана

User-agent: Yahoo! Slurp
Disallow: /

User-agent: Slurp
Disallow: /
Disallow: /*?*


В течении месяца всёбыло отлично и тут с нечего яху опять активировался и стал буквально вламываться на форум. Что требуется прописать/сделать вообще что бы он просто не индексировал мой форум и вообще не приходил?
smile.gif

Сообщение отредактировал Dev - 28.6.2008, 13:11


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
agentvini
agentvini
сообщение 28.6.2008, 18:56; Ответить: agentvini
Сообщение #2


попробуй забанить по IP, или поищи сдесь http://help.yahoo.com/l/us/yahoo/search/webcrawler/


--------------------
Профессиональная разработка сайтов на MODx
реализуем все ваши идеи качественно и быстро
цена от 500$ (skype sanche.s)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DarkByte
DarkByte
сообщение 28.6.2008, 18:57; Ответить: DarkByte
Сообщение #3


(Dev @ 28.6.2008, 12:11) *
Народ, подскажите плиз, каким таким хитрым макаром забанить поисковые боты яху? не хочу создавать нагрузку на хост...этих ботов весит примерно по 130-150 на форуме. В robots.txt прописанно следующее для попытки бана



В течении месяца всёбыло отлично и тут с нечего яху опять активировался и стал буквально вламываться на форум. Что требуется прописать/сделать вообще что бы он просто не индексировал мой форум и вообще не приходил?
smile.gif

Через mod_rewrite можно выдавать боту одну информацию, людям другую, просто определяешь user-agent и если это яхувый, то направляешь его на какую нибудь 404 ошибку smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Склифасовский
Склифасовский
сообщение 28.6.2008, 20:31; Ответить: Склифасовский
Сообщение #4


Одни люди мечтают о привлечении поисковых боов на сайт, другие мечтают избавится от них biggrin.gif
самий нормальный вариант это пермобан по ip.

Неужели нагрузка столь критична? я сам видел как эти шакалы (слурпы яху) накидываются на форумы, по 1 боту на тему))
но нагрузка у меня даже на бесплатном хостинге была далека от критичной. И массовые налёты ботов редкое явление.


--------------------
Создаёте сайты? тогда вам сюда -> iPortal.org.ua
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GolDima
GolDima
сообщение 28.6.2008, 22:54; Ответить: GolDima
Сообщение #5


Только что посмотрел в СПанели откуда все пользовател - все до единого с Яхоо в котором я на 2 месте по "статьи о бизнесе и финансах". Так что кульная ПС!!!

Сообщение отредактировал GolDima - 28.6.2008, 23:45
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dev
Dev
Topic Starter сообщение 1.7.2008, 0:19; Ответить: Dev
Сообщение #6


Неужели нагрузка столь критична? я сам видел как эти шакалы (слурпы яху) накидываются на форумы, по 1 боту на тему))

когда 200 людей на линии и 500 ботов это не смешно smile.gif
Зы. пермобан не помог, тупо ни какой реакции, с яхи трафика у меня ноль, посему он вообще мне не фортит ни как smile.gif
какие ещё предложения по прыжкам с бубном?

Сообщение отредактировал Dev - 1.7.2008, 0:19


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Amethyst
Amethyst
сообщение 3.7.2008, 0:07; Ответить: Amethyst
Сообщение #7


везет же людям тут не знаеш как этого бота прислать к себе на сайт, а у других он и живет на сайтах!


Странный бот biggrin.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
romanf
romanf
сообщение 8.7.2008, 21:39; Ответить: romanf
Сообщение #8


Зато яху индексирует нормально)

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
ICQ 376922622
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Быстрый валидатор email Gmail|Yandex|Mail.ru|Rambler|Yahoo|Hotmail|Live|Msn+ -=GoodMail=- на запросах Zennoposter
шустрый многопоточный валидатор почт на запросах
0 akcium 2007 19.11.2022, 13:17
автор: akcium


 



RSS Текстовая версия Сейчас: 18.4.2024, 6:32
Дизайн