X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Yahoo!, озверел в корень
Dev
Dev
Topic Starter сообщение 28.6.2008, 13:11; Ответить: Dev
Сообщение #1


Завсегдатай
*****


Группа: User
Сообщений: 661
Регистрация: 23.1.2008
Поблагодарили: 5 раз
Репутация:   635  


Народ, подскажите плиз, каким таким хитрым макаром забанить поисковые боты яху? не хочу создавать нагрузку на хост...этих ботов весит примерно по 130-150 на форуме. В robots.txt прописанно следующее для попытки бана

User-agent: Yahoo! Slurp
Disallow: /

User-agent: Slurp
Disallow: /
Disallow: /*?*


В течении месяца всёбыло отлично и тут с нечего яху опять активировался и стал буквально вламываться на форум. Что требуется прописать/сделать вообще что бы он просто не индексировал мой форум и вообще не приходил?
smile.gif

Сообщение отредактировал Dev - 28.6.2008, 13:11


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
agentvini
agentvini
сообщение 28.6.2008, 18:56; Ответить: agentvini
Сообщение #2


wir werden alle sterben
******

Группа: Active User
Сообщений: 1076
Регистрация: 27.5.2008
Из: Москва
Поблагодарили: 234 раза
Репутация:   39  


попробуй забанить по IP, или поищи сдесь http://help.yahoo.com/l/us/yahoo/search/webcrawler/


--------------------
Профессиональная разработка сайтов на MODx
реализуем все ваши идеи качественно и быстро
цена от 500$ (skype sanche.s)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DarkByte
DarkByte
сообщение 28.6.2008, 18:57; Ответить: DarkByte
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 491
Регистрация: 24.5.2008
Из: Челябинск
Поблагодарили: 63 раза
Репутация:   13  


(Dev @ 28.6.2008, 12:11) *
Народ, подскажите плиз, каким таким хитрым макаром забанить поисковые боты яху? не хочу создавать нагрузку на хост...этих ботов весит примерно по 130-150 на форуме. В robots.txt прописанно следующее для попытки бана



В течении месяца всёбыло отлично и тут с нечего яху опять активировался и стал буквально вламываться на форум. Что требуется прописать/сделать вообще что бы он просто не индексировал мой форум и вообще не приходил?
smile.gif

Через mod_rewrite можно выдавать боту одну информацию, людям другую, просто определяешь user-agent и если это яхувый, то направляешь его на какую нибудь 404 ошибку smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Склифасовский
Склифасовский
сообщение 28.6.2008, 20:31; Ответить: Склифасовский
Сообщение #4


Новичок
*

Группа: User
Сообщений: 43
Регистрация: 21.5.2008
Из: UAIX
Поблагодарили: 1 раз
Репутация:   0  


Одни люди мечтают о привлечении поисковых боов на сайт, другие мечтают избавится от них biggrin.gif
самий нормальный вариант это пермобан по ip.

Неужели нагрузка столь критична? я сам видел как эти шакалы (слурпы яху) накидываются на форумы, по 1 боту на тему))
но нагрузка у меня даже на бесплатном хостинге была далека от критичной. И массовые налёты ботов редкое явление.


--------------------
Создаёте сайты? тогда вам сюда -> iPortal.org.ua
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GolDima
GolDima
сообщение 28.6.2008, 22:54; Ответить: GolDima
Сообщение #5


Старожил
******


Группа: Active User
Сообщений: 1044
Регистрация: 13.6.2008
Из: Киев
Поблагодарили: 95 раз
Репутация:   46  


Только что посмотрел в СПанели откуда все пользовател - все до единого с Яхоо в котором я на 2 месте по "статьи о бизнесе и финансах". Так что кульная ПС!!!

Сообщение отредактировал GolDima - 28.6.2008, 23:45
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dev
Dev
Topic Starter сообщение 1.7.2008, 0:19; Ответить: Dev
Сообщение #6


Завсегдатай
*****


Группа: User
Сообщений: 661
Регистрация: 23.1.2008
Поблагодарили: 5 раз
Репутация:   635  


Неужели нагрузка столь критична? я сам видел как эти шакалы (слурпы яху) накидываются на форумы, по 1 боту на тему))

когда 200 людей на линии и 500 ботов это не смешно smile.gif
Зы. пермобан не помог, тупо ни какой реакции, с яхи трафика у меня ноль, посему он вообще мне не фортит ни как smile.gif
какие ещё предложения по прыжкам с бубном?

Сообщение отредактировал Dev - 1.7.2008, 0:19


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Amethyst
Amethyst
сообщение 3.7.2008, 0:07; Ответить: Amethyst
Сообщение #7


Частый гость
**

Группа: User
Сообщений: 71
Регистрация: 3.4.2008
Поблагодарили: 8 раз
Репутация:   2  


везет же людям тут не знаеш как этого бота прислать к себе на сайт, а у других он и живет на сайтах!


Странный бот biggrin.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
romanf
romanf
сообщение 8.7.2008, 21:39; Ответить: romanf
Сообщение #8


Новичок
*


Группа: User
Сообщений: 45
Регистрация: 1.7.2008
Поблагодарили: 3 раза
Репутация:   2  


Зато яху индексирует нормально)


--------------------
ICQ 376922622
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Карим Баратов признался, что имел отношение ко взлому компании Yahoo
4 MissContent 606 Сегодня, 16:38
автор: wertu
Открытая тема (нет новых ответов) Продаются аккаунты Gmail, Twitter, Hotmail, Yahoo, Instagram, Pinterest, Tumblr
Вменяемые цены и гарантия качества
0 whitesunset 2708 12.1.2013, 22:13
автор: whitesunset


 



RSS Текстовая версия Сейчас: 11.12.2017, 23:17
Дизайн