X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Психованый Yahoo
korvin
korvin
Topic Starter сообщение 26.1.2008, 22:47; Ответить: korvin
Сообщение #1


Участник
***

Группа: Viewer
Сообщений: 119
Регистрация: 8.1.2008
Поблагодарили: 0 раз
Репутация:   2  


Третий день наблюдаю странную картину. Выкладываю на хостинг новый сайт. Собственно, готово пока меньше половины работы - чисто проверить на уживаемость с хостером smile.gif. Домен новый, нигде, разумеется, не светился никогда. Дык вот. Каждый день по сайту ползает робот Yahoo. Причем ищет какие-то странные скрипты, попадает на 404 страницу, а оттуда по ссылкам ползет дальше.
Вот сижу и думаю, стоит ему доступ закрывать или нет. От него, вообщем-то, и для работающего сайта толку ни на грош, а тут вообще еще набор разделов недоделанных. Но больше всего интересует, как он, паразит, о домене-то узнал?! Причем, повторюсь, запросы на какие-то левые скрипты, с параметрами всякими. Судя по параметрам, запросы примерно соответствуют тематике сайта.
Есть у кого какие мысли?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lelouch
lelouch
сообщение 27.1.2008, 4:28; Ответить: lelouch
Сообщение #2


Участник
***

Группа: User
Сообщений: 122
Регистрация: 25.1.2008
Из: Москва
Поблагодарили: 12 раз
Репутация:   9  


Домен новый, нигде, разумеется, не светился никогда.

зря вы так думаете smile.gif есть списки доменов аля "today register domains" у некоторых регистрантов, где иногда ставят прямые ссылки. Потом возможно ваш домен ранее был зареган и юзался когда то (вот яху может и дергать фиг знает какие урлы). Потом это может быть не яху (если только по юзер агенту смотрите то вполне возможно что какойнить бот просто маскируеться под яху, проверить это довольно легко, по айпи бота smile.gif ).

Вот сижу и думаю, стоит ему доступ закрывать или нет.

для ру проекто имхо закрывать однозначно, ибо пользы в виде трафа - ноль (+ палево smile.gif )

Сообщение отредактировал lelouch - 27.1.2008, 4:29


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Profytball
Profytball
сообщение 27.1.2008, 12:32; Ответить: Profytball
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 528
Регистрация: 17.9.2007
Поблагодарили: 17 раз
Репутация:   5  


Не считаю Yahoo поисковиком.да вопервых недавно их запалили в накручивании посещалки.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
korvin
korvin
Topic Starter сообщение 27.1.2008, 13:28; Ответить: korvin
Сообщение #4


Участник
***

Группа: Viewer
Сообщений: 119
Регистрация: 8.1.2008
Поблагодарили: 0 раз
Репутация:   2  


Дык. По пунктам smile.gif.
Бот точно яху. Вбил имя домена в него - он аккурат вывел ссылки на те скрипты, которые искал smile.gif.
Доме 100% не палился, так как в net.ru. Зареген неделю назад. Собственно, первый раз взял в этой зоне - поприколу посмотреть, выйдет что или нет.
Вот интересно, мог яху его по ключевикам в урле найти?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alesh
alesh
сообщение 14.4.2008, 16:02; Ответить: alesh
Сообщение #5


Участник
***

Группа: User
Сообщений: 138
Регистрация: 6.1.2008
Поблагодарили: 1 раз
Репутация:   2  


Yahoo - Лучший поисковик. Такие страницы наёдёт, выложил сайт в нет, моментально индексирует.


--------------------
vvv
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dade_master
dade_master
сообщение 3.6.2009, 12:14; Ответить: dade_master
Сообщение #6


Новичок
*

Группа: Viewer
Сообщений: 9
Регистрация: 2.6.2009
Поблагодарили: 0 раз
Репутация:   0  


(alesh @ 14.4.2008, 16:02) *
Yahoo - Лучший поисковик. Такие страницы наёдёт, выложил сайт в нет, моментально индексирует.

4 недели назад засабмител в яху - проиндексировано всего 4 страницы.. (сайт из 1000 страниц)
не знаете в чем может быть причина?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stanom
stanom
сообщение 16.7.2009, 13:53; Ответить: stanom
Сообщение #7


Новичок
*

Группа: User
Сообщений: 38
Регистрация: 14.2.2009
Из: Нижний Новгород
Поблагодарили: 1 раз
Репутация:   -8  


Яху хорошо индексит но мало трафар даёд. Лучше пока с ним не возидся)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webmozg
webmozg
сообщение 16.7.2009, 14:04; Ответить: webmozg
Сообщение #8


Забаненный
*****

Группа: Banned
Сообщений: 931
Регистрация: 15.7.2008
Из: Псков
Поблагодарили: 568 раз
Репутация:   70  


(korvin @ 26.1.2008, 22:47) *
Каждый день по сайту ползает робот Yahoo. Причем ищет какие-то странные скрипты, попадает на 404 страницу, а оттуда по ссылкам ползет дальше.
Вот сижу и думаю, стоит ему доступ закрывать или нет.
Есть у кого какие мысли?


Яху хороший поисковик, для тех кто работает в бурж, дает качественный трафик.

У него шустрый бот и постоянно весит на ресурсах, чем больше страниц\контента тем яростей он мучает сайт, поэтому, что бы ограничить его + что бы трафик не кушал и не занимал ресурсы в файл robots.txt добавьте код:

User-agent: Slurp
Crawl-delay: 150


это задает тайм-аут обращения Яху к сайту в 150 секунд, считается оптимальным.


--------------------
Забанен за негативное отношение к форуму и его администрации.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
neo-skynet
neo-skynet
сообщение 16.7.2009, 14:16; Ответить: neo-skynet
Сообщение #9


Дядько Admin
*****

Группа: Active User
Сообщений: 877
Регистрация: 5.1.2009
Из: Localhost
Поблагодарили: 123 раза
Репутация:   19  


(webmozg @ 16.7.2009, 14:04) *
Яху хороший поисковик, для тех кто работает в бурж, дает качественный трафик.

У него шустрый бот и постоянно весит на ресурсах, чем больше страниц\контента тем яростей он мучает сайт, поэтому, что бы ограничить его + что бы трафик не кушал и не занимал ресурсы в файл robots.txt добавьте код:

User-agent: Slurp
Crawl-delay: 150


это задает тайм-аут обращения Яху к сайту в 150 секунд, считается оптимальным.


А такая задержка не сильно повлияет на его индексацию страниц?????


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webmozg
webmozg
сообщение 16.7.2009, 14:26; Ответить: webmozg
Сообщение #10


Забаненный
*****

Группа: Banned
Сообщений: 931
Регистрация: 15.7.2008
Из: Псков
Поблагодарили: 568 раз
Репутация:   70  


(neo-skynet @ 16.7.2009, 14:16) *
А такая задержка не сильно повлияет на его индексацию страниц?????


нет.

на всех сайтах так прописано + на эксперементальном форуме где установлен плагин отслеживания ботов, Яху как часы каждые 150 секунд.
Можно сверять с Курантами :-)

Если возникунт проблемы можно прописать 100, но это уже минимум.

Сообщение отредактировал webmozg - 16.7.2009, 14:30


--------------------
Забанен за негативное отношение к форуму и его администрации.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Карим Баратов признался, что имел отношение ко взлому компании Yahoo
4 MissContent 642 11.12.2017, 16:38
автор: wertu
Открытая тема (нет новых ответов) Продаются аккаунты Gmail, Twitter, Hotmail, Yahoo, Instagram, Pinterest, Tumblr
Вменяемые цены и гарантия качества
0 whitesunset 2712 12.1.2013, 22:13
автор: whitesunset


 



RSS Текстовая версия Сейчас: 16.12.2017, 21:18
Дизайн