[X] Помощник

[korvin Topic Starter]

Третий день наблюдаю странную картину. Выкладываю на хостинг новый сайт. Собственно, готово пока меньше половины работы - чисто проверить на уживаемость с хостером . Домен новый, нигде, разумеется, не светился никогда. Дык вот. Каждый день по сайту ползает робот Yahoo. Причем ищет какие-то странные скрипты, попадает на 404 страницу, а оттуда по ссылкам ползет дальше.
Вот сижу и думаю, стоит ему доступ закрывать или нет. От него, вообщем-то, и для работающего сайта толку ни на грош, а тут вообще еще набор разделов недоделанных. Но больше всего интересует, как он, паразит, о домене-то узнал?! Причем, повторюсь, запросы на какие-то левые скрипты, с параметрами всякими. Судя по параметрам, запросы примерно соответствуют тематике сайта.
Есть у кого какие мысли?

[lelouch]

Домен новый, нигде, разумеется, не светился никогда.

зря вы так думаете есть списки доменов аля "today register domains" у некоторых регистрантов, где иногда ставят прямые ссылки. Потом возможно ваш домен ранее был зареган и юзался когда то (вот яху может и дергать фиг знает какие урлы). Потом это может быть не яху (если только по юзер агенту смотрите то вполне возможно что какойнить бот просто маскируеться под яху, проверить это довольно легко, по айпи бота ).

Вот сижу и думаю, стоит ему доступ закрывать или нет.

для ру проекто имхо закрывать однозначно, ибо пользы в виде трафа - ноль (+ палево )

Сообщение отредактировал lelouch - 27.1.2008, 4:29

[Profytball]

Не считаю Yahoo поисковиком.да вопервых недавно их запалили в накручивании посещалки.

[korvin Topic Starter]

Дык. По пунктам .
Бот точно яху. Вбил имя домена в него - он аккурат вывел ссылки на те скрипты, которые искал .
Доме 100% не палился, так как в net.ru. Зареген неделю назад. Собственно, первый раз взял в этой зоне - поприколу посмотреть, выйдет что или нет.
Вот интересно, мог яху его по ключевикам в урле найти?

[alesh]

Yahoo - Лучший поисковик. Такие страницы наёдёт, выложил сайт в нет, моментально индексирует.

[dade_master]

Yahoo - Лучший поисковик. Такие страницы наёдёт, выложил сайт в нет, моментально индексирует.

4 недели назад засабмител в яху - проиндексировано всего 4 страницы.. (сайт из 1000 страниц)
не знаете в чем может быть причина?

[stanom]

Яху хорошо индексит но мало трафар даёд. Лучше пока с ним не возидся)

[webmozg]

Каждый день по сайту ползает робот Yahoo. Причем ищет какие-то странные скрипты, попадает на 404 страницу, а оттуда по ссылкам ползет дальше.
Вот сижу и думаю, стоит ему доступ закрывать или нет.
Есть у кого какие мысли?

Яху хороший поисковик, для тех кто работает в бурж, дает качественный трафик.

У него шустрый бот и постоянно весит на ресурсах, чем больше страниц\контента тем яростей он мучает сайт, поэтому, что бы ограничить его + что бы трафик не кушал и не занимал ресурсы в файл robots.txt добавьте код:

User-agent: Slurp
Crawl-delay: 150

это задает тайм-аут обращения Яху к сайту в 150 секунд, считается оптимальным.

[neo-skynet]

Яху хороший поисковик, для тех кто работает в бурж, дает качественный трафик.

У него шустрый бот и постоянно весит на ресурсах, чем больше страниц\контента тем яростей он мучает сайт, поэтому, что бы ограничить его + что бы трафик не кушал и не занимал ресурсы в файл robots.txt добавьте код:

User-agent: Slurp
Crawl-delay: 150

это задает тайм-аут обращения Яху к сайту в 150 секунд, считается оптимальным.

А такая задержка не сильно повлияет на его индексацию страниц?????

[webmozg]

А такая задержка не сильно повлияет на его индексацию страниц?????

нет.

на всех сайтах так прописано + на эксперементальном форуме где установлен плагин отслеживания ботов, Яху как часы каждые 150 секунд.
Можно сверять с Курантами :-)

Если возникунт проблемы можно прописать 100, но это уже минимум.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.

Сообщение отредактировал webmozg - 16.7.2009, 14:30