X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt для субдоменов, YandexBot достал
span4bob
span4bob
Topic Starter сообщение 20.5.2016, 11:22; Ответить: span4bob
Сообщение #1


Бывалый
****


Группа: User
Сообщений: 353
Регистрация: 6.5.2013
Из: Земля
Поблагодарили: 54 раза
Репутация:   9  


Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно. Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?


--------------------
Выгодно Ссылки с сайтов ТИЦ 100+ ◄ ! Хорошая индексация бэклинков
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SiBor
SiBor
сообщение 30.5.2016, 23:00; Ответить: SiBor
Сообщение #2


Частый гость
**

Группа: User
Сообщений: 77
Регистрация: 14.1.2016
Поблагодарили: 25 раз
Репутация:   9  


Может хостера сменить? Что за сервер, который яндексбот вешает? :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gorandim
gorandim
сообщение 1.6.2016, 13:29; Ответить: gorandim
Сообщение #3


клоновод
*

Группа: Banned
Сообщений: 18
Регистрация: 23.5.2016
Поблагодарили: 6 раз
Репутация:   0  


Субдомены работают как отдельные сайты. И Конкретное правило в роботсе работает только для конкретного домена/субдомена. Если правило прописано в роботсе на главном домене, то на субдомены оно не перенесется.


--------------------
клоновод и мошенник


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
RushAgency
RushAgency
сообщение 3.6.2016, 19:53; Ответить: RushAgency
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 394
Регистрация: 1.4.2015
Из: Москва
Поблагодарили: 140 раз
Репутация:   27  


Самое правильное - сменить хостинг :)


--------------------
SEO-аналитика: автоматизация подбора ключевых слов и проверка позиций rush-analytics.ru
База знаний по подбору семантики
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GlazAlmaz
GlazAlmaz
сообщение 4.6.2016, 22:14; Ответить: GlazAlmaz
Сообщение #5


Генератор СДЛ
******

Группа: Super Moderator
Сообщений: 1834
Регистрация: 28.8.2010
Поблагодарили: 831 раз
Репутация:   74  


Цитата(span4bob @ 20.5.2016, 11:22) *
Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему

логически это как раз должно решить проблему


--------------------
:: узнай, насколько ТЫ жирный
--------------------
:: Тут все заказывают SEO-консультации и коммерческий аудит
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Подскажите сервис для накрутки google+ на сайте
3 Yurio 503 Сегодня, 1:31
автор: Yurio
Горячая тема (нет новых ответов) ВНИМАНИЕ: Идеальная партнерская программа для вебмастеров
130 PartnerEarning 29221 Вчера, 18:47
автор: PartnerEarning
Открытая тема (нет новых ответов) Программы для прогона и стоит-ли покупать?
Внешняя оптимизация
5 stixia007 665 Вчера, 18:25
автор: Зотов
Открытая тема (нет новых ответов) Clickky - международная платформа для закупки и монетизации мобильного трафика
0 Clickky_Family 256 Вчера, 16:09
автор: Clickky_Family
Горячая тема (нет новых ответов) Вкусный контент для вашего сайта
Дай своему сайту подкрепиться!
31 klassman 13034 Вчера, 16:05
автор: SkyFire


 



RSS Текстовая версия Сейчас: 8.12.2016, 7:56
Дизайн