X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

> robots.txt для субдоменов, YandexBot достал
span4bob
span4bob
Topic Starter сообщение 20.5.2016, 11:22; Ответить: span4bob
Сообщение #1


Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно. Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?


--------------------
Выгодно Ссылки с сайтов ТИЦ 100+ ◄ ! Хорошая индексация бэклинков
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
 
Открыть тему
Ответов (1 - 4)
SiBor
SiBor
сообщение 30.5.2016, 23:00; Ответить: SiBor
Сообщение #2


Может хостера сменить? Что за сервер, который яндексбот вешает? :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gorandim
gorandim
сообщение 1.6.2016, 13:29; Ответить: gorandim
Сообщение #3


Субдомены работают как отдельные сайты. И Конкретное правило в роботсе работает только для конкретного домена/субдомена. Если правило прописано в роботсе на главном домене, то на субдомены оно не перенесется.


--------------------
клоновод и мошенник


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
RushAgency
RushAgency
сообщение 3.6.2016, 19:53; Ответить: RushAgency
Сообщение #4


Самое правильное - сменить хостинг :)


--------------------
SEO-аналитика: автоматизация подбора ключевых слов и проверка позиций rush-analytics.ru
База знаний по подбору семантики
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
GlazAlmaz
GlazAlmaz
сообщение 4.6.2016, 22:14; Ответить: GlazAlmaz
Сообщение #5


Цитата(span4bob @ 20.5.2016, 11:22) *
Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему

логически это как раз должно решить проблему

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
:: научу, как продвигать сайты :: SEO-шмео, все дела :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) ✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐
Сервис для получения SMS на реальные номера USA
13 Chekon 4078 Вчера, 11:48
автор: Chekon
Открытая тема (нет новых ответов) Rebex.io – Ваша инновационная платформа для обмена криптовалюты!
1 Rebex 680 17.4.2024, 11:50
автор: Rebex
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
11 Aloof 2814 16.4.2024, 12:48
автор: diviner99
Горячая тема (нет новых ответов) Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат
54 arendator 34836 15.4.2024, 15:16
автор: arendator
Горячая тема (нет новых ответов) ⭕Антидетект браузер AdsPower для эффективной работы с мультиаккаунтами!
83 AdsPower 24425 14.4.2024, 22:52
автор: AdsPower


 



RSS Текстовая версия Сейчас: 19.4.2024, 20:34
Дизайн