X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Бот бинга сильно грузит сайт
Clause
Clause
Topic Starter сообщение 21.12.2018, 20:42; Ответить: Clause
Сообщение #1


Бот бинга запрашивает в секунду по 20-50 страниц сайта... Как снизить активность данного бота? Сайты япредставляют собой каталоги на 250000-1000000 страниц, на сервере по 5-10 таких сайтов, если одновременно начинает сканировать все сайты выходит 200-500 запросов в секунду, бывает и больше... Нагрузка критическая... Сканирует сайты набегами... Когда бота на сайте нету сайт работает нормально. Блокировать полностью доступ не выход, бинг приносит 10% целевого трафа. Что можно предпринять в данном случае для снижения количества запросов в секунду? Ограничить количество одновременных запросов на стороне сервера? Есть другие идеи?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ekvador
ekvador
сообщение 22.12.2018, 0:41; Ответить: ekvador
Сообщение #2


может парсят с user agent bing? по ip проверяли?
verify-bingbot
gethostbyaddr
bing ip
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MoneyMade
MoneyMade
сообщение 22.12.2018, 1:48; Ответить: MoneyMade
Сообщение #3


На уровне хостинга в чем проблема запретить?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ruby
Ruby
сообщение 26.12.2018, 20:39; Ответить: Ruby
Сообщение #4


А нужен вам бинг то в принципе? прописать запрет для ботов бинга и все.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Clause
Clause
Topic Starter сообщение 1.1.2019, 20:16; Ответить: Clause
Сообщение #5


Проблема решена. Включил обычное кэширование.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 1.1.2019, 22:26; Ответить: VinogradOFF
Сообщение #6


Цитата(Clause @ 1.1.2019, 20:16) *
Включил обычное кэширование.


Не совсем подкован технически - но как кэширование связано с ботами?
Типа бот каждый раз загружал информацию, а теперь она у него есть в кэше и он не рыпается?

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Ваш сайт блокирует Роскомнадзор?
27 hollywooduk 5719 17.4.2024, 0:19
автор: Omaxis
Открытая тема (нет новых ответов) Прототипирование + дизайн + вёрстка = красивый и эффективный сайт под ключ
0 bunneh 347 16.4.2024, 18:02
автор: bunneh
Открытая тема (нет новых ответов) Если в сайт с одними ключами, которые там долго, добавить новую рубрику с новыми ключами
2 Tutich 1232 16.4.2024, 8:27
автор: Tutich
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлы[Услуги] Баннер/Графика/Сайт
240 FillPlay 180525 31.3.2024, 22:58
автор: FillPlay
Открытая тема (нет новых ответов) Тысячи ботовых переходов на сайт
18 Suagaring 4613 26.3.2024, 21:42
автор: c4p1t4l15t


 



RSS Текстовая версия Сейчас: 20.4.2024, 3:36
Дизайн