X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Бот бинга сильно грузит сайт
Clause
Clause
Topic Starter сообщение 21.12.2018, 20:42; Ответить: Clause
Сообщение #1


Бот бинга запрашивает в секунду по 20-50 страниц сайта... Как снизить активность данного бота? Сайты япредставляют собой каталоги на 250000-1000000 страниц, на сервере по 5-10 таких сайтов, если одновременно начинает сканировать все сайты выходит 200-500 запросов в секунду, бывает и больше... Нагрузка критическая... Сканирует сайты набегами... Когда бота на сайте нету сайт работает нормально. Блокировать полностью доступ не выход, бинг приносит 10% целевого трафа. Что можно предпринять в данном случае для снижения количества запросов в секунду? Ограничить количество одновременных запросов на стороне сервера? Есть другие идеи?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ekvador
ekvador
сообщение 22.12.2018, 0:41; Ответить: ekvador
Сообщение #2


может парсят с user agent bing? по ip проверяли?
verify-bingbot
gethostbyaddr
bing ip
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MoneyMade
MoneyMade
сообщение 22.12.2018, 1:48; Ответить: MoneyMade
Сообщение #3


На уровне хостинга в чем проблема запретить?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ruby
Ruby
сообщение 26.12.2018, 20:39; Ответить: Ruby
Сообщение #4


А нужен вам бинг то в принципе? прописать запрет для ботов бинга и все.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Clause
Clause
Topic Starter сообщение 1.1.2019, 20:16; Ответить: Clause
Сообщение #5


Проблема решена. Включил обычное кэширование.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 1.1.2019, 22:26; Ответить: VinogradOFF
Сообщение #6


Цитата(Clause @ 1.1.2019, 20:16) *
Включил обычное кэширование.


Не совсем подкован технически - но как кэширование связано с ботами?
Типа бот каждый раз загружал информацию, а теперь она у него есть в кэше и он не рыпается?

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
5 чел. читают эту тему (гостей: 5, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Ваш сайт блокирует Роскомнадзор?
23 hollywooduk 5096 27.3.2024, 10:43
автор: hollywooduk
Открытая тема (нет новых ответов) Тысячи ботовых переходов на сайт
18 Suagaring 4538 26.3.2024, 21:42
автор: c4p1t4l15t
Открытая тема (нет новых ответов) Блог: городской сми сайт в Прибалтике
23 kapusta1 3531 24.3.2024, 22:02
автор: Liudmila
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлы[Услуги] Баннер/Графика/Сайт
238 FillPlay 179386 23.3.2024, 16:31
автор: freeax
Открытая тема (нет новых ответов) Пишет кто отзывы на сайт в янднекс с разных аккаунтах
1 TenDemon_rs 1128 22.3.2024, 13:18
автор: writer80


 



RSS Текстовая версия Сейчас: 29.3.2024, 1:10
Дизайн