Помощник
 |
|
|
|
|
Сообщение сайта
|
 Что делать если боты и поисковики грузят сервер?, Превышение нагрузки на сервер. |
Live_and_Die
|
 13.2.2018, 19:27;
Ответить: Live_and_Die
Сообщение
#12
|
 † Thℜash Met∀  
 Группа: Active User Сообщений: 1315 Регистрация: 21.9.2009 Из: ΜAℜŠ Поблагодарили: 1045 раз Репутация:  146 
 |
Может имелось ввиду обычный хостинг, а не сервер. Вариант 1 - переехать хотя бы на VPSку и по логам настроить защиту от всякой нечисти.
|
 |
|
dreker
|
15.2.2018, 18:48;
Ответить: dreker
Сообщение
#13
|
 Новичок Группа: User Сообщений: 28 Регистрация: 12.12.2012 Поблагодарили: 4 раза Репутация: 3
|
-------------------- |
|
|
|
|
4ester7
|
6.3.2018, 23:49;
Ответить: 4ester7
Сообщение
#14
|
 SEOKREM Группа: Active User Сообщений: 1697 Регистрация: 21.5.2009 Из: Кременчуг Поблагодарили: 495 раз Репутация: 107
|
Цитата(dreker @ 15.2.2018, 17:48)  какое это кол-во ботов должно заходить , чтоб сервер логал от поисковых ботов ? 0_о Поверьте, такое реально) для многоязычных сайтов очень даже, там где гугл+яша+байду+бинг грузят 500к страниц. Решение есть. В инструментах для веб-мастеров Яндекс, Гугла и Бинга можно ограничить скорость сканирования, а нечисть убирать в хтаксес, как коллеги по цеху подсказали ранее. Сообщение отредактировал 4ester7 - 6.3.2018, 23:53 -------------------- |
|
|
|
|
HavingingWorld
|
7.3.2018, 17:45;
Ответить: HavingingWorld
Сообщение
#15
|
|
Участник Группа: User Сообщений: 106 Регистрация: 13.3.2017 Поблагодарили: 35 раз Репутация: 5
|
как поставить чтобы они один раз в день заходили, а то в яндексе на выбор до 30 запросов в секунду, куда столько? я контент раз в 2 дня закидываю
стоит конечно по выбору яндекса, но хз что он там выбирет |
|
|
|
|
domenovo
|
8.3.2018, 19:28;
Ответить: domenovo
Сообщение
#16
|
 Новичок Группа: User Сообщений: 17 Регистрация: 15.12.2015 Поблагодарили: 2 раза Репутация: 0
|
HavingingWorld, можете поколдовать с robots.txt. Директивы подскажу. Crawl-delay для снижения скорости посещения страниц. Например: Crawl-delay: 10 ограничит посещение роботом 8640 страниц в день. Request-rate для определения количества документов, которые могут быть скачаны роботом за данный период времени. Например: Request-rate: 8640/1d сделает тоже самое. Для Яши посмотрите Crawl-delay и скорость обхода.
-------------------- |
|
|
|
|
wtf_bro
|
2.4.2018, 22:37;
Ответить: wtf_bro
Сообщение
#17
|
|
Новичок Группа: User Сообщений: 36 Регистрация: 20.7.2015 Поблагодарили: 2 раза Репутация: 0
|
ТС, да спали ты уже этот хостинг или что у тебя там
|
|
|
|
Paymaster
|
27.6.2018, 14:49;
Ответить: Paymaster
Сообщение
#18
|
 Новичок 
 Группа: User Сообщений: 16 Регистрация: 21.6.2018 Поблагодарили: 1 раз Репутация: -1
|
Купить защиту о ддоса, ну или сменить хостинг
|
|
|
|
|
driver
|
6.7.2018, 13:15;
Ответить: driver
Сообщение
#19
|
|
Новичок
Группа: User Сообщений: 19 Регистрация: 27.12.2013 Поблагодарили: 3 раза Репутация: 0
|
закрывать в .htaccess левые, гугл, яндекс, бинг задавать время сканирования в панели вебмастеров
|
|
|
|
|
FobsCraft
|
22.7.2018, 20:13;
Ответить: FobsCraft
Сообщение
#20
|
|
Новичок Группа: User Сообщений: 21 Регистрация: 13.7.2018 Поблагодарили: 1 раз Репутация: 0
|
вводить капчу, в случае если с одного IP идет больше чем 5 (50-100 в зависимости от посещаемости сайта) запросов в минуту (10 секунд, секунду). Бот через капчу не пройдет.
В белом списке ботов, которых легко можно индифицировать, установить правило, что на них капча не распространяется. Все проблема решена. Техническое решение лучше всего делать на стороне nginx |
|
|
|
|
AquaZE
|
16.8.2018, 17:13;
Ответить: AquaZE
Сообщение
#21
|
|
Новичок Группа: Banned Сообщений: 31 Регистрация: 12.6.2018 Поблагодарили: 1 раз Репутация: -4
|
Поставить защита от ддоса как вариант
-------------------- |
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Есть быстрый интернет 1Gb/s Что посоветуете? Какие варианты заработка есть с быстрым оптоволокном сегодня? |
0 | Jast1 | 135 | Сегодня, 1:34 автор: Jast1 |
|
Будет ли склейка сайтов если старый телефон перенести на новый сайт? | 2 | noviktamw | 595 | Вчера, 23:05 автор: Liudmila |
|
Если статья не в индексе Google - она уникальна или нет? | 7 | uahomka | 1711 | Вчера, 22:59 автор: Liudmila |
|
Боты могут делать пушподписки на моём сайте? | 3 | Megaspryt | 999 | 24.4.2024, 5:18 автор: Skyworker |
 |
 Во что Вы играете? |
400 | Vmir | 68020 | 20.4.2024, 18:39 автор: SaintExchange |
|
Текстовая версия | Сейчас: 26.4.2024, 4:48 |
