Помощник
 |
|
|
|
|
Сообщение сайта
|
 Что делать если боты и поисковики грузят сервер?, Превышение нагрузки на сервер. |
Live_and_Die
|
 13.2.2018, 19:27;
Ответить: Live_and_Die
Сообщение
#12
|
 † Thℜash Met∀  
 Группа: Active User Сообщений: 1315 Регистрация: 21.9.2009 Из: ΜAℜŠ Поблагодарили: 1045 раз Репутация:  146 
 |
Может имелось ввиду обычный хостинг, а не сервер. Вариант 1 - переехать хотя бы на VPSку и по логам настроить защиту от всякой нечисти.
|
 |
|
dreker
|
15.2.2018, 18:48;
Ответить: dreker
Сообщение
#13
|
 Новичок Группа: User Сообщений: 28 Регистрация: 12.12.2012 Поблагодарили: 4 раза Репутация: 3
|
-------------------- |
|
|
|
|
4ester7
|
6.3.2018, 23:49;
Ответить: 4ester7
Сообщение
#14
|
 SEOKREM Группа: Active User Сообщений: 1697 Регистрация: 21.5.2009 Из: Кременчуг Поблагодарили: 495 раз Репутация: 107
|
Цитата(dreker @ 15.2.2018, 17:48)  какое это кол-во ботов должно заходить , чтоб сервер логал от поисковых ботов ? 0_о Поверьте, такое реально) для многоязычных сайтов очень даже, там где гугл+яша+байду+бинг грузят 500к страниц. Решение есть. В инструментах для веб-мастеров Яндекс, Гугла и Бинга можно ограничить скорость сканирования, а нечисть убирать в хтаксес, как коллеги по цеху подсказали ранее. Сообщение отредактировал 4ester7 - 6.3.2018, 23:53 -------------------- |
|
|
|
|
HavingingWorld
|
7.3.2018, 17:45;
Ответить: HavingingWorld
Сообщение
#15
|
|
Участник Группа: User Сообщений: 106 Регистрация: 13.3.2017 Поблагодарили: 35 раз Репутация: 5
|
как поставить чтобы они один раз в день заходили, а то в яндексе на выбор до 30 запросов в секунду, куда столько? я контент раз в 2 дня закидываю
стоит конечно по выбору яндекса, но хз что он там выбирет |
|
|
|
|
domenovo
|
8.3.2018, 19:28;
Ответить: domenovo
Сообщение
#16
|
 Новичок Группа: User Сообщений: 17 Регистрация: 15.12.2015 Поблагодарили: 2 раза Репутация: 0
|
HavingingWorld, можете поколдовать с robots.txt. Директивы подскажу. Crawl-delay для снижения скорости посещения страниц. Например: Crawl-delay: 10 ограничит посещение роботом 8640 страниц в день. Request-rate для определения количества документов, которые могут быть скачаны роботом за данный период времени. Например: Request-rate: 8640/1d сделает тоже самое. Для Яши посмотрите Crawl-delay и скорость обхода.
-------------------- |
|
|
|
|
wtf_bro
|
2.4.2018, 22:37;
Ответить: wtf_bro
Сообщение
#17
|
|
Новичок Группа: User Сообщений: 36 Регистрация: 20.7.2015 Поблагодарили: 2 раза Репутация: 0
|
ТС, да спали ты уже этот хостинг или что у тебя там
|
|
|
|
Paymaster
|
27.6.2018, 14:49;
Ответить: Paymaster
Сообщение
#18
|
 Новичок 
 Группа: User Сообщений: 16 Регистрация: 21.6.2018 Поблагодарили: 1 раз Репутация: -1
|
Купить защиту о ддоса, ну или сменить хостинг
|
|
|
|
|
driver
|
6.7.2018, 13:15;
Ответить: driver
Сообщение
#19
|
|
Новичок
Группа: User Сообщений: 19 Регистрация: 27.12.2013 Поблагодарили: 3 раза Репутация: 0
|
закрывать в .htaccess левые, гугл, яндекс, бинг задавать время сканирования в панели вебмастеров
|
|
|
|
|
FobsCraft
|
22.7.2018, 20:13;
Ответить: FobsCraft
Сообщение
#20
|
|
Новичок Группа: User Сообщений: 21 Регистрация: 13.7.2018 Поблагодарили: 1 раз Репутация: 0
|
вводить капчу, в случае если с одного IP идет больше чем 5 (50-100 в зависимости от посещаемости сайта) запросов в минуту (10 секунд, секунду). Бот через капчу не пройдет.
В белом списке ботов, которых легко можно индифицировать, установить правило, что на них капча не распространяется. Все проблема решена. Техническое решение лучше всего делать на стороне nginx |
|
|
|
|
AquaZE
|
16.8.2018, 17:13;
Ответить: AquaZE
Сообщение
#21
|
|
Новичок Группа: Banned Сообщений: 31 Регистрация: 12.6.2018 Поблагодарили: 1 раз Репутация: -4
|
Поставить защита от ддоса как вариант
-------------------- |
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Во что сегодня инвестировать? Делимся своими приносящими прибыль вариантами |
73 | traveliver | 4843 | Сегодня, 14:45 автор: spomoni |
 |
Боты могут делать пушподписки на моём сайте? | 0 | Megaspryt | 380 | Вчера, 23:29 автор: Megaspryt |
|
Если в сайт с одними ключами, которые там долго, добавить новую рубрику с новыми ключами | 2 | Tutich | 1177 | 16.4.2024, 8:27 автор: Tutich |
|
Если статья не в индексе Google - она уникальна или нет? | 5 | uahomka | 1432 | 3.4.2024, 23:56 автор: Liudmila |
|
 Во что Вы играете? |
399 | Vmir | 67817 | 23.3.2024, 12:51 автор: Alexand3r |
|
Текстовая версия | Сейчас: 18.4.2024, 23:27 |
