Помощник
|
Что делать если боты и поисковики грузят сервер?, Превышение нагрузки на сервер. |
Live_and_Die |
13.2.2018, 19:27;
Ответить: Live_and_Die
Сообщение
#12
|
|
Может имелось ввиду обычный хостинг, а не сервер. Вариант 1 - переехать хотя бы на VPSку и по логам настроить защиту от всякой нечисти.
|
|
|
dreker |
15.2.2018, 18:48;
Ответить: dreker
Сообщение
#13
|
|
-------------------- |
|
|
4ester7 |
6.3.2018, 23:49;
Ответить: 4ester7
Сообщение
#14
|
|
какое это кол-во ботов должно заходить , чтоб сервер логал от поисковых ботов ? 0_о Поверьте, такое реально) для многоязычных сайтов очень даже, там где гугл+яша+байду+бинг грузят 500к страниц. Решение есть. В инструментах для веб-мастеров Яндекс, Гугла и Бинга можно ограничить скорость сканирования, а нечисть убирать в хтаксес, как коллеги по цеху подсказали ранее. Сообщение отредактировал 4ester7 - 6.3.2018, 23:53 -------------------- |
|
|
HavingingWorld |
7.3.2018, 17:45;
Ответить: HavingingWorld
Сообщение
#15
|
|
как поставить чтобы они один раз в день заходили, а то в яндексе на выбор до 30 запросов в секунду, куда столько? я контент раз в 2 дня закидываю
стоит конечно по выбору яндекса, но хз что он там выбирет |
|
|
domenovo |
8.3.2018, 19:28;
Ответить: domenovo
Сообщение
#16
|
|
HavingingWorld, можете поколдовать с robots.txt. Директивы подскажу. Crawl-delay для снижения скорости посещения страниц. Например: Crawl-delay: 10 ограничит посещение роботом 8640 страниц в день. Request-rate для определения количества документов, которые могут быть скачаны роботом за данный период времени. Например: Request-rate: 8640/1d сделает тоже самое. Для Яши посмотрите Crawl-delay и скорость обхода.
-------------------- |
|
|
wtf_bro |
2.4.2018, 22:37;
Ответить: wtf_bro
Сообщение
#17
|
|
ТС, да спали ты уже этот хостинг или что у тебя там
|
|
|
Paymaster |
27.6.2018, 14:49;
Ответить: Paymaster
Сообщение
#18
|
|
Купить защиту о ддоса, ну или сменить хостинг
|
|
|
driver |
6.7.2018, 13:15;
Ответить: driver
Сообщение
#19
|
|
закрывать в .htaccess левые, гугл, яндекс, бинг задавать время сканирования в панели вебмастеров
|
|
|
FobsCraft |
22.7.2018, 20:13;
Ответить: FobsCraft
Сообщение
#20
|
|
вводить капчу, в случае если с одного IP идет больше чем 5 (50-100 в зависимости от посещаемости сайта) запросов в минуту (10 секунд, секунду). Бот через капчу не пройдет.
В белом списке ботов, которых легко можно индифицировать, установить правило, что на них капча не распространяется. Все проблема решена. Техническое решение лучше всего делать на стороне nginx |
|
|
AquaZE |
16.8.2018, 17:13;
Ответить: AquaZE
Сообщение
#21
|
|
Поставить защита от ддоса как вариант
-------------------- |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Боты могут делать пушподписки на моём сайте? | 3 | Megaspryt | 921 | Сегодня, 5:18 автор: Skyworker |
|
Во что Вы играете? | 400 | Vmir | 67950 | 20.4.2024, 18:39 автор: SaintExchange |
|
Во что сегодня инвестировать? Делимся своими приносящими прибыль вариантами |
76 | traveliver | 5080 | 20.4.2024, 18:27 автор: SaintExchange |
|
Если в сайт с одними ключами, которые там долго, добавить новую рубрику с новыми ключами | 2 | Tutich | 1328 | 16.4.2024, 8:27 автор: Tutich |
|
Если статья не в индексе Google - она уникальна или нет? | 5 | uahomka | 1443 | 3.4.2024, 23:56 автор: Liudmila |
Текстовая версия | Сейчас: 24.4.2024, 13:43 |