X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V  < 1 2
Открыть тему
Добавить ответ в эту тему
> Что делать если боты и поисковики грузят сервер?, Превышение нагрузки на сервер.
Live_and_Die
Live_and_Die
сообщение 13.2.2018, 19:27; Ответить: Live_and_Die
Сообщение #11


† Thℜash Met∀
******


Группа: Active User
Сообщений: 1302
Регистрация: 21.9.2009
Из: ΜAℜŠ
Поблагодарили: 1037 раз
Репутация:   146  


Может имелось ввиду обычный хостинг, а не сервер. Вариант 1 - переехать хотя бы на VPSку и по логам настроить защиту от всякой нечисти.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dreker
dreker
сообщение 15.2.2018, 18:48; Ответить: dreker
Сообщение #12


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 12.12.2012
Поблагодарили: 1 раз
Репутация:   1  


Live_and_Die,

какое это кол-во ботов должно заходить , чтоб сервер логал от поисковых ботов ? 0_о
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4ester7
4ester7
сообщение 6.3.2018, 23:49; Ответить: 4ester7
Сообщение #13


SEO-ломастер
******


Группа: Active User
Сообщений: 1670
Регистрация: 21.5.2009
Из: Кременчуг
Поблагодарили: 488 раз
Репутация:   108  


Цитата(dreker @ 15.2.2018, 17:48) *
какое это кол-во ботов должно заходить , чтоб сервер логал от поисковых ботов ? 0_о

Поверьте, такое реально) для многоязычных сайтов очень даже, там где гугл+яша+байду+бинг грузят 500к страниц.

Решение есть. В инструментах для веб-мастеров Яндекс, Гугла и Бинга можно ограничить скорость сканирования, а нечисть убирать в хтаксес, как коллеги по цеху подсказали ранее.

Сообщение отредактировал 4ester7 - 6.3.2018, 23:53


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
HavingingWorld
HavingingWorld
сообщение 7.3.2018, 17:45; Ответить: HavingingWorld
Сообщение #14


Частый гость
**

Группа: User
Сообщений: 86
Регистрация: 13.3.2017
Поблагодарили: 20 раз
Репутация:   3  


как поставить чтобы они один раз в день заходили, а то в яндексе на выбор до 30 запросов в секунду, куда столько? я контент раз в 2 дня закидываю
стоит конечно по выбору яндекса, но хз что он там выбирет
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
domenovo
domenovo
сообщение 8.3.2018, 19:28; Ответить: domenovo
Сообщение #15


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 15.12.2015
Поблагодарили: 2 раза
Репутация:   0  


HavingingWorld, можете поколдовать с robots.txt. Директивы подскажу. Crawl-delay для снижения скорости посещения страниц. Например: Crawl-delay: 10 ограничит посещение роботом 8640 страниц в день. Request-rate для определения количества документов, которые могут быть скачаны роботом за данный период времени. Например: Request-rate: 8640/1d сделает тоже самое. Для Яши посмотрите Crawl-delay и скорость обхода.


--------------------
domenovo.com - партнёр компании Reg.ru, выгодные цены.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
wtf_bro
wtf_bro
сообщение 2.4.2018, 22:37; Ответить: wtf_bro
Сообщение #16


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 20.7.2015
Поблагодарили: 1 раз
Репутация:   0  


ТС, да спали ты уже этот хостинг или что у тебя там :xz:
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V  < 1 2
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Что лучше, фриланс, удаленка, или работа в офисе солидной компании?
141 Levizar 16499 Вчера, 20:14
автор: KristinaDar
Горячая тема (нет новых ответов) [Бесплатный тест] Airsocks. Инновационные мобильные 4G / LTE прокси. Забудь все что было раньше!
45 airsocks11 11627 14.6.2018, 19:03
автор: airsocks11
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыЧто вы делаете, когда лень работать?
76 Zoya83 4027 11.6.2018, 15:43
автор: Lisel85
Открытая тема (нет новых ответов) Что не так с сайтом
15 bridge8 1156 6.6.2018, 13:45
автор: bridge8
Открытая тема (нет новых ответов) Что за подозрительные обратные ссылки?
появились какие то обрати странные
8 HavingingWorld 1759 6.6.2018, 0:08
автор: DOOM


 



RSS Текстовая версия Сейчас: 18.6.2018, 9:32
Дизайн