X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V  < 1 2
Открыть тему
Добавить ответ в эту тему
> Что делать если боты и поисковики грузят сервер?, Превышение нагрузки на сервер.
Live_and_Die
Live_and_Die
сообщение 13.2.2018, 19:27; Ответить: Live_and_Die
Сообщение #11


† Thℜash Met∀
******


Группа: Active User
Сообщений: 1304
Регистрация: 21.9.2009
Из: ΜAℜŠ
Поблагодарили: 1037 раз
Репутация:   146  


Может имелось ввиду обычный хостинг, а не сервер. Вариант 1 - переехать хотя бы на VPSку и по логам настроить защиту от всякой нечисти.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dreker
dreker
сообщение 15.2.2018, 18:48; Ответить: dreker
Сообщение #12


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 12.12.2012
Поблагодарили: 1 раз
Репутация:   1  


Live_and_Die,

какое это кол-во ботов должно заходить , чтоб сервер логал от поисковых ботов ? 0_о
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4ester7
4ester7
сообщение 6.3.2018, 23:49; Ответить: 4ester7
Сообщение #13


SEO-ломастер
******


Группа: Active User
Сообщений: 1671
Регистрация: 21.5.2009
Из: Кременчуг
Поблагодарили: 488 раз
Репутация:   108  


Цитата(dreker @ 15.2.2018, 17:48) *
какое это кол-во ботов должно заходить , чтоб сервер логал от поисковых ботов ? 0_о

Поверьте, такое реально) для многоязычных сайтов очень даже, там где гугл+яша+байду+бинг грузят 500к страниц.

Решение есть. В инструментах для веб-мастеров Яндекс, Гугла и Бинга можно ограничить скорость сканирования, а нечисть убирать в хтаксес, как коллеги по цеху подсказали ранее.

Сообщение отредактировал 4ester7 - 6.3.2018, 23:53


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
HavingingWorld
HavingingWorld
сообщение 7.3.2018, 17:45; Ответить: HavingingWorld
Сообщение #14


Частый гость
**

Группа: User
Сообщений: 86
Регистрация: 13.3.2017
Поблагодарили: 22 раза
Репутация:   4  


как поставить чтобы они один раз в день заходили, а то в яндексе на выбор до 30 запросов в секунду, куда столько? я контент раз в 2 дня закидываю
стоит конечно по выбору яндекса, но хз что он там выбирет
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
domenovo
domenovo
сообщение 8.3.2018, 19:28; Ответить: domenovo
Сообщение #15


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 15.12.2015
Поблагодарили: 2 раза
Репутация:   0  


HavingingWorld, можете поколдовать с robots.txt. Директивы подскажу. Crawl-delay для снижения скорости посещения страниц. Например: Crawl-delay: 10 ограничит посещение роботом 8640 страниц в день. Request-rate для определения количества документов, которые могут быть скачаны роботом за данный период времени. Например: Request-rate: 8640/1d сделает тоже самое. Для Яши посмотрите Crawl-delay и скорость обхода.


--------------------
domenovo.com - партнёр компании Reg.ru, выгодные цены.
Купить криптовалюту - за webmoney и не только.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
wtf_bro
wtf_bro
сообщение 2.4.2018, 22:37; Ответить: wtf_bro
Сообщение #16


Новичок
*

Группа: User
Сообщений: 18
Регистрация: 20.7.2015
Поблагодарили: 1 раз
Репутация:   0  


ТС, да спали ты уже этот хостинг или что у тебя там :xz:
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Paymaster
Paymaster
сообщение 27.6.2018, 14:49; Ответить: Paymaster
Сообщение #17


Новичок
*


Группа: User
Сообщений: 16
Регистрация: 21.6.2018
Поблагодарили: 1 раз
Репутация:   -1  


Купить защиту о ддоса, ну или сменить хостинг
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
driver
driver
сообщение 6.7.2018, 13:15; Ответить: driver
Сообщение #18


Новичок
*


Группа: User
Сообщений: 19
Регистрация: 27.12.2013
Поблагодарили: 3 раза
Репутация:   0  


закрывать в .htaccess левые, гугл, яндекс, бинг задавать время сканирования в панели вебмастеров
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V  < 1 2
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
3 чел. читают эту тему (гостей: 3, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) [Бесплатный тест] Airsocks. Инновационные мобильные 4G / LTE прокси. Забудь все что было раньше!
50 airsocks11 12816 Сегодня, 2:57
автор: airsocks11
Открытая тема (нет новых ответов) Американку в автосалоне заставили доказать, что она не робот
17 seostock 2119 Сегодня, 1:23
автор: Aziz
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыЧто вы делаете, когда лень работать?
89 Zoya83 4664 Сегодня, 1:21
автор: Aziz
Открытая тема (нет новых ответов) Что гарантирует WM BL > 100?
безопасно ли платить вперед человеку с таким уровнем?
22 coremission 1815 Вчера, 2:18
автор: Aziz
Открытая тема (нет новых ответов) Подскажите что значит при анализе сайта на пр су - "Яндекс считает домен тиц склеенным с ..."
3 natabuh 877 16.7.2018, 19:03
автор: x64


 



RSS Текстовая версия Сейчас: 20.7.2018, 20:41
Дизайн