X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Держу ботов под контролем
k0ttee
k0ttee
Topic Starter сообщение 27.9.2014, 14:43; Ответить: k0ttee
Сообщение #1


Под первичную индексацию юзаю такой код, чтоб узнать когда заходит бот.
<?php
$who=$_SERVER['HTTP_USER_AGENT']; //юзер-агент в переменную
$who=strtolower($who); //потом в нижний регистр
file_put_contents('who.txt',PHP_EOL.$who,FILE_APPEND); //дописываем в конец файла
?>

У меня статичный IP, так что против записи моих входов фильтрую по IP. Себя мне записывать смысла нет.

Смотрю в файлик с заходившими юзер-агентами...
#яндекс
mozilla/5.0 (compatible; yandexbot/3.0; +http://yandex.com/bots)
#кто-то из них linkfeed
mozilla/5.0 (compatible; msie 9.0; windows nt 7.1; trident/5.0)
mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; .net clr 1.1.4322)
mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; sv1; gtb6; mra 5.3 (build 02557); mrsputnik 2, 0, 1, 54 sw; simbar={0011da57-f86d-11dd-ad76-0004617e6e46})
mozilla/4.0 (compatible; msie 7.0; windows nt 5.1; mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; sv1); ms internet explorer; fdm)
mozilla/5.0 (compatible; msie 9.0; windows nt 6.1; wow64; trident/5.0; boie9;ruru)
mozilla/4.0 (compatible; msie 7.0; windows nt 5.1; mra 5.2 (build 02405); mrsputnik 2, 0, 1, 31 sw; infopath.2; .net clr 2.0.50727; .net clr 1.0.3705)
mozilla/5.0 (compatible; msie 10.0; windows nt 6.1; wow64; trident/7.0)
mozilla/5.0 (compatible; msie 10.0; windows nt 6.1; wow64; trident/6.0; touch; masmjs)
mozilla/4.0 (compatible; msie 8.0; windows nt 5.1; trident/4.0; infopath.1; .net clr 2.0.50727; .net clr 3.0.4506.2152; .net clr 3.5.30729)
mozilla/5.0 (compatible; msie 10.0; windows nt 6.2; trident/6.0; touch; malnjs)


...И думаю, а не выпилить ли всякие bing, rambler, апорт и прочее ненужное?
На VDS'ничке ограничен траф (100гб/мес) которого хватает. Но всякая ненужность под ногами путается и засоряет логи...

Для своего двига напишу "контроллер ботов", чтоб не пускать "ненужных".
Если кому интересно, могу выпустить отдельный скрипт, подходящий для любых cms.


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Foxi_rs
Foxi_rs
сообщение 27.9.2014, 23:51; Ответить: Foxi_rs
Сообщение #2


Да надо банить ненужных ботов. я так нагрузку снижал до 90% (правда список ненужных ботов можно увеличивать)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
reds
reds
сообщение 29.9.2014, 10:38; Ответить: reds
Сообщение #3


Мне бот Custo сильно нагружал сайт, делая миллион запросов в месяц при том, что на весь сайт было около 5 миллионов, прожорливый такой ненужный бот. Отрезал его через htaccess, а с другими разбираться как-то не хотелось, нагрузку снизил.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
airman
airman
сообщение 29.9.2014, 13:34; Ответить: airman
Сообщение #4


(reds)
бот Custo

а че за бот? откуда ноги растут?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
reds
reds
сообщение 29.9.2014, 14:06; Ответить: reds
Сообщение #5


Я не нашел внятных ответов, просто нашел информацию о том как его заблокировать и использовал.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
сообщение 29.9.2014, 16:29; Ответить: prolisk
Сообщение #6


reds, так это от какого-то левого поисковика? Или роботы Яши/Гугла с новыми фильтрами?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
donstepka
donstepka
сообщение 29.9.2014, 17:13; Ответить: donstepka
Сообщение #7


(k0ttee)
Если кому интересно, могу выпустить отдельный скрипт, подходящий для любых cms.


Интересно, данный скрипт пригодился бы в работе.
Пока поправил файлики по методике foxi.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) SEO Линк Билдинг под Бурж | Вечные ссылки США, Европа и Мир с Гарантией
18 Needmylink1 6545 25.3.2024, 20:51
автор: Needmylink1
Горячая тема (нет новых ответов) Hyper.hosting - сервера под любые задачи [разрешены dmca, гэмблинг, адалт и пр.]
Лучшие сервера по доступной цене
30 Hyper_Hosting 8599 22.3.2024, 15:34
автор: Hyper_Hosting
Открытая тема (нет новых ответов) 📌 Telegram Prime - софт для автоматизации telegram разработанный специально под задачи бизнеса
🏆 Единственный комбайн для популяризации вашей компании в теле
14 leviathan 3272 21.3.2024, 18:54
автор: leviathan
Открытая тема (нет новых ответов) HideHost.net - Виртуальные и выделенные сервера под любые Ваши проекты с индивидуальным подходом.
Работаем уже более 12 лет
6 HIDEHOST 2313 21.3.2024, 13:33
автор: Tihohodka
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыSEO-продвижение USA, Europe, Asia под ключ | Dating, Gambling, Essay и 10+ ниш
1 Needmylink1 661 17.3.2024, 12:58
автор: Needmylink1


 



RSS Текстовая версия Сейчас: 29.3.2024, 10:52
Дизайн