Помощник
 |
Сообщение сайта
|
 Скрипт массовой многопоточной прокси пинговалки, за чисто символическую стоимость |
Vladimir-AWM
|
Сообщение
#1
|
||
 Участник  Группа: User Сообщений: 243 Регистрация: 7.2.2010 Из: Челябинск Поблагодарили: 62 раза Репутация:  16 
 |
|
||
 |
|
||
|
Vladimir-AWM
|
Сообщение
#2
|
|
Участник Группа: User Сообщений: 243 Регистрация: 7.2.2010 Из: Челябинск Поблагодарили: 62 раза Репутация: 16
|
Добавил после выполнения скрипта ссылку "ПИНГАНУТЬ С ОШИБКОЙ СОЕДИНЕНИЯ".
-------------------- |
|
|
|
|
vawsan
|
 5.10.2012, 1:02;
Ответить: vawsan
Сообщение
#3
|
 Trade the Forex! Группа: Active User Сообщений: 951 Регистрация: 20.10.2011 Из: Москва Поблагодарили: 371 раз Репутация: 54
|
Вопрос - что происходит при неудачном соединении через прокси?
Потому как даже если я напарсю и прочекаю свежих прокси с минимальным пингом для моего домашнего ипа, половина из них влегкую сможет оказаться нерабочими для ипа хостинга из-за задержек, маршрута и прочего. Поэтому вопрос - есть ли перебор прокси(ну допустим попытка пингануть через 3-5 ипов и тогда уже при ошибке в неудачные слать, или к примеру, удаление неработающих прокси из списка, чтобы следующий урл не попал в неудачные по той же причине? Есть ли возможность тянуть прокси и пинг сервисы из файла или ставить их по умолчанию, чтобы не копипастить перед каждым пингованием? Возможно есть смысл прикрутить парсер прокси, то есть указываем в файлике пару сайтов с прокси, а он по регуляркам их парсит, чекает и только через проверенные уже пингует. И последний вопрос - сколько будет по времени пингование 5-6к ссылок с задержкой в пределах - 2-5 сек? Сообщение отредактировал vawsan - 5.10.2012, 1:04 -------------------- |
|
|
|
|
Vladimir-AWM
|
Сообщение
#4
|
|
Участник Группа: User Сообщений: 243 Регистрация: 7.2.2010 Из: Челябинск Поблагодарили: 62 раза Репутация: 16
|
Добавил в скрипт грабер и проксичекер (скрин главной, скрин работы).
Для проксичекра отдельно выбирается таймаут, т.е. с хорошим инетом можно ставить 5 сек. Проверка идет путем открытия страницы ya.ru. Все прокси перед парсингом и проверкой (если стоит галочка "Парсить Proxy:") удаляются из базы и сохраняются свежие валидные напарсенные. В связи с эти нововведением, стоимость этого скрипта возрастает до 8$ или 240 рублей (кто купил скрипт ранее, вышлю обновление бесплатно). Старая версия скрипта остается по той же стоимости. (vawsan @ 5.10.2012, 0:02)  Вопрос - что происходит при неудачном соединении через прокси? Потому как даже если я напарсю и прочекаю свежих прокси с минимальным пингом для моего домашнего ипа, половина из них влегкую сможет оказаться нерабочими для ипа хостинга из-за задержек, маршрута и прочего. Поэтому вопрос - есть ли перебор прокси(ну допустим попытка пингануть через 3-5 ипов и тогда уже при ошибке в неудачные слать, или к примеру, удаление неработающих прокси из списка, чтобы следующий урл не попал в неудачные по той же причине? Перебора проксей нет. Сделал это так: cписок не удачно пропингованных адресов (код ответа 0) в связи с плохой проксей, пинг сервисом или проблемами со связью сохраняются в файл ping-bad-connect.txt. После выполнения скрипта я добавил ссылку "ПИНГАНУТЬ С ОШИБКОЙ СОЕДИНЕНИЯ", при нажатии которой буду заново пинговаться то, что будет в файле ping-bad-connect.txt. (vawsan @ 5.10.2012, 0:02) Есть ли возможность тянуть прокси и пинг сервисы из файла или ставить их по умолчанию, чтобы не копипастить перед каждым пингованием? Абсолютно все данные в скрипте автоматически сохраняются в текстовых файлах после нажатии кнопки "Начать", а при загрузке формы данные так же вставляются из ранее сохраненных файлов. Так что копипастить ничего каждый раз не придется. (vawsan @ 5.10.2012, 0:02) Возможно есть смысл прикрутить парсер прокси, то есть указываем в файлике пару сайтов с прокси, а он по регуляркам их парсит, чекает и только через проверенные уже пингует. Сделано. (vawsan @ 5.10.2012, 0:02) И последний вопрос - сколько будет по времени пингование 5-6к ссылок с задержкой в пределах - 2-5 сек? Тут все зависит от заданных параметров, скорости интернета, проксей. -------------------- |
|
|
|
|
vawsan
|
8.10.2012, 22:58;
Ответить: vawsan
Сообщение
#5
|
|
Trade the Forex! Группа: Active User Сообщений: 951 Регистрация: 20.10.2011 Из: Москва Поблагодарили: 371 раз Репутация: 54
|
Приобрел скрипт, штука очень хорошая, правда хостинги ее жуют неочень. Но пробовал только на eurobite и бесплатных, даже если снять timelimit(0).
Пингует быстро, количество потоков рассчитывает самомстоятельно. Прокси из 628 штук начекал 278 рабочих за полминуты, мне кажется быстро, очень порадовал) Попробовал пингануть 570 урлов в 20 потоков с задержкой в 2 сек, получилось за 6 минут, потом нажатием 3 раза кнопки "Пингануть ошибочные повторно" довел все урлы до статуса - "Успешно". Ну минут 7-8 это заняло) Надо с потоками поэкспериментировать. Все это делалось на denwer. Теперь из пожеланий, косяков: на денвере кодировка криво пашет и пришлось в php файле изменить ее на windows-cp1251. Может сделать кнопочку переключения кодировки? не хватате кнопочки "Главная", чтобы пинганув одни урлы перейти к другим, приходится удалять дописавшиеся команды из адресной строки до полного начального пути скрипта при парсинге с денвера титлов пингуемых страниц они также были крякозябрамИ, пинганул в итоге без титлов - опять же кнопочка кодировки) В остальном приобретением крайне доволен, мне для моей деятельности такая штука очень нужна. Еще бы найти бесплатный хостинг для скрипта))) Рекомендую к покупке) -------------------- |
|
|
|
|
Vladimir-AWM
|
Сообщение
#6
|
|
Участник Группа: User Сообщений: 243 Регистрация: 7.2.2010 Из: Челябинск Поблагодарили: 62 раза Репутация: 16
|
(vawsan @ 8.10.2012, 21:58) Приобрел скрипт, штука очень хорошая, правда хостинги ее жуют неочень. Но пробовал только на eurobite и бесплатных, даже если снять timelimit(0). Пингует быстро, количество потоков рассчитывает самомстоятельно. Прокси из 628 штук начекал 278 рабочих за полминуты, мне кажется быстро, очень порадовал) Попробовал пингануть 570 урлов в 20 потоков с задержкой в 2 сек, получилось за 6 минут, потом нажатием 3 раза кнопки "Пингануть ошибочные повторно" довел все урлы до статуса - "Успешно". Ну минут 7-8 это заняло) Надо с потоками поэкспериментировать. Все это делалось на denwer. Теперь из пожеланий, косяков: на денвере кодировка криво пашет и пришлось в php файле изменить ее на windows-cp1251. Может сделать кнопочку переключения кодировки? не хватате кнопочки "Главная", чтобы пинганув одни урлы перейти к другим, приходится удалять дописавшиеся команды из адресной строки до полного начального пути скрипта при парсинге с денвера титлов пингуемых страниц они также были крякозябрамИ, пинганул в итоге без титлов - опять же кнопочка кодировки) В остальном приобретением крайне доволен, мне для моей деятельности такая штука очень нужна. Еще бы найти бесплатный хостинг для скрипта))) Рекомендую к покупке) (vawsan @ 8.10.2012, 21:58) Прокси из 628 штук начекал 278 рабочих за полминуты, мне кажется быстро, очень порадовал) Нормальное значение, при проверке проксей в 20 потоков, устанавливать таймаут 5-10 секунд, т.к. при проверки скрипт через прокси открывает страницу ya.ru и ищет там определенный код, который и определяет работу прокси. (vawsan @ 8.10.2012, 21:58) Попробовал пингануть 570 урлов в 20 потоков с задержкой в 2 сек, получилось за 6 минут, потом нажатием 3 раза кнопки "Пингануть ошибочные повторно" довел все урлы до статуса - "Успешно". Ну минут 7-8 это заняло) Надо с потоками поэкспериментировать. Все это делалось на denwer. Таймаут, (как вы называете задержку) ставить желательно побольше, секунд 10-15 должно хватить (для 20 потоков). А вообще, необходимо все таймауты и кол-во потоков выбирать экспериментально в зависимости от скорости интернета. (vawsan @ 8.10.2012, 21:58) на денвере кодировка криво пашет и пришлось в php файле изменить ее на windows-cp1251. Странно очень. В скрипте стоит код: <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> Браузер должен понять что кодировка на странице уникод (именно в этой кодировке и написан скрипт), если он не понимает, то можно насильно установить что бы открывался в уникоде. (vawsan @ 8.10.2012, 21:58) не хватате кнопочки "Главная", чтобы пинганув одни урлы перейти к другим, приходится удалять дописавшиеся команды из адресной строки до полного начального пути скрипта Добавлю такую ссылку. (vawsan @ 8.10.2012, 21:58) при парсинге с денвера титлов пингуемых страниц они также были крякозябрамИ, пинганул в итоге без титлов - опять же кнопочка кодировки) Это все из-за того что скрипт работает в кодировке уникод (utf-8). У вас страница была открыта в 1251, на которой выводился текст в уникоде. На пинг сервисы текст отправлялся правильный, не крякозябрами. -------------------- |
|
|
|
|
Vladimir-AWM
|
Сообщение
#7
|
|
Участник Группа: User Сообщений: 243 Регистрация: 7.2.2010 Из: Челябинск Поблагодарили: 62 раза Репутация: 16
|
Очередное обновление (скриншот). Ранее скрипт смотрел ответ от сервера, если он 200, то пинг считался успешным. После проверки некоторых ответов от различных пинг сервисов, я обнаружил несколько различных ответов:
1 - ответ от сервера 200, но в теле документа ответа в виде xml нет (да и вообще ответа никакого нет, просто пусто), - такие ответы от серверов теперь сохраняются в файле ping-no-answer.txt, т.е. статус не понятен. 2 - ответ от сервера 200, но пинг не принят по какой-либо причине, считается плохим. Сейчас после пинга, все ответы от сервисов выводятся на экран, т.е. можно более четко определять прошел пинг или нет (хороший ответ - 200 - Thanks for the ping). И еще скажу что скрипт определяет ответы по установленному формату (weblogs.com/api.html), котрого некоторые пинг сервисы не хотят придерживаться. Все купившим ранее скрипт выслал обновление. -------------------- |
|
|
|
|
Rombi
|
11.10.2012, 12:04;
Ответить: Rombi
Сообщение
#8
|
 3TAJIOH Группа: Active User Сообщений: 1042 Регистрация: 14.6.2010 Из: Самара Поблагодарили: 244 раза Репутация: 45
|
Приобрел данный скрипт. Поставил на локалку, новые доры пинговать буду)
Понравилось, что выводится подробная инфа о пингах, и можно пропинговать неудавшиеся еще раз. Через несколько минут после пинга, боты Гугла и Яху были на сайте (проверил по логам). Еще понравилось, что не надо самому проксики искать и чекать) Поставил и забыл на полчаса) -------------------- |
|
|
|
|
Lexium
|
11.10.2012, 15:46;
Ответить: Lexium
Сообщение
#9
|
 Участник Группа: User Сообщений: 222 Регистрация: 11.1.2012 Из: Санкт-Петербург Поблагодарили: 48 раз Репутация: 4
|
(Vladimir-AWM @ 9.10.2012, 6:51) Странно очень. В скрипте стоит код UTF-8 На днях ставил свежий денвер, и на нем была та же проблема с кодировкой: упорно не желал понимать UTF-8. Видимо особенность сборки? Метатэги не спасали. Хотя бэкап сайта на Wordpress'е (в UTF-8) поднялся без проблем. Сообщение отредактировал Lexium - 11.10.2012, 15:47 -------------------- |
|
|
|
|
Vladimir-AWM
|
Сообщение
#10
|
|
Участник Группа: User Сообщений: 243 Регистрация: 7.2.2010 Из: Челябинск Поблагодарили: 62 раза Репутация: 16
|
(Lexium @ 11.10.2012, 14:46) На днях ставил свежий денвер, и на нем была та же проблема с кодировкой: упорно не желал понимать UTF-8. Видимо особенность сборки? Метатэги не спасали. Хотя бэкап сайта на Wordpress'е (в UTF-8) поднялся без проблем. Не знаю даже, похоже на то, т.к. пробывал скрипт на компе с Denwer'ом у друга, кодировку браузер не смог понять, пришлось принудительно ставить UTF-8. Пробывал скрипт на 2 хостингах и у себя (у меня стоит VertrigoServ.), проблем не было с кодировкой. Выход только принудительно ставить UTF-8. Возможно из-за того что кодировку скрипта UTF-8 без BOM, а надо просто UTF-8... -------------------- |
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
 PROXYWINS.com - Купить индивидуальные серверные прокси IPv4.Хороший ОПТ, ЛУЧШАЯ ЦЕНА - ПРОМОКОД ВНУТРИ |
52 | ProxyWins | 26435 | Вчера, 10:01 автор: ProxyWins |
 |
PROXY-STORE.COM — ipV4 прокси от 42р В МЕСЯЦ с ротацией и без! Лучшая цена на рынке. 200+ стран | 20 | proxystore | 5152 | 11.4.2024, 21:00 автор: proxystore |
|
ProxyLab — Мобильные прокси. 1 порт в 1 руки! | 14 | ProxyLab | 4027 | 6.4.2024, 12:29 автор: ProxyLab |
|
Лучшие резидентские прокси для вебмастеров Asocks.com | 8 | Asocks | 3733 | 4.4.2024, 16:15 автор: Asocks |
|
IPgate - мобильные, резидентные, 100% чистые прокси с ротацией, полученные этическим способом | 8 | IPgate | 2743 | 22.3.2024, 16:39 автор: IPgate |
|
Текстовая версия | Сейчас: 16.4.2024, 11:01 |
