Помощник
|
Скрипт массовой многопоточной прокси пинговалки, за чисто символическую стоимость |
Vladimir-AWM
|
Сообщение
#1
|
||
|
|
||
|
|||
Vladimir-AWM
|
Сообщение
#2
|
|
Добавил после выполнения скрипта ссылку "ПИНГАНУТЬ С ОШИБКОЙ СОЕДИНЕНИЯ".
-------------------- |
|
|
vawsan |
5.10.2012, 1:02;
Ответить: vawsan
Сообщение
#3
|
|
Вопрос - что происходит при неудачном соединении через прокси?
Потому как даже если я напарсю и прочекаю свежих прокси с минимальным пингом для моего домашнего ипа, половина из них влегкую сможет оказаться нерабочими для ипа хостинга из-за задержек, маршрута и прочего. Поэтому вопрос - есть ли перебор прокси(ну допустим попытка пингануть через 3-5 ипов и тогда уже при ошибке в неудачные слать, или к примеру, удаление неработающих прокси из списка, чтобы следующий урл не попал в неудачные по той же причине? Есть ли возможность тянуть прокси и пинг сервисы из файла или ставить их по умолчанию, чтобы не копипастить перед каждым пингованием? Возможно есть смысл прикрутить парсер прокси, то есть указываем в файлике пару сайтов с прокси, а он по регуляркам их парсит, чекает и только через проверенные уже пингует. И последний вопрос - сколько будет по времени пингование 5-6к ссылок с задержкой в пределах - 2-5 сек? Сообщение отредактировал vawsan - 5.10.2012, 1:04 -------------------- Даешь 50 руб --> получаешь 92 за пару минут! >Попробуй на ДЕМКЕ< |
|
|
Vladimir-AWM
|
Сообщение
#4
|
|
Добавил в скрипт грабер и проксичекер (скрин главной, скрин работы).
Для проксичекра отдельно выбирается таймаут, т.е. с хорошим инетом можно ставить 5 сек. Проверка идет путем открытия страницы ya.ru. Все прокси перед парсингом и проверкой (если стоит галочка "Парсить Proxy:") удаляются из базы и сохраняются свежие валидные напарсенные. В связи с эти нововведением, стоимость этого скрипта возрастает до 8$ или 240 рублей (кто купил скрипт ранее, вышлю обновление бесплатно). Старая версия скрипта остается по той же стоимости. Вопрос - что происходит при неудачном соединении через прокси? Потому как даже если я напарсю и прочекаю свежих прокси с минимальным пингом для моего домашнего ипа, половина из них влегкую сможет оказаться нерабочими для ипа хостинга из-за задержек, маршрута и прочего. Поэтому вопрос - есть ли перебор прокси(ну допустим попытка пингануть через 3-5 ипов и тогда уже при ошибке в неудачные слать, или к примеру, удаление неработающих прокси из списка, чтобы следующий урл не попал в неудачные по той же причине? Перебора проксей нет. Сделал это так: cписок не удачно пропингованных адресов (код ответа 0) в связи с плохой проксей, пинг сервисом или проблемами со связью сохраняются в файл ping-bad-connect.txt. После выполнения скрипта я добавил ссылку "ПИНГАНУТЬ С ОШИБКОЙ СОЕДИНЕНИЯ", при нажатии которой буду заново пинговаться то, что будет в файле ping-bad-connect.txt. Есть ли возможность тянуть прокси и пинг сервисы из файла или ставить их по умолчанию, чтобы не копипастить перед каждым пингованием? Абсолютно все данные в скрипте автоматически сохраняются в текстовых файлах после нажатии кнопки "Начать", а при загрузке формы данные так же вставляются из ранее сохраненных файлов. Так что копипастить ничего каждый раз не придется. Возможно есть смысл прикрутить парсер прокси, то есть указываем в файлике пару сайтов с прокси, а он по регуляркам их парсит, чекает и только через проверенные уже пингует. Сделано. И последний вопрос - сколько будет по времени пингование 5-6к ссылок с задержкой в пределах - 2-5 сек? Тут все зависит от заданных параметров, скорости интернета, проксей. -------------------- |
|
|
vawsan |
8.10.2012, 22:58;
Ответить: vawsan
Сообщение
#5
|
|
Приобрел скрипт, штука очень хорошая, правда хостинги ее жуют неочень. Но пробовал только на eurobite и бесплатных, даже если снять timelimit(0).
Пингует быстро, количество потоков рассчитывает самомстоятельно. Прокси из 628 штук начекал 278 рабочих за полминуты, мне кажется быстро, очень порадовал) Попробовал пингануть 570 урлов в 20 потоков с задержкой в 2 сек, получилось за 6 минут, потом нажатием 3 раза кнопки "Пингануть ошибочные повторно" довел все урлы до статуса - "Успешно". Ну минут 7-8 это заняло) Надо с потоками поэкспериментировать. Все это делалось на denwer. Теперь из пожеланий, косяков: на денвере кодировка криво пашет и пришлось в php файле изменить ее на windows-cp1251. Может сделать кнопочку переключения кодировки? не хватате кнопочки "Главная", чтобы пинганув одни урлы перейти к другим, приходится удалять дописавшиеся команды из адресной строки до полного начального пути скрипта при парсинге с денвера титлов пингуемых страниц они также были крякозябрамИ, пинганул в итоге без титлов - опять же кнопочка кодировки) В остальном приобретением крайне доволен, мне для моей деятельности такая штука очень нужна. Еще бы найти бесплатный хостинг для скрипта))) Рекомендую к покупке) -------------------- Даешь 50 руб --> получаешь 92 за пару минут! >Попробуй на ДЕМКЕ< |
|
|
Vladimir-AWM
|
Сообщение
#6
|
|
Приобрел скрипт, штука очень хорошая, правда хостинги ее жуют неочень. Но пробовал только на eurobite и бесплатных, даже если снять timelimit(0). Пингует быстро, количество потоков рассчитывает самомстоятельно. Прокси из 628 штук начекал 278 рабочих за полминуты, мне кажется быстро, очень порадовал) Попробовал пингануть 570 урлов в 20 потоков с задержкой в 2 сек, получилось за 6 минут, потом нажатием 3 раза кнопки "Пингануть ошибочные повторно" довел все урлы до статуса - "Успешно". Ну минут 7-8 это заняло) Надо с потоками поэкспериментировать. Все это делалось на denwer. Теперь из пожеланий, косяков: на денвере кодировка криво пашет и пришлось в php файле изменить ее на windows-cp1251. Может сделать кнопочку переключения кодировки? не хватате кнопочки "Главная", чтобы пинганув одни урлы перейти к другим, приходится удалять дописавшиеся команды из адресной строки до полного начального пути скрипта при парсинге с денвера титлов пингуемых страниц они также были крякозябрамИ, пинганул в итоге без титлов - опять же кнопочка кодировки) В остальном приобретением крайне доволен, мне для моей деятельности такая штука очень нужна. Еще бы найти бесплатный хостинг для скрипта))) Рекомендую к покупке) Прокси из 628 штук начекал 278 рабочих за полминуты, мне кажется быстро, очень порадовал) Нормальное значение, при проверке проксей в 20 потоков, устанавливать таймаут 5-10 секунд, т.к. при проверки скрипт через прокси открывает страницу ya.ru и ищет там определенный код, который и определяет работу прокси. Попробовал пингануть 570 урлов в 20 потоков с задержкой в 2 сек, получилось за 6 минут, потом нажатием 3 раза кнопки "Пингануть ошибочные повторно" довел все урлы до статуса - "Успешно". Ну минут 7-8 это заняло) Надо с потоками поэкспериментировать. Все это делалось на denwer. Таймаут, (как вы называете задержку) ставить желательно побольше, секунд 10-15 должно хватить (для 20 потоков). А вообще, необходимо все таймауты и кол-во потоков выбирать экспериментально в зависимости от скорости интернета. на денвере кодировка криво пашет и пришлось в php файле изменить ее на windows-cp1251. Странно очень. В скрипте стоит код: <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> Браузер должен понять что кодировка на странице уникод (именно в этой кодировке и написан скрипт), если он не понимает, то можно насильно установить что бы открывался в уникоде. не хватате кнопочки "Главная", чтобы пинганув одни урлы перейти к другим, приходится удалять дописавшиеся команды из адресной строки до полного начального пути скрипта Добавлю такую ссылку. при парсинге с денвера титлов пингуемых страниц они также были крякозябрамИ, пинганул в итоге без титлов - опять же кнопочка кодировки) Это все из-за того что скрипт работает в кодировке уникод (utf-8). У вас страница была открыта в 1251, на которой выводился текст в уникоде. На пинг сервисы текст отправлялся правильный, не крякозябрами. -------------------- |
|
|
Vladimir-AWM
|
Сообщение
#7
|
|
Очередное обновление (скриншот). Ранее скрипт смотрел ответ от сервера, если он 200, то пинг считался успешным. После проверки некоторых ответов от различных пинг сервисов, я обнаружил несколько различных ответов:
1 - ответ от сервера 200, но в теле документа ответа в виде xml нет (да и вообще ответа никакого нет, просто пусто), - такие ответы от серверов теперь сохраняются в файле ping-no-answer.txt, т.е. статус не понятен. 2 - ответ от сервера 200, но пинг не принят по какой-либо причине, считается плохим. Сейчас после пинга, все ответы от сервисов выводятся на экран, т.е. можно более четко определять прошел пинг или нет (хороший ответ - 200 - Thanks for the ping). И еще скажу что скрипт определяет ответы по установленному формату (weblogs.com/api.html), котрого некоторые пинг сервисы не хотят придерживаться. Все купившим ранее скрипт выслал обновление. -------------------- |
|
|
Rombi |
11.10.2012, 12:04;
Ответить: Rombi
Сообщение
#8
|
|
Приобрел данный скрипт. Поставил на локалку, новые доры пинговать буду)
Понравилось, что выводится подробная инфа о пингах, и можно пропинговать неудавшиеся еще раз. Через несколько минут после пинга, боты Гугла и Яху были на сайте (проверил по логам). Еще понравилось, что не надо самому проксики искать и чекать) Поставил и забыл на полчаса) -------------------- |
|
|
Lexium |
11.10.2012, 15:46;
Ответить: Lexium
Сообщение
#9
|
|
Странно очень. В скрипте стоит код UTF-8 На днях ставил свежий денвер, и на нем была та же проблема с кодировкой: упорно не желал понимать UTF-8. Видимо особенность сборки? Метатэги не спасали. Хотя бэкап сайта на Wordpress'е (в UTF-8) поднялся без проблем. Сообщение отредактировал Lexium - 11.10.2012, 15:47 -------------------- |
|
|
Vladimir-AWM
|
Сообщение
#10
|
|
На днях ставил свежий денвер, и на нем была та же проблема с кодировкой: упорно не желал понимать UTF-8. Видимо особенность сборки? Метатэги не спасали. Хотя бэкап сайта на Wordpress'е (в UTF-8) поднялся без проблем. Не знаю даже, похоже на то, т.к. пробывал скрипт на компе с Denwer'ом у друга, кодировку браузер не смог понять, пришлось принудительно ставить UTF-8. Пробывал скрипт на 2 хостингах и у себя (у меня стоит VertrigoServ.), проблем не было с кодировкой. Выход только принудительно ставить UTF-8. Возможно из-за того что кодировку скрипта UTF-8 без BOM, а надо просто UTF-8... -------------------- |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Продам скрипт rtb exchange suite - система перепродажи трафика dsp/ssp в реальном времени. | 5 | buypushplatform | 4302 | 23.4.2024, 21:02 автор: 100ftd |
|
PROXY-STORE.COM — ipV4 прокси от 42р В МЕСЯЦ с ротацией и без! Лучшая цена на рынке. 200+ стран | 21 | proxystore | 5347 | 19.4.2024, 12:02 автор: proxystore |
|
ProxyLab — Мобильные прокси. 1 порт в 1 руки! | 15 | ProxyLab | 4165 | 16.4.2024, 15:28 автор: ProxyLab |
|
PROXYWINS.com - Купить индивидуальные серверные прокси IPv4. Хороший ОПТ, ЛУЧШАЯ ЦЕНА - ПРОМОКОД ВНУТРИ |
52 | ProxyWins | 26511 | 15.4.2024, 10:01 автор: ProxyWins |
|
Лучшие резидентские прокси для вебмастеров Asocks.com | 8 | Asocks | 3747 | 4.4.2024, 16:15 автор: Asocks |
Текстовая версия | Сейчас: 25.4.2024, 3:49 |