X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Скрипт массовой многопоточной прокси пинговалки, за чисто символическую стоимость
Vladimir-AWM
Vladimir-AWM
Topic Starter сообщение 3.10.2012, 13:33; Ответить: Vladimir-AWM
Сообщение #1


Участник
***

Группа: User
Сообщений: 236
Регистрация: 7.2.2010
Из: Челябинск
Поблагодарили: 62 раза
Репутация:   16  


Доброго времени суток. Хочу представить свой скрипт массовой многопоточной прокси пинговалки.

Давно задумывался как реагируют пинг сервисы (особенно сервисы ПС Яндекса и Гугла) когда им шлют подряд много адресов с одного IP. Я может и параноик, но думаю лучше перестраховаться и пинговать через прокси (так же я поступаю при добавление в AddURL ПС).

Решил поискать готовые решения, которые работают через прокси, но найти не смог, вот и появилась идея написать самому такой многофункциональный скрипт.

Работа со скриптом (в настройке не нуждается):


(зеркало)


  • Список адресов для пинга, - без комментариев, каждый новый с новой строки.
  • Список пинг сервисов, - без комментариев, каждый новый с новой строки.
  • HTTP прокси, - вводятся в формате IP:Port или Login:Password@IP:Port, если требует авторизации, каждая новая прокси с новой строки. Выборка скриптом прокси для каждого сайта (не потока) происходит рандомно (случайно).
  • Потоки, - количество потоков.
  • Таймаут, - таймаут для 1 потока.
  • Парсить Title, - при указании парсить Title, скрипт пройдет по всем сайтам и соберет значения между тегами title (<title></title>), если значение не будет получено, в качестве него будет указан URL сайта. Если же флажок не установлен, то в качестве Title используется URL адрес который будет пинговаться. Сбор Title происходит так же многопоточно и без использования проксей (для укорения работы).


Результат работы скрипта можно смотреть в реальном времени.


(зеркало)


После выполнения, отчет сохраняется в файлах (формат - URL|Ping Server|Title):

  • ping-good.txt - список удачно пропингованных адресов.
  • ping-bad.txt - список не удачно пропингованных адресов.
  • ping-bad-connect.txt - список не удачно пропингованных адресов в связи с плохой проксей, пинг сервисом или проблемами со связью.


Предупреждение: на большем количестве хостингов стоит лимит на время выполнения скриптов в 30 секунд. В моем скрипте хоть и установлено set_time_limit(0);, которое должно убирать этот лимит, но эту директиву понимают не все хостинги. Если ваш хостинг ее не понимает, то скрипт просто не успеет выполниться при задании большого количества сайтов для пинга, пинг сервисов, либо же из-за некачественных проксей. По этому желательно использовать скрипт на локальном веб сервере.

Поддержка: Помощь, при возникновении каких-либо проблем или вопросов окажу бесплатно. Обо всех багах или предложениях, пишем в топике.

Большая просьба: не перепродавать (был уже такой опыт со скриптом парсинга свободных доменов ЖЖ с ТИЦем)! Уважайте труд и время других людей.

Стоимость: цена скрипта чисто символическая и составляет 5 WMZ или 150 WMR. За покупкой обращаться в ЛС или асю.


--------------------


Поблагодарили: (1)
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Vladimir-AWM
Vladimir-AWM
Topic Starter сообщение 4.10.2012, 16:27; Ответить: Vladimir-AWM
Сообщение #2


Участник
***

Группа: User
Сообщений: 236
Регистрация: 7.2.2010
Из: Челябинск
Поблагодарили: 62 раза
Репутация:   16  


Добавил после выполнения скрипта ссылку "ПИНГАНУТЬ С ОШИБКОЙ СОЕДИНЕНИЯ".


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
vawsan
vawsan
сообщение 5.10.2012, 1:02; Ответить: vawsan
Сообщение #3


Trade the Forex!
*****

Группа: Active User
Сообщений: 951
Регистрация: 20.10.2011
Из: Москва
Поблагодарили: 370 раз
Репутация:   54  


Вопрос - что происходит при неудачном соединении через прокси?
Потому как даже если я напарсю и прочекаю свежих прокси с минимальным пингом для моего домашнего ипа, половина из них влегкую сможет оказаться нерабочими для ипа хостинга из-за задержек, маршрута и прочего.
Поэтому вопрос - есть ли перебор прокси(ну допустим попытка пингануть через 3-5 ипов и тогда уже при ошибке в неудачные слать, или к примеру, удаление неработающих прокси из списка, чтобы следующий урл не попал в неудачные по той же причине?
Есть ли возможность тянуть прокси и пинг сервисы из файла или ставить их по умолчанию, чтобы не копипастить перед каждым пингованием?
Возможно есть смысл прикрутить парсер прокси, то есть указываем в файлике пару сайтов с прокси, а он по регуляркам их парсит, чекает и только через проверенные уже пингует.
И последний вопрос - сколько будет по времени пингование 5-6к ссылок с задержкой в пределах - 2-5 сек?

Сообщение отредактировал vawsan - 5.10.2012, 1:04


--------------------
>> Пока что лучшие VPS << Скидка 5%: A258EX0

Даешь 50 руб --> получаешь 92 за пару минут! >Попробуй на ДЕМКЕ<
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Vladimir-AWM
Vladimir-AWM
Topic Starter сообщение 5.10.2012, 12:32; Ответить: Vladimir-AWM
Сообщение #4


Участник
***

Группа: User
Сообщений: 236
Регистрация: 7.2.2010
Из: Челябинск
Поблагодарили: 62 раза
Репутация:   16  


Добавил в скрипт грабер и проксичекер (скрин главной, скрин работы).

Для проксичекра отдельно выбирается таймаут, т.е. с хорошим инетом можно ставить 5 сек. Проверка идет путем открытия страницы ya.ru.

Все прокси перед парсингом и проверкой (если стоит галочка "Парсить Proxy:") удаляются из базы и сохраняются свежие валидные напарсенные.

В связи с эти нововведением, стоимость этого скрипта возрастает до 8$ или 240 рублей (кто купил скрипт ранее, вышлю обновление бесплатно). Старая версия скрипта остается по той же стоимости.

(vawsan @ 5.10.2012, 0:02) *
Вопрос - что происходит при неудачном соединении через прокси?
Потому как даже если я напарсю и прочекаю свежих прокси с минимальным пингом для моего домашнего ипа, половина из них влегкую сможет оказаться нерабочими для ипа хостинга из-за задержек, маршрута и прочего.
Поэтому вопрос - есть ли перебор прокси(ну допустим попытка пингануть через 3-5 ипов и тогда уже при ошибке в неудачные слать, или к примеру, удаление неработающих прокси из списка, чтобы следующий урл не попал в неудачные по той же причине?


Перебора проксей нет. Сделал это так: cписок не удачно пропингованных адресов (код ответа 0) в связи с плохой проксей, пинг сервисом или проблемами со связью сохраняются в файл ping-bad-connect.txt. После выполнения скрипта я добавил ссылку "ПИНГАНУТЬ С ОШИБКОЙ СОЕДИНЕНИЯ", при нажатии которой буду заново пинговаться то, что будет в файле ping-bad-connect.txt.

(vawsan @ 5.10.2012, 0:02) *
Есть ли возможность тянуть прокси и пинг сервисы из файла или ставить их по умолчанию, чтобы не копипастить перед каждым пингованием?

Абсолютно все данные в скрипте автоматически сохраняются в текстовых файлах после нажатии кнопки "Начать", а при загрузке формы данные так же вставляются из ранее сохраненных файлов. Так что копипастить ничего каждый раз не придется.

(vawsan @ 5.10.2012, 0:02) *
Возможно есть смысл прикрутить парсер прокси, то есть указываем в файлике пару сайтов с прокси, а он по регуляркам их парсит, чекает и только через проверенные уже пингует.

Сделано.


(vawsan @ 5.10.2012, 0:02) *
И последний вопрос - сколько будет по времени пингование 5-6к ссылок с задержкой в пределах - 2-5 сек?


Тут все зависит от заданных параметров, скорости интернета, проксей.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
vawsan
vawsan
сообщение 8.10.2012, 22:58; Ответить: vawsan
Сообщение #5


Trade the Forex!
*****

Группа: Active User
Сообщений: 951
Регистрация: 20.10.2011
Из: Москва
Поблагодарили: 370 раз
Репутация:   54  


Приобрел скрипт, штука очень хорошая, правда хостинги ее жуют неочень. Но пробовал только на eurobite и бесплатных, даже если снять timelimit(0).
Пингует быстро, количество потоков рассчитывает самомстоятельно.
Прокси из 628 штук начекал 278 рабочих за полминуты, мне кажется быстро, очень порадовал)
Попробовал пингануть 570 урлов в 20 потоков с задержкой в 2 сек, получилось за 6 минут, потом нажатием 3 раза кнопки "Пингануть ошибочные повторно" довел все урлы до статуса - "Успешно". Ну минут 7-8 это заняло) Надо с потоками поэкспериментировать.
Все это делалось на denwer.

Теперь из пожеланий, косяков:
на денвере кодировка криво пашет и пришлось в php файле изменить ее на windows-cp1251. Может сделать кнопочку переключения кодировки?
не хватате кнопочки "Главная", чтобы пинганув одни урлы перейти к другим, приходится удалять дописавшиеся команды из адресной строки до полного начального пути скрипта
при парсинге с денвера титлов пингуемых страниц они также были крякозябрамИ, пинганул в итоге без титлов - опять же кнопочка кодировки)

В остальном приобретением крайне доволен, мне для моей деятельности такая штука очень нужна. Еще бы найти бесплатный хостинг для скрипта)))
Рекомендую к покупке)


--------------------
>> Пока что лучшие VPS << Скидка 5%: A258EX0

Даешь 50 руб --> получаешь 92 за пару минут! >Попробуй на ДЕМКЕ<


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Vladimir-AWM
Vladimir-AWM
Topic Starter сообщение 9.10.2012, 7:51; Ответить: Vladimir-AWM
Сообщение #6


Участник
***

Группа: User
Сообщений: 236
Регистрация: 7.2.2010
Из: Челябинск
Поблагодарили: 62 раза
Репутация:   16  


(vawsan @ 8.10.2012, 21:58) *
Приобрел скрипт, штука очень хорошая, правда хостинги ее жуют неочень. Но пробовал только на eurobite и бесплатных, даже если снять timelimit(0).
Пингует быстро, количество потоков рассчитывает самомстоятельно.
Прокси из 628 штук начекал 278 рабочих за полминуты, мне кажется быстро, очень порадовал)
Попробовал пингануть 570 урлов в 20 потоков с задержкой в 2 сек, получилось за 6 минут, потом нажатием 3 раза кнопки "Пингануть ошибочные повторно" довел все урлы до статуса - "Успешно". Ну минут 7-8 это заняло) Надо с потоками поэкспериментировать.
Все это делалось на denwer.

Теперь из пожеланий, косяков:
на денвере кодировка криво пашет и пришлось в php файле изменить ее на windows-cp1251. Может сделать кнопочку переключения кодировки?
не хватате кнопочки "Главная", чтобы пинганув одни урлы перейти к другим, приходится удалять дописавшиеся команды из адресной строки до полного начального пути скрипта
при парсинге с денвера титлов пингуемых страниц они также были крякозябрамИ, пинганул в итоге без титлов - опять же кнопочка кодировки)

В остальном приобретением крайне доволен, мне для моей деятельности такая штука очень нужна. Еще бы найти бесплатный хостинг для скрипта)))
Рекомендую к покупке)


(vawsan @ 8.10.2012, 21:58) *
Прокси из 628 штук начекал 278 рабочих за полминуты, мне кажется быстро, очень порадовал)


Нормальное значение, при проверке проксей в 20 потоков, устанавливать таймаут 5-10 секунд, т.к. при проверки скрипт через прокси открывает страницу ya.ru и ищет там определенный код, который и определяет работу прокси.

(vawsan @ 8.10.2012, 21:58) *
Попробовал пингануть 570 урлов в 20 потоков с задержкой в 2 сек, получилось за 6 минут, потом нажатием 3 раза кнопки "Пингануть ошибочные повторно" довел все урлы до статуса - "Успешно". Ну минут 7-8 это заняло) Надо с потоками поэкспериментировать.
Все это делалось на denwer.


Таймаут, (как вы называете задержку) ставить желательно побольше, секунд 10-15 должно хватить (для 20 потоков).

А вообще, необходимо все таймауты и кол-во потоков выбирать экспериментально в зависимости от скорости интернета.

(vawsan @ 8.10.2012, 21:58) *
на денвере кодировка криво пашет и пришлось в php файле изменить ее на windows-cp1251.


Странно очень. В скрипте стоит код:

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />


Браузер должен понять что кодировка на странице уникод (именно в этой кодировке и написан скрипт), если он не понимает, то можно насильно установить что бы открывался в уникоде.

(vawsan @ 8.10.2012, 21:58) *
не хватате кнопочки "Главная", чтобы пинганув одни урлы перейти к другим, приходится удалять дописавшиеся команды из адресной строки до полного начального пути скрипта


Добавлю такую ссылку.

(vawsan @ 8.10.2012, 21:58) *
при парсинге с денвера титлов пингуемых страниц они также были крякозябрамИ, пинганул в итоге без титлов - опять же кнопочка кодировки)


Это все из-за того что скрипт работает в кодировке уникод (utf-8). У вас страница была открыта в 1251, на которой выводился текст в уникоде. На пинг сервисы текст отправлялся правильный, не крякозябрами.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Vladimir-AWM
Vladimir-AWM
Topic Starter сообщение 10.10.2012, 12:46; Ответить: Vladimir-AWM
Сообщение #7


Участник
***

Группа: User
Сообщений: 236
Регистрация: 7.2.2010
Из: Челябинск
Поблагодарили: 62 раза
Репутация:   16  


Очередное обновление (скриншот). Ранее скрипт смотрел ответ от сервера, если он 200, то пинг считался успешным. После проверки некоторых ответов от различных пинг сервисов, я обнаружил несколько различных ответов:

1 - ответ от сервера 200, но в теле документа ответа в виде xml нет (да и вообще ответа никакого нет, просто пусто), - такие ответы от серверов теперь сохраняются в файле ping-no-answer.txt, т.е. статус не понятен.
2 - ответ от сервера 200, но пинг не принят по какой-либо причине, считается плохим.

Сейчас после пинга, все ответы от сервисов выводятся на экран, т.е. можно более четко определять прошел пинг или нет (хороший ответ - 200 - Thanks for the ping). И еще скажу что скрипт определяет ответы по установленному формату (weblogs.com/api.html), котрого некоторые пинг сервисы не хотят придерживаться.

Все купившим ранее скрипт выслал обновление.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rombi
Rombi
сообщение 11.10.2012, 12:04; Ответить: Rombi
Сообщение #8


3TAJIOH
******

Группа: Active User
Сообщений: 1042
Регистрация: 14.6.2010
Из: Самара
Поблагодарили: 244 раза
Репутация:   45  


Приобрел данный скрипт. Поставил на локалку, новые доры пинговать буду)
Понравилось, что выводится подробная инфа о пингах, и можно пропинговать неудавшиеся еще раз.
Через несколько минут после пинга, боты Гугла и Яху были на сайте (проверил по логам).
Еще понравилось, что не надо самому проксики искать и чекать) Поставил и забыл на полчаса)


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Lexium
Lexium
сообщение 11.10.2012, 15:46; Ответить: Lexium
Сообщение #9


Участник
***

Группа: User
Сообщений: 222
Регистрация: 11.1.2012
Из: Санкт-Петербург
Поблагодарили: 48 раз
Репутация:   4  


(Vladimir-AWM @ 9.10.2012, 6:51) *
Странно очень. В скрипте стоит код UTF-8


На днях ставил свежий денвер, и на нем была та же проблема с кодировкой: упорно не желал понимать UTF-8. Видимо особенность сборки?
Метатэги не спасали.

Хотя бэкап сайта на Wordpress'е (в UTF-8) поднялся без проблем.

Сообщение отредактировал Lexium - 11.10.2012, 15:47


--------------------
Лексиум (url.: Lexium.RU) - блоггер мобильный, обыкновенный.
МачоВеб - моя карманная веб-студия.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Vladimir-AWM
Vladimir-AWM
Topic Starter сообщение 11.10.2012, 19:23; Ответить: Vladimir-AWM
Сообщение #10


Участник
***

Группа: User
Сообщений: 236
Регистрация: 7.2.2010
Из: Челябинск
Поблагодарили: 62 раза
Репутация:   16  


(Lexium @ 11.10.2012, 14:46) *
На днях ставил свежий денвер, и на нем была та же проблема с кодировкой: упорно не желал понимать UTF-8. Видимо особенность сборки?
Метатэги не спасали.

Хотя бэкап сайта на Wordpress'е (в UTF-8) поднялся без проблем.


Не знаю даже, похоже на то, т.к. пробывал скрипт на компе с Denwer'ом у друга, кодировку браузер не смог понять, пришлось принудительно ставить UTF-8. Пробывал скрипт на 2 хостингах и у себя (у меня стоит VertrigoServ.), проблем не было с кодировкой. Выход только принудительно ставить UTF-8. Возможно из-за того что кодировку скрипта UTF-8 без BOM, а надо просто UTF-8...


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Facebook палит прокси. Кто как решает эту проблему?
26 Twickbot 3417 Вчера, 15:02
автор: Mikki
Открытая тема (нет новых ответов) Сервис для массовой проверки числа обратных ссылок (backlinks)?
0 Telnor 330 Вчера, 11:39
автор: Telnor
Открытая тема (нет новых ответов) [Бесплатный тест] Airsocks. Инновационные мобильные 4G / LTE прокси. Забудь все что было раньше!
26 airsocks11 6110 12.12.2017, 22:41
автор: airsocks11
Открытая тема (нет новых ответов) Nosok.org - сервис приватных SOCKS/HTTP прокси
SOCKS/HTTP прокси
18 Nosokproxy 3374 12.12.2017, 10:33
автор: Nosokproxy
Открытая тема (нет новых ответов) Кто продвигает сайт в яндексе массовой закупкой ссылок?
13 aleggator 1841 8.12.2017, 4:19
автор: KvadroJ


 



RSS Текстовая версия Сейчас: 14.12.2017, 11:01
Дизайн