X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Добываем прокси. Подробный мануал.
REGNET
REGNET
Topic Starter сообщение 10.2.2012, 23:42; Ответить: REGNET
Сообщение #1


Старожил
******


Группа: Active User
Сообщений: 2378
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 928 раз
Репутация:   149  


Для множества SEO программ, для различных парсеров, грабберов нужны прокси. Брать прокси с 1 сайта не ликвидно ( их используют многие и они быстро "умирают" ). Значит надо несколько сайтов, но ручками собрать списки со всех страниц будет долго, а потом же ещё и отчекать надо будет.


В плане сбора прокси с страниц сайтов, блогов нам поможет Digrabber:



В программе три рабочие области:

1)Links - сюда вставляем страницы сайтов с проксями
Load - загрузить список ( тхт формат )
Clear - очистить.

2)Link Check Resultat - лог программы

3)Work - настройки самого граббера.
Threads - количество потоков.
TOut - задержка.
Start Grab - запуск граббинга.
Dub - удаление дублей прокси.
Save - сохранение проксей в текстовый файлик.

Настройки самого граббера можете увидеть на скрине, я их считаю самыми оптимальными что б комп не грузить и шустренько парсить.

Создавать пункт "Начало работы с граббером" решил не создавать, так как всё предельно просто:

1) Нашли страницы с проксями ( желательно страницы которые ежедневно обновляются )
2) Загрузили их в окошко программы ( Ctrl+c --- Ctrl+v )
3) Выставили настройки как на скриншоте
4) Нажали Start Grab >Dub >Save

Итак, у вас появился тхт файлик с прокси, у меня с 40 ссылок порядка 12000-13000 прокси парсится ( это только http\https )

Далее надо из списка убрать нерабочие прокси и по желанию прозрачные.

Для этого переходим на сайт - http://checkerproxy.net/



В Place Proxy List Here как вы догадались, загружаем наш списочек ( желательно более 5к за раз не проверять, браузер виснет ).

Тайм-аут оставляем 20, тип прокси я выбрал http\https ( список сайтов с такими проксями будет ниже ).

Очень важный пункт, не забыть поставить галочку напротив don`t save my proxy list , если не поставить галочку, то список наших прочеканых прокси окажется опубликованным на сайте, а его грабят тоже, лишние пользователи на наши прокси нам не нужны.

Нажимаем Check List и ждём пока чекаются прокси.



В то время как чекаються прокси, рассмотрим какие они бывают:
High anonymous / Elite proxy - анонимные, лучшая степень защиты
Anonymous proxy - анонимные
Transparent proxy - прозрачные
not working - не рабочие

Как видите на скрине выше, там где окошечко Good Proxies, там все рабочие прокси появляются, если же надо анонимные прокси, то в полученной таблице группируем прокси ( Proxy Status ).

Желательно отбирать анонимные прокси. Время отклика не более 3 сек ( если хотите летать, так сказать ). Ищите свои сайты с прокси ( желательно ежедневное обновление на статической странице)

Во вложении софт и списочек моих страниц сайтов ( 44шт )

В общем то всё, удачного всем парсинга.

Прикрепленный файл  Soft_list.zip ( 285,93 килобайт ) Кол-во скачиваний: 56



Автор данной маленькой статейки я, статья конкурсная для форума rebill.me!

п.с. не реклама, не seo форум, благодарю за внимание.


Поблагодарили: (5)
8
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
сообщение 11.2.2012, 8:21; Ответить: Илюха
Сообщение #2


Топовый постер
*******

Группа: Active User
Сообщений: 3894
Регистрация: 11.6.2009
Поблагодарили: 718 раз
Репутация:   107  


Отличный мануальчик по прокси, новичкам особенно интересен будет.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) [Бесплатный тест] Airsocks. Инновационные мобильные 4G / LTE прокси. Забудь все что было раньше!
26 airsocks11 6082 Вчера, 22:41
автор: airsocks11
Открытая тема (нет новых ответов) Nosok.org - сервис приватных SOCKS/HTTP прокси
SOCKS/HTTP прокси
18 Nosokproxy 3360 Вчера, 10:33
автор: Nosokproxy
Открытая тема (нет новых ответов) ВНИМАНИЕ: Конкурс на лучший мануал/кейс/инструкцию
0 admin 344 8.12.2017, 15:45
автор: admin
Открытая тема (нет новых ответов) PROXY6.NET - Индивидуальные прокси / IPv6 от 3.6 руб (29 подсеть) / IPv4 = 69.9 руб (RU/US/UA)
28 proxy6 6893 3.12.2017, 2:33
автор: dimkalan
Открытая тема (нет новых ответов) Facebook палит прокси. Кто как решает эту проблему?
24 Twickbot 3189 29.11.2017, 9:30
автор: Mikki


 



RSS Текстовая версия Сейчас: 13.12.2017, 9:44
Дизайн