Для множества SEO программ, для различных парсеров, грабберов нужны прокси. Брать прокси с 1 сайта не ликвидно ( их используют многие и они быстро "умирают" ). Значит надо несколько сайтов, но ручками собрать списки со всех страниц будет долго, а потом же ещё и отчекать надо будет.




В программе три рабочие области:

1)Links - сюда вставляем страницы сайтов с проксями
Load - загрузить список ( тхт формат )
Clear - очистить.

2)Link Check Resultat - лог программы

3)Work - настройки самого граббера.
Threads - количество потоков.
TOut - задержка.
Start Grab - запуск граббинга.
Dub - удаление дублей прокси.
Save - сохранение проксей в текстовый файлик.

Настройки самого граббера можете увидеть на скрине, я их считаю самыми оптимальными что б комп не грузить и шустренько парсить.

Создавать пункт "Начало работы с граббером" решил не создавать, так как всё предельно просто:

1) Нашли страницы с проксями ( желательно страницы которые ежедневно обновляются )
2) Загрузили их в окошко программы ( Ctrl+c --- Ctrl+v )
3) Выставили настройки как на скриншоте
4) Нажали Start Grab >Dub >Save

Итак, у вас появился тхт файлик с прокси, у меня с 40 ссылок порядка 12000-13000 прокси парсится ( это только http\https )

Далее надо из списка убрать нерабочие прокси и по желанию прозрачные.

Для этого переходим на сайт - http://checkerproxy.net/



В Place Proxy List Here как вы догадались, загружаем наш списочек ( желательно более 5к за раз не проверять, браузер виснет ).

Тайм-аут оставляем 20, тип прокси я выбрал http\https ( список сайтов с такими проксями будет ниже ).

Очень важный пункт, не забыть поставить галочку напротив don`t save my proxy list , если не поставить галочку, то список наших прочеканых прокси окажется опубликованным на сайте, а его грабят тоже, лишние пользователи на наши прокси нам не нужны.

Нажимаем Check List и ждём пока чекаются прокси.


В то время как чекаються прокси, рассмотрим какие они бывают:
High anonymous / Elite proxy - анонимные, лучшая степень защиты
Anonymous proxy - анонимные
Transparent proxy - прозрачные
not working - не рабочие

Как видите на скрине выше, там где окошечко Good Proxies, там все рабочие прокси появляются, если же надо анонимные прокси, то в полученной таблице группируем прокси ( Proxy Status ).

Желательно отбирать анонимные прокси. Время отклика не более 3 сек ( если хотите летать, так сказать ). Ищите свои сайты с прокси ( желательно ежедневное обновление на статической странице)

Во вложении софт и списочек моих страниц сайтов ( 44шт )

В общем то всё, удачного всем парсинга.

 Soft_list.zip ( 285,93 килобайт ) Кол-во скачиваний: 68



Автор данной маленькой статейки я, статья конкурсная для форума rebill.me!

п.с. не реклама, не seo форум, благодарю за внимание.