X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Добываем прокси. Подробный мануал.
REGNET
REGNET
Topic Starter сообщение 10.2.2012, 23:42; Ответить: REGNET
Сообщение #1


Старожил
******


Группа: Active User
Сообщений: 2378
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 928 раз
Репутация:   149  


Для множества SEO программ, для различных парсеров, грабберов нужны прокси. Брать прокси с 1 сайта не ликвидно ( их используют многие и они быстро "умирают" ). Значит надо несколько сайтов, но ручками собрать списки со всех страниц будет долго, а потом же ещё и отчекать надо будет.


В плане сбора прокси с страниц сайтов, блогов нам поможет Digrabber:



В программе три рабочие области:

1)Links - сюда вставляем страницы сайтов с проксями
Load - загрузить список ( тхт формат )
Clear - очистить.

2)Link Check Resultat - лог программы

3)Work - настройки самого граббера.
Threads - количество потоков.
TOut - задержка.
Start Grab - запуск граббинга.
Dub - удаление дублей прокси.
Save - сохранение проксей в текстовый файлик.

Настройки самого граббера можете увидеть на скрине, я их считаю самыми оптимальными что б комп не грузить и шустренько парсить.

Создавать пункт "Начало работы с граббером" решил не создавать, так как всё предельно просто:

1) Нашли страницы с проксями ( желательно страницы которые ежедневно обновляются )
2) Загрузили их в окошко программы ( Ctrl+c --- Ctrl+v )
3) Выставили настройки как на скриншоте
4) Нажали Start Grab >Dub >Save

Итак, у вас появился тхт файлик с прокси, у меня с 40 ссылок порядка 12000-13000 прокси парсится ( это только http\https )

Далее надо из списка убрать нерабочие прокси и по желанию прозрачные.

Для этого переходим на сайт - http://checkerproxy.net/



В Place Proxy List Here как вы догадались, загружаем наш списочек ( желательно более 5к за раз не проверять, браузер виснет ).

Тайм-аут оставляем 20, тип прокси я выбрал http\https ( список сайтов с такими проксями будет ниже ).

Очень важный пункт, не забыть поставить галочку напротив don`t save my proxy list , если не поставить галочку, то список наших прочеканых прокси окажется опубликованным на сайте, а его грабят тоже, лишние пользователи на наши прокси нам не нужны.

Нажимаем Check List и ждём пока чекаются прокси.



В то время как чекаються прокси, рассмотрим какие они бывают:
High anonymous / Elite proxy - анонимные, лучшая степень защиты
Anonymous proxy - анонимные
Transparent proxy - прозрачные
not working - не рабочие

Как видите на скрине выше, там где окошечко Good Proxies, там все рабочие прокси появляются, если же надо анонимные прокси, то в полученной таблице группируем прокси ( Proxy Status ).

Желательно отбирать анонимные прокси. Время отклика не более 3 сек ( если хотите летать, так сказать ). Ищите свои сайты с прокси ( желательно ежедневное обновление на статической странице)

Во вложении софт и списочек моих страниц сайтов ( 44шт )

В общем то всё, удачного всем парсинга.

Прикрепленный файл  Soft_list.zip ( 285,93 килобайт ) Кол-во скачиваний: 56



Автор данной маленькой статейки я, статья конкурсная для форума rebill.me!

п.с. не реклама, не seo форум, благодарю за внимание.


Поблагодарили: (5)
8
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
сообщение 11.2.2012, 8:21; Ответить: Илюха
Сообщение #2


Топовый постер
*******

Группа: Active User
Сообщений: 3894
Регистрация: 11.6.2009
Поблагодарили: 718 раз
Репутация:   107  


Отличный мануальчик по прокси, новичкам особенно интересен будет.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как зайти через прокси в Webmoney?
3 metvekot 336 Вчера, 23:31
автор: demon932008
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыМануал по заработку в Яндекс Дзене «6 простых шагов — и 100 000 рублей в кармане»
В рамках Новогодних мероприятий 2017-2018
1413 Zoya83 94234 Вчера, 22:31
автор: Hellnar
Горячая тема (нет новых ответов) RSocks: 400.000 уникальных прокси каждый день, персональные прокси!
56 Stanx 30503 Вчера, 14:01
автор: Stanx
Горячая тема (нет новых ответов) Nosok.org - сервис приватных SOCKS/HTTP прокси
SOCKS/HTTP прокси
41 Nosokproxy 7923 22.5.2018, 10:15
автор: Nosokproxy
Горячая тема (нет новых ответов) PROXY6.NET - Индивидуальные прокси / IPv6 от 3.6 руб (29 подсеть) / IPv4 = 69.9 руб (RU/US/UA)
45 proxy6 11375 21.5.2018, 12:54
автор: proxy6


 



RSS Текстовая версия Сейчас: 26.5.2018, 5:22
Дизайн