X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Много капчи при парсинге Вордстата Key Collector'ом. Что делать?
Artem76
Artem76
Topic Starter сообщение 1.2.2016, 9:01; Ответить: Artem76
Сообщение #1


Участник
***

Группа: User
Сообщений: 145
Регистрация: 13.2.2011
Из: Минск
Поблагодарили: 12 раз
Репутация:   1  


Приветствую вас, уважаемые!

Взялся за составление семантического ядра сайта с помощью свежекупленной софтины - Key Collector'ом.
Пересмотрел кучу материала по работе с сей программой, по её настройке. Настроил её исходя из всех рекомендаций. Однако при парсинге Вордстата Яндекса столкнулся с проблемой: после парсинга 150-200 слов по каждому из потоков (3 потока - 3 прокси (покупные, индивидуальные), без своего IP) начинает выскакивать злополучная капча при каждом запросе. Ладно бы, периодически выскакивала. А тут явно что-то неладное, потому как спарсив около 5 000 запросов пришлось распознавать почти 200 капч.

Возможно, кто-то из местных гуру сталкивался с такой проблемой? Буду рад любому совету! :umnik:

P.S. Задержки между запросами устанавливал от 35 000 до 40 000 мс.

Сообщение отредактировал Artem76 - 1.2.2016, 9:01


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DFX
DFX
сообщение 1.2.2016, 9:30; Ответить: DFX
Сообщение #2


Участник
***

Группа: User
Сообщений: 107
Регистрация: 29.8.2010
Из: Новосибирск
Поблагодарили: 25 раз
Репутация:   5  


Artem76, а есть парсинг в глубину?

Для совсем больших количеств лучше сервисы использовать.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mr_LasVegas
mr_LasVegas
сообщение 1.2.2016, 10:05; Ответить: mr_LasVegas
Сообщение #3


UX/UI Designer
*****

Группа: Active User
Сообщений: 739
Регистрация: 9.4.2010
Из: Moscow
Поблагодарили: 289 раз
Репутация:   67  


Стоит задержка 5000-15000.
Парсю в 5 потоков - 5 прокси, без основного IP.
Капчи вообще не вылазят, у меня только когда выдачу гугла парсишь капчи достают.
У вас точно прокси индивидуальные? Просто то, что прокси покупные еще ничего не значит, есть очень отвратительные покупные прокси.
Если все так как вы сказали и с настройками у вас все нормально, то проблема скорее всего в проксях, сколько у вас 3 прокси эти стоили?


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SeoKot
SeoKot
сообщение 1.2.2016, 10:46; Ответить: SeoKot
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1738
Регистрация: 25.9.2012
Из: Украины
Поблагодарили: 842 раза
Репутация:   102  


Цитата(Artem76)
Буду рад любому совету!

Подключите одну из антикапч.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artem76
Artem76
Topic Starter сообщение 1.2.2016, 10:54; Ответить: Artem76
Сообщение #5


Участник
***

Группа: User
Сообщений: 145
Регистрация: 13.2.2011
Из: Минск
Поблагодарили: 12 раз
Репутация:   1  


Цитата(SeoKot @ 1.2.2016, 9:46) *
Цитата(Artem76)Буду рад любому совету!
Подключите одну из антикапч.

Подключена.
Цитата(mr_LasVegas @ 1.2.2016, 9:05) *
Стоит задержка 5000-15000.
Парсю в 5 потоков - 5 прокси, без основного IP.
Капчи вообще не вылазят, у меня только когда выдачу гугла парсишь капчи достают.
У вас точно прокси индивидуальные? Просто то, что прокси покупные еще ничего не значит, есть очень отвратительные покупные прокси.
Если все так как вы сказали и с настройками у вас все нормально, то проблема скорее всего в проксях, сколько у вас 3 прокси эти стоили?

Хм, дело в том, что и со своего IP та же картина. Прокси покупал на тест за 300 р за неделю. Не могли бы вы написать в ЛС мне, где можно хорошие прикупить?

Цитата(DFX @ 1.2.2016, 8:30) *
Artem76, а есть парсинг в глубину?

Для совсем больших количеств лучше сервисы использовать.

Глубина - 0.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Сурок
Сурок
сообщение 5.2.2016, 12:11; Ответить: Сурок
Сообщение #6


Быстропост
*

Группа: User
Сообщений: 15
Регистрация: 1.9.2011
Поблагодарили: 11 раз
Репутация:   2  


Снимаю частотку для десятков тысяч запросов в кейколлекторе через директ, работает очень быстро!
А прямой парсинг тоже выносит мозг, скорость нулевая.


--------------------
Быстропост
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
JOHNY
JOHNY
сообщение 5.2.2016, 12:49; Ответить: JOHNY
Сообщение #7


Топовый постер
*******


Группа: Active User
Сообщений: 4641
Регистрация: 23.8.2010
Из: Украина
Поблагодарили: 1804 раза
Репутация:   279  


Увеличьте в настройках интервал между действиями.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artem76
Artem76
Topic Starter сообщение 5.2.2016, 18:15; Ответить: Artem76
Сообщение #8


Участник
***

Группа: User
Сообщений: 145
Регистрация: 13.2.2011
Из: Минск
Поблагодарили: 12 раз
Репутация:   1  


JOHNY, интервал для парсинга Яндекс.Вордстата - от 25 000 до 30 000 мс.
Может ли проблема быть в самих аккаунтах Яндекса? Если да, то какие аккаунты нужны?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SeoKot
SeoKot
сообщение 5.2.2016, 18:30; Ответить: SeoKot
Сообщение #9


Старожил
******

Группа: Active User
Сообщений: 1738
Регистрация: 25.9.2012
Из: Украины
Поблагодарили: 842 раза
Репутация:   102  


Цитата(Artem76)
Может ли проблема быть в самих аккаунтах Яндекса?

В хелпе софта написано, что под прогу использовать левую почту именно под софт. Попробуйте создать новый ящик на яндексе (лучше 2), у меня они живут нормально.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artem76
Artem76
Topic Starter сообщение 5.2.2016, 18:40; Ответить: Artem76
Сообщение #10


Участник
***

Группа: User
Сообщений: 145
Регистрация: 13.2.2011
Из: Минск
Поблагодарили: 12 раз
Репутация:   1  


SeoKot, создавал новые ящики. Хватает каждого из них на парсинг максимум 1000 ключей. Потом вылазит постоянная капча.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Пошив одежды - что не так с сайтом ?
25 bridge8 1724 Вчера, 22:55
автор: Emtec
Открытая тема (нет новых ответов) Маленький кейс как сделать много почтовых ящиков в Gmail
Один аккаунт = много ящиков
1 PostBrigada 521 Вчера, 21:34
автор: Pingunio
Горячая тема (нет новых ответов) Что лучше, фриланс, удаленка, или работа в офисе солидной компании?
97 Levizar 8048 Вчера, 13:51
автор: Smspva
Открытая тема (нет новых ответов) [Бесплатный тест] Airsocks. Инновационные мобильные 4G / LTE прокси. Забудь все что было раньше!
27 airsocks11 6300 Вчера, 3:22
автор: airsocks11
Открытая тема (нет новых ответов) Что делать если боты и поисковики грузят сервер?
Превышение нагрузки на сервер.
8 nahalturu 2311 13.12.2017, 17:12
автор: vds4you


 



RSS Текстовая версия Сейчас: 16.12.2017, 19:25
Дизайн