X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Много капчи при парсинге Вордстата Key Collector'ом. Что делать?
Artem76
Artem76
Topic Starter сообщение 1.2.2016, 9:01; Ответить: Artem76
Сообщение #1


Участник
***

Группа: User
Сообщений: 146
Регистрация: 13.2.2011
Из: Минск
Поблагодарили: 12 раз
Репутация:   1  


Приветствую вас, уважаемые!

Взялся за составление семантического ядра сайта с помощью свежекупленной софтины - Key Collector'ом.
Пересмотрел кучу материала по работе с сей программой, по её настройке. Настроил её исходя из всех рекомендаций. Однако при парсинге Вордстата Яндекса столкнулся с проблемой: после парсинга 150-200 слов по каждому из потоков (3 потока - 3 прокси (покупные, индивидуальные), без своего IP) начинает выскакивать злополучная капча при каждом запросе. Ладно бы, периодически выскакивала. А тут явно что-то неладное, потому как спарсив около 5 000 запросов пришлось распознавать почти 200 капч.

Возможно, кто-то из местных гуру сталкивался с такой проблемой? Буду рад любому совету! :umnik:

P.S. Задержки между запросами устанавливал от 35 000 до 40 000 мс.

Сообщение отредактировал Artem76 - 1.2.2016, 9:01


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
DFX
DFX
сообщение 1.2.2016, 9:30; Ответить: DFX
Сообщение #2


Участник
***

Группа: User
Сообщений: 107
Регистрация: 29.8.2010
Из: Новосибирск
Поблагодарили: 25 раз
Репутация:   5  


Artem76, а есть парсинг в глубину?

Для совсем больших количеств лучше сервисы использовать.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mr_LasVegas
mr_LasVegas
сообщение 1.2.2016, 10:05; Ответить: mr_LasVegas
Сообщение #3


UX/UI Designer
*****

Группа: Active User
Сообщений: 749
Регистрация: 9.4.2010
Из: Moscow
Поблагодарили: 291 раз
Репутация:   67  


Стоит задержка 5000-15000.
Парсю в 5 потоков - 5 прокси, без основного IP.
Капчи вообще не вылазят, у меня только когда выдачу гугла парсишь капчи достают.
У вас точно прокси индивидуальные? Просто то, что прокси покупные еще ничего не значит, есть очень отвратительные покупные прокси.
Если все так как вы сказали и с настройками у вас все нормально, то проблема скорее всего в проксях, сколько у вас 3 прокси эти стоили?


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SeoKot
SeoKot
сообщение 1.2.2016, 10:46; Ответить: SeoKot
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1754
Регистрация: 25.9.2012
Из: Украины
Поблагодарили: 852 раза
Репутация:   103  


Цитата(Artem76)
Буду рад любому совету!

Подключите одну из антикапч.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artem76
Artem76
Topic Starter сообщение 1.2.2016, 10:54; Ответить: Artem76
Сообщение #5


Участник
***

Группа: User
Сообщений: 146
Регистрация: 13.2.2011
Из: Минск
Поблагодарили: 12 раз
Репутация:   1  


Цитата(SeoKot @ 1.2.2016, 9:46) *
Цитата(Artem76)Буду рад любому совету!
Подключите одну из антикапч.

Подключена.
Цитата(mr_LasVegas @ 1.2.2016, 9:05) *
Стоит задержка 5000-15000.
Парсю в 5 потоков - 5 прокси, без основного IP.
Капчи вообще не вылазят, у меня только когда выдачу гугла парсишь капчи достают.
У вас точно прокси индивидуальные? Просто то, что прокси покупные еще ничего не значит, есть очень отвратительные покупные прокси.
Если все так как вы сказали и с настройками у вас все нормально, то проблема скорее всего в проксях, сколько у вас 3 прокси эти стоили?

Хм, дело в том, что и со своего IP та же картина. Прокси покупал на тест за 300 р за неделю. Не могли бы вы написать в ЛС мне, где можно хорошие прикупить?

Цитата(DFX @ 1.2.2016, 8:30) *
Artem76, а есть парсинг в глубину?

Для совсем больших количеств лучше сервисы использовать.

Глубина - 0.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Сурок
Сурок
сообщение 5.2.2016, 12:11; Ответить: Сурок
Сообщение #6


Быстропост
*

Группа: User
Сообщений: 15
Регистрация: 1.9.2011
Поблагодарили: 11 раз
Репутация:   2  


Снимаю частотку для десятков тысяч запросов в кейколлекторе через директ, работает очень быстро!
А прямой парсинг тоже выносит мозг, скорость нулевая.


--------------------
Быстропост
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
JOHNY
JOHNY
сообщение 5.2.2016, 12:49; Ответить: JOHNY
Сообщение #7


Топовый постер
*******


Группа: Active User
Сообщений: 4724
Регистрация: 23.8.2010
Из: Украина
Поблагодарили: 1824 раза
Репутация:   281  


Увеличьте в настройках интервал между действиями.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artem76
Artem76
Topic Starter сообщение 5.2.2016, 18:15; Ответить: Artem76
Сообщение #8


Участник
***

Группа: User
Сообщений: 146
Регистрация: 13.2.2011
Из: Минск
Поблагодарили: 12 раз
Репутация:   1  


JOHNY, интервал для парсинга Яндекс.Вордстата - от 25 000 до 30 000 мс.
Может ли проблема быть в самих аккаунтах Яндекса? Если да, то какие аккаунты нужны?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SeoKot
SeoKot
сообщение 5.2.2016, 18:30; Ответить: SeoKot
Сообщение #9


Старожил
******

Группа: Active User
Сообщений: 1754
Регистрация: 25.9.2012
Из: Украины
Поблагодарили: 852 раза
Репутация:   103  


Цитата(Artem76)
Может ли проблема быть в самих аккаунтах Яндекса?

В хелпе софта написано, что под прогу использовать левую почту именно под софт. Попробуйте создать новый ящик на яндексе (лучше 2), у меня они живут нормально.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artem76
Artem76
Topic Starter сообщение 5.2.2016, 18:40; Ответить: Artem76
Сообщение #10


Участник
***

Группа: User
Сообщений: 146
Регистрация: 13.2.2011
Из: Минск
Поблагодарили: 12 раз
Репутация:   1  


SeoKot, создавал новые ящики. Хватает каждого из них на парсинг максимум 1000 ключей. Потом вылазит постоянная капча.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Американку в автосалоне заставили доказать, что она не робот
8 seostock 829 Вчера, 16:08
автор: HOSTI7U
Горячая тема (нет новых ответов) Что лучше, фриланс, удаленка, или работа в офисе солидной компании?
131 Levizar 14837 Вчера, 7:05
автор: nik1nikos
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыПошив одежды - что не так с сайтом ?
69 bridge8 7526 24.5.2018, 14:42
автор: про100та
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыЧто вы делаете, когда лень работать?
70 Zoya83 3518 23.5.2018, 13:37
автор: wertu
Открытая тема (нет новых ответов) Чем снимать сниппеты и зачем это делать
seoandme.ru - SEO-блог Анны Ященко
1 AnnaYa 446 14.5.2018, 16:59
автор: JOHNY


 



RSS Текстовая версия Сейчас: 27.5.2018, 15:49
Дизайн