В чем выражается странность?

Вбил нужные признаки (правда только 1 строчку для пробы), вводил кучу раз каптчу (но это ладно), в общем итоге напарсил около 600 сайтов из которых без повторов 60 (по показаниям программы) и программа сама закончила парсинг.
В общем 60 мне маловато.

Сообщение отредактировал dexplon - 19.12.2014, 19:37

dexplon,


На один поисковый запрос любая ПС в стандартном режиме работы выдает в лучшем случае 1к ссылок. Соответственно, если Вы ввели один признак и создали один поисковый запрос, то в лучшем случае, сможете получить от любой ПС 1к ссылок. Но ПС очень часто выдает ссылки, относящиеся к одному домену, поэтому после удаления дублей доменов и строк получается на порядок меньше.

Для того, чтобы спарсить как можно больше, при ограничении, на 1 запрос = 1к ссылок, используются технологии, реализованные в парсере ПК XseoN, это - разбивка запросов на временные интервалы и использование тематического словаря. Если по сабжу - софт платный, но в нем реализован не только парсер.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.

Сообщение отредактировал Xseon_Founder - 19.12.2014, 19:59