X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Подскажите алгоритм парсинга более 1000 результатов Google
plamar
plamar
Topic Starter сообщение 31.1.2013, 13:34; Ответить: plamar
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 264
Регистрация: 4.11.2008
Поблагодарили: 21 раз
Репутация:   8  


Хочу написать парсер Google, который позволяет парсить более 1000 результатов по запросу. Знаю, что это можно сделать используя операторы Google. Принцип такой: допустим запрос окна - чтобы получить 2000 результатов, сначала получаем 1000 результатов, где обязательно ЕСТЬ слово двери на странице, а затем 1000 результатов, где его обязательно НЕТ.

https://www.google.com.ua/advanced_search?q...&as_qdr=all

https://www.google.com.ua/advanced_search?q...hl=ru&tbo=d

Если вы знаете точный алгоритм (на базе данного принципа, либо какой нибудь другой вариант), то буду благодарен за подсказку и поделюсь лицензией на разработанную в ближайшем будущем программку.

p.s. вариант вроде нижеприведенного не подходит, поскольку выдача будет получаться с одного сайта (с оператором site:domain.com )


пиво inurl:ru
пиво -inurl:ru
пиво inurl:de
пиво -inurl:de


Сообщение отредактировал plamar - 31.1.2013, 13:36


--------------------
EA-WS.com - API для автоперевода. 0,02$ за 1000 знаков.
Datacol - универсальный парсер контента, 64+ готовых парсера от 459 руб/мес.!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
santis
santis
сообщение 31.1.2013, 14:15; Ответить: santis
Сообщение #2


Топовый постер
*******


Группа: Active User
Сообщений: 3571
Регистрация: 29.11.2010
Из: Краснодар
Поблагодарили: 1564 раза
Репутация:   169  


Если по списку бегать руками, то показываются результаты только до 1.000.
Не знаю какие вы там манипуляции проводите что бы узнать ещё 1.000, но думаю что она ничего общего не имеет с тем что есть на самом деле. Имею ввиду никак не сможете посмотреть с точностью что стоит на 1.001 позиции


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
plamar
plamar
Topic Starter сообщение 31.1.2013, 15:18; Ответить: plamar
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 264
Регистрация: 4.11.2008
Поблагодарили: 21 раз
Репутация:   8  


(santis @ 31.1.2013, 14:15) *
Если по списку бегать руками, то показываются результаты только до 1.000.
Не знаю какие вы там манипуляции проводите что бы узнать ещё 1.000, но думаю что она ничего общего не имеет с тем что есть на самом деле. Имею ввиду никак не сможете посмотреть с точностью что стоит на 1.001 позиции


меня не интересует ранжирование. Мне нужны сами результаты (то есть сами линки из выдачи)


--------------------
EA-WS.com - API для автоперевода. 0,02$ за 1000 знаков.
Datacol - универсальный парсер контента, 64+ готовых парсера от 459 руб/мес.!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
CheckerTrast
CheckerTrast
сообщение 1.2.2013, 23:11; Ответить: CheckerTrast
Сообщение #4


Завсегдатай
*****


Группа: Active User
Сообщений: 659
Регистрация: 25.5.2011
Из: Астрахань
Поблагодарили: 87 раз
Репутация:   20  


Это не возможно, поисковик вам не покажет выдачу больше 1000. Можно попробовать подбирать фразы таким образом: inurl:(используя признаки CMS), также допустим ключ окна и перебирать такие фразы, как окна ПВХ, пластиковые окна.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) SystemIP.ru - VPS и сервера в более чем 50 странах
21 SystemIP 5667 Вчера, 18:11
автор: SystemIP
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыМагазин уникальных статей из вебархива. 6р за 1000 знаков!
Статьи с уникальностью 90-100%
126 Oleg72 18784 Вчера, 17:25
автор: Oleg72
Открытая тема (нет новых ответов) Алгоритм "Немезида" в ВК. МДК все?
0 MissContent 370 18.5.2018, 10:13
автор: MissContent
Горячая тема (нет новых ответов) Рерайт: 21-33р за 1000 зн.б/п; Копирайт: 60р за 1000 зн.б/п; Английский: от 60р за 1000 зн.б/п
Более 400 положительных отзывов, опыт более 7 лет
73 Neizer 14255 17.5.2018, 13:26
автор: phant
Открытая тема (нет новых ответов) Посоветуйте прокси для парсинга позиций
недорогие
1 akill 633 17.5.2018, 11:54
автор: Telnor


 



RSS Текстовая версия Сейчас: 21.5.2018, 15:39
Дизайн