X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Подскажите алгоритм парсинга более 1000 результатов Google
plamar
plamar
Topic Starter сообщение 31.1.2013, 13:34; Ответить: plamar
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 264
Регистрация: 4.11.2008
Поблагодарили: 21 раз
Репутация:   8  


Хочу написать парсер Google, который позволяет парсить более 1000 результатов по запросу. Знаю, что это можно сделать используя операторы Google. Принцип такой: допустим запрос окна - чтобы получить 2000 результатов, сначала получаем 1000 результатов, где обязательно ЕСТЬ слово двери на странице, а затем 1000 результатов, где его обязательно НЕТ.

https://www.google.com.ua/advanced_search?q...&as_qdr=all

https://www.google.com.ua/advanced_search?q...hl=ru&tbo=d

Если вы знаете точный алгоритм (на базе данного принципа, либо какой нибудь другой вариант), то буду благодарен за подсказку и поделюсь лицензией на разработанную в ближайшем будущем программку.

p.s. вариант вроде нижеприведенного не подходит, поскольку выдача будет получаться с одного сайта (с оператором site:domain.com )


пиво inurl:ru
пиво -inurl:ru
пиво inurl:de
пиво -inurl:de


Сообщение отредактировал plamar - 31.1.2013, 13:36


--------------------
EA-WS.com - API для автоперевода. 0,02$ за 1000 знаков.
Datacol - универсальный парсер контента, 64+ готовых парсера от 459 руб/мес.!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
santis
santis
сообщение 31.1.2013, 14:15; Ответить: santis
Сообщение #2


Топовый постер
*******


Группа: Active User
Сообщений: 3487
Регистрация: 29.11.2010
Из: Краснодар
Поблагодарили: 1510 раз
Репутация:   164  


Если по списку бегать руками, то показываются результаты только до 1.000.
Не знаю какие вы там манипуляции проводите что бы узнать ещё 1.000, но думаю что она ничего общего не имеет с тем что есть на самом деле. Имею ввиду никак не сможете посмотреть с точностью что стоит на 1.001 позиции


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
plamar
plamar
Topic Starter сообщение 31.1.2013, 15:18; Ответить: plamar
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 264
Регистрация: 4.11.2008
Поблагодарили: 21 раз
Репутация:   8  


(santis @ 31.1.2013, 14:15) *
Если по списку бегать руками, то показываются результаты только до 1.000.
Не знаю какие вы там манипуляции проводите что бы узнать ещё 1.000, но думаю что она ничего общего не имеет с тем что есть на самом деле. Имею ввиду никак не сможете посмотреть с точностью что стоит на 1.001 позиции


меня не интересует ранжирование. Мне нужны сами результаты (то есть сами линки из выдачи)


--------------------
EA-WS.com - API для автоперевода. 0,02$ за 1000 знаков.
Datacol - универсальный парсер контента, 64+ готовых парсера от 459 руб/мес.!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
CheckerTrast
CheckerTrast
сообщение 1.2.2013, 23:11; Ответить: CheckerTrast
Сообщение #4


Завсегдатай
*****


Группа: Active User
Сообщений: 659
Регистрация: 25.5.2011
Из: Астрахань
Поблагодарили: 87 раз
Репутация:   20  


Это не возможно, поисковик вам не покажет выдачу больше 1000. Можно попробовать подбирать фразы таким образом: inurl:(используя признаки CMS), также допустим ключ окна и перебирать такие фразы, как окна ПВХ, пластиковые окна.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Google запустил инструмент для переноса кампаний из Директа в AdWords
7 jack 1586 Сегодня, 0:19
автор: Ley
Открытая тема (нет новых ответов) Подскажите по где купить дёшево домены com info biz net
6 docdie 967 Вчера, 18:29
автор: docdie
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыBigsmm.ru - Качественное продвижение Vk,Inst,telegram!1000 подписчиков - от 50р!Отличное качество!
50 RogozinZ 9063 Вчера, 0:56
автор: RogozinZ
Горячая тема (нет новых ответов) Рерайт: 21-33р за 1000 зн.б/п; Копирайт: 60р за 1000 зн.б/п; Английский: от 60р за 1000 зн.б/п
Более 400 положительных отзывов, опыт более 7 лет
67 Neizer 11753 12.12.2017, 15:33
автор: centrs
Горячая тема (нет новых ответов) Как заставить Google любить тебя?
Хочу роста трафа из Гугла : ))
73 Aslan88 16315 12.12.2017, 14:48
автор: coremission


 



RSS Текстовая версия Сейчас: 14.12.2017, 7:02
Дизайн