X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Подскажите алгоритм парсинга более 1000 результатов Google
plamar
plamar
Topic Starter сообщение 31.1.2013, 13:34; Ответить: plamar
Сообщение #1


Хочу написать парсер Google, который позволяет парсить более 1000 результатов по запросу. Знаю, что это можно сделать используя операторы Google. Принцип такой: допустим запрос окна - чтобы получить 2000 результатов, сначала получаем 1000 результатов, где обязательно ЕСТЬ слово двери на странице, а затем 1000 результатов, где его обязательно НЕТ.

https://www.google.com.ua/advanced_search?q...&as_qdr=all

https://www.google.com.ua/advanced_search?q...hl=ru&tbo=d

Если вы знаете точный алгоритм (на базе данного принципа, либо какой нибудь другой вариант), то буду благодарен за подсказку и поделюсь лицензией на разработанную в ближайшем будущем программку.

p.s. вариант вроде нижеприведенного не подходит, поскольку выдача будет получаться с одного сайта (с оператором site:domain.com )


пиво inurl:ru
пиво -inurl:ru
пиво inurl:de
пиво -inurl:de


Сообщение отредактировал plamar - 31.1.2013, 13:36


--------------------
EA-WS.com - API для автоперевода. 0,02$ за 1000 знаков.
Datacol - универсальный парсер контента, 64+ готовых парсера от 459 руб/мес.!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
santis
santis
сообщение 31.1.2013, 14:15; Ответить: santis
Сообщение #2


Если по списку бегать руками, то показываются результаты только до 1.000.
Не знаю какие вы там манипуляции проводите что бы узнать ещё 1.000, но думаю что она ничего общего не имеет с тем что есть на самом деле. Имею ввиду никак не сможете посмотреть с точностью что стоит на 1.001 позиции


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
plamar
plamar
Topic Starter сообщение 31.1.2013, 15:18; Ответить: plamar
Сообщение #3


(santis @ 31.1.2013, 14:15) *
Если по списку бегать руками, то показываются результаты только до 1.000.
Не знаю какие вы там манипуляции проводите что бы узнать ещё 1.000, но думаю что она ничего общего не имеет с тем что есть на самом деле. Имею ввиду никак не сможете посмотреть с точностью что стоит на 1.001 позиции


меня не интересует ранжирование. Мне нужны сами результаты (то есть сами линки из выдачи)


--------------------
EA-WS.com - API для автоперевода. 0,02$ за 1000 знаков.
Datacol - универсальный парсер контента, 64+ готовых парсера от 459 руб/мес.!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
CheckerTrast
CheckerTrast
сообщение 1.2.2013, 23:11; Ответить: CheckerTrast
Сообщение #4


Это не возможно, поисковик вам не покажет выдачу больше 1000. Можно попробовать подбирать фразы таким образом: inurl:(используя признаки CMS), также допустим ключ окна и перебирать такие фразы, как окна ПВХ, пластиковые окна.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) ⭐⭐⭐ Google Voice | Gmail - OLD аккаунты "SMS и звонки" ⭐⭐⭐
14 Chekon 4258 10.4.2024, 11:07
автор: Chekon
Открытая тема (нет новых ответов) Если статья не в индексе Google - она уникальна или нет?
5 uahomka 1406 3.4.2024, 23:56
автор: Liudmila
Открытая тема (нет новых ответов) Мегамаркет. Скидка 1000 рублей при покупке от 5000 рублей на все, на первый заказ.
Мегамаркет. Скидка 1000 рублей при покупке от 5000 рублей на все, на п
7 stu999 1752 31.3.2024, 11:19
автор: stu999
Горячая тема (нет новых ответов) Google запускает новый браузер элементами искусственного интеллекта
38 arendator 13458 21.3.2024, 18:10
автор: Rebex
Открытая тема (нет новых ответов) Сайт не индексируется в Google без добавления ссылок в адурилку
4 Nekit 1072 20.3.2024, 21:44
автор: MorKer


 



RSS Текстовая версия Сейчас: 16.4.2024, 8:11
Дизайн