X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Парсер Http://blogs.yandex.ru/
Inviseble_Demon
Inviseble_Demon
Topic Starter сообщение 11.3.2010, 22:22; Ответить: Inviseble_Demon
Сообщение #1


Новичок
*

Группа: User
Сообщений: 25
Регистрация: 21.12.2009
Поблагодарили: 2 раза
Репутация:   1  


Парсер полного текста из выдачи http://blogs.yandex.ru/





Из настроек


Скрипт выполнени в виде набора функций для работы и 1 итоговой для получения либо масива либо созронения файлов.
Пример вызова


Из функционала.
  • Работа по проксям
  • Наличие задержки после каждого запроса.
  • Возможность сохронения данных в файлы.
  • Возможность получения масива данных без сохронения.
  • Возможность регулирования области поиска.
  • Постоянная смена юзер-агента (более 100 штук..)
  • Данные конвертируются из utf-8 в windows-1251


Пример итоговой работы скрипта при настройках сохронения данных в файл. (для всех запросов сканировалась только 1 страница. для запроса "статья" 10 страниц..)

Скрипт легко встраивается (если у вас есть конечно навыки программирования) в любой открытый скрипт на php.
В принцепи сделать парсинг и ограницение размера статьи к примеру не мение 1000 сим. и можно генерить ГС сателиты доры чего хотите rolleyes.gif

====ICQ#355016572====
Стоимость скрипта: 10$
Первому за отзыв.
Второму за 5$
====================


--------------------
Отзывы: Weblancer.Net Nulled.Ws
4
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
crazyyy
crazyyy
сообщение 11.3.2010, 22:23; Ответить: crazyyy
Сообщение #2


Бывалый
****


Группа: Banned
Сообщений: 275
Регистрация: 15.5.2009
Из: Украина
Поблагодарили: 112 раз
Репутация:   29  


Буду первым)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
nexUS
nexUS
сообщение 11.3.2010, 22:26; Ответить: nexUS
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 262
Регистрация: 26.8.2008
Из: Ибица
Поблагодарили: 67 раз
Репутация:   9  


отписал в icq
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Inviseble_Demon
Inviseble_Demon
Topic Starter сообщение 11.3.2010, 22:52; Ответить: Inviseble_Demon
Сообщение #4


Новичок
*

Группа: User
Сообщений: 25
Регистрация: 21.12.2009
Поблагодарили: 2 раза
Репутация:   1  


crazyyy - в личке.
nexUS - ответил, сделка прошла успешно.

Все. акции окончены.
Ждем новых сделок и отзывов.


--------------------
Отзывы: Weblancer.Net Nulled.Ws
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 11.3.2010, 22:54; Ответить: webpavilion
Сообщение #5


сеошник на пенсии
*******

Группа: Active User
Сообщений: 2726
Регистрация: 28.4.2009
Из: МО
Поблагодарили: 1659 раз
Репутация:   171  


CURL? сколько потоков?


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Inviseble_Demon
Inviseble_Demon
Topic Starter сообщение 12.3.2010, 13:05; Ответить: Inviseble_Demon
Сообщение #6


Новичок
*

Группа: User
Сообщений: 25
Регистрация: 21.12.2009
Поблагодарили: 2 раза
Репутация:   1  


(webpavilion @ 12.3.2010, 0:54) *
CURL? сколько потоков?

Он самый.
Поток 1.
Смысла от многопоточности толком нет.

Скрипт разработан в виде импортируемого кода в проекты.
Если есть желание можно преоброзовать в полноценный скрипт для парсинга с многопоточностью.
Но это только если действительно требуется не 1-3 человекам ))

В виду обстоятельств crazyyy несможет провести тестирование в блажайшее время.
Вакансия первого снова открыта.


--------------------
Отзывы: Weblancer.Net Nulled.Ws
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 13.3.2010, 10:46; Ответить: webpavilion
Сообщение #7


сеошник на пенсии
*******

Группа: Active User
Сообщений: 2726
Регистрация: 28.4.2009
Из: МО
Поблагодарили: 1659 раз
Репутация:   171  


(Inviseble_Demon @ 12.3.2010, 12:05) *
Вакансия первого снова открыта.

готов потестить.

(Inviseble_Demon @ 12.3.2010, 12:05) *
Смысла от многопоточности толком нет.

на основании чего сделаны такие выводы? всегда приятно если что то работает быстрее чем могло бы.


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Inviseble_Demon
Inviseble_Demon
Topic Starter сообщение 15.3.2010, 15:33; Ответить: Inviseble_Demon
Сообщение #8


Новичок
*

Группа: User
Сообщений: 25
Регистрация: 21.12.2009
Поблагодарили: 2 раза
Репутация:   1  


webpavilion
В личке.
От многопоточности толку нет потому как на яше есть огран по колличеству запросов... Все равно нужно делать замедление для того чтобы под бан не попасть именно по этому многопоточность ненужна пока, если её реализовывать то и капку нужно вводить..

Сообщение отредактировал Inviseble_Demon - 15.3.2010, 15:34


--------------------
Отзывы: Weblancer.Net Nulled.Ws
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 15.3.2010, 16:15; Ответить: webpavilion
Сообщение #9


сеошник на пенсии
*******

Группа: Active User
Сообщений: 2726
Регистрация: 28.4.2009
Из: МО
Поблагодарили: 1659 раз
Репутация:   171  


Inviseble_Demon, получил - смотрю, вечером отпишу.

(Inviseble_Demon @ 15.3.2010, 14:33) *
От многопоточности толку нет потому...

проксёй пользоваться не кошерно?


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПочему посещаемость с yandex не растет уже полгода
20 AlinaGreen 1594 Сегодня, 20:54
автор: alexandrrr
Горячая тема (нет новых ответов) Быстрые элитные HTTP/S SOCKS4/5
63 pechkin 23810 8.12.2017, 9:16
автор: pechkin
Открытая тема (нет новых ответов) iPay24.org - автоматический обмен, лучший курс | Bitcoin, QIWI, EXMO, Yandex Money, Perfect Money
21 iPay24 3866 5.12.2017, 17:23
автор: iPay24
Открытая тема (нет новых ответов) Nosok.org - сервис приватных SOCKS/HTTP прокси
SOCKS/HTTP прокси
17 Nosokproxy 3261 5.12.2017, 13:38
автор: Nosokproxy
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыA-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
168 Forbidden 102950 4.12.2017, 13:55
автор: AParser_Support


 



RSS Текстовая версия Сейчас: 11.12.2017, 21:21
Дизайн