X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> QWdleparser - сбор контента и постинг
Пуховой
Пуховой
Topic Starter сообщение 11.8.2010, 5:57; Ответить: Пуховой
Сообщение #1


Прошу не воспринимать серьезно, программа писалась за пару часов под утро "от нечего делать", чтобы мозг поработал немного.

Возможности:
- сбор информации с сайтов на двигателе DLE*
- обработка полученных данных - коррекция текста, ре-верстка, удаление лишних тэгов, ссылок, пробелов, символов и т.п. (функция несовершенна)
- многопоточный постинг полученных данных по xml-rpc протоколу (в wordpress, например)

* имеется возможность добывать контент с абсолютно любых сайтов, требуется только sitemap.xml в общепринятом формате и простой шаблон

Навскидку, за 3 минуты получился сайт foryandexdoorway.wordpress.com

Наглядно - страница на доноре | страница на блоге.

Пример шаблона для сайта: [url=http://www.antidot.ws/sitemap.xml][title=<title>(.*?) &raquo;][bodytext=<div id="news-id-\d{1,8}(.*?)<div class="quote">]. Как видим - все элементарно, программе достаточно одной строчки.

В базе программы пока только 1 сайт.

Скриншот программы



Скачать программу

P.s.: Если есть идеи по поводу создания на текущей неотработанной базе коммерческого продукта - велкам.


Поблагодарили: (5)
11
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
proekt-gaz
proekt-gaz
сообщение 11.8.2010, 6:44; Ответить: proekt-gaz
Сообщение #2


Интересная программа. Я так понял добавлять в конфиг можно несколько файлов для парсинга? В какой последовательности тогда будет работать программа?


--------------------
клоновод
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 11.8.2010, 6:53; Ответить: Пуховой
Сообщение #3


proekt-gaz, добавлять в файл базы можно несколько строчек-инструкций. При запуске парсинга программа работает по следующему принципу: если карт в базе меньше трех, достаем ссылки из всех, иначе достаем ссылки из трех случайных карт. На деле даже три карты могут дать до 50.000 ссылок на страницы для парсинга контента.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Smertnikcs
Smertnikcs
сообщение 11.8.2010, 7:50; Ответить: Smertnikcs
Сообщение #4


Спасибо за программу. Буду пробовать.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 11.8.2010, 15:53; Ответить: Пуховой
Сообщение #5


Кто-либо уже пробовал? В каку. сторону развивать?

?

?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
proekt-gaz
proekt-gaz
сообщение 11.8.2010, 16:41; Ответить: proekt-gaz
Сообщение #6


Я бы потестил, но увы, не на чем.


--------------------
клоновод
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 11.8.2010, 16:49; Ответить: Пуховой
Сообщение #7


Можно добавить несколько других CMS. Идей уже набросали, осталось реализовать.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gangstar90
gangstar90
сообщение 12.8.2010, 17:41; Ответить: gangstar90
Сообщение #8


кул, час пару трампов на вп сделаю для доров, спасибо Пух


--------------------
Стабильный доход для сайтов ipad тематики!
Писать в лс для рассмотрения Вашего ресурса
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
monia
monia
сообщение 17.8.2010, 10:42; Ответить: monia
Сообщение #9


c WP пока не работает?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Пуховой
Пуховой
Topic Starter сообщение 17.8.2010, 10:51; Ответить: Пуховой
Сообщение #10


Грабить можно с любых сайтов.

Постить - на любые, поддерживающие протокол xml-rpc (wordpress и десятка два других в том числе).
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыA-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
352 Forbidden 278221 21.3.2024, 14:38
автор: AParser_Support
Открытая тема (нет новых ответов) Нужен постинг в твиттер
3 uahomka 1703 20.2.2024, 1:00
автор: robot_yaga2
Открытая тема (нет новых ответов) Дайте бесплатного контента! :)
2 Tia2 984 22.12.2023, 18:53
автор: zyzy
Открытая тема (нет новых ответов) Размещение Ваших объявлений на досках , постинг на форумах
17 obyava37 8176 1.8.2023, 6:09
автор: obyava37
Горячая тема (нет новых ответов) Занимаюсь добычей качественного контента из Вебархива. Опыт уже более трех лет
Предоставляю только качественный, читабельный контент.
62 kuz999 37957 27.7.2023, 13:55
автор: kuz999


 



RSS Текстовая версия Сейчас: 29.3.2024, 2:40
Дизайн