X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Пара вопросов про парсеры сайтов.
camper_pskov
camper_pskov
Topic Starter сообщение 4.11.2012, 19:08; Ответить: camper_pskov
Сообщение #1


Привет.
В процессе создания сайта мне захотелось реализовать одну фичу.

Суть: на портале необходимо реальзовать раздел новостей, который бы пополнялся без вмешательства людей. Поискал среди существующих парсеров, но все не то.

Что мне надо реализовать: скрипт каждые 20-30 минут чекает RSS-ленту сайта, проверяет наличие новых новостей и если находит, то сохраняет урл статьи, название, время публикации и полный текст статьи (в самом рсс-фиде урезаный текст) + картинки (если они есть) + в конце текста ставит ссылку на источник (то есть на страничку сайта, которую мы парсили), в базу данных, откуда она и выводится на сайт.

Вопросы к форумчанам:
1) Может быть подобный парсер есть, но я плохо искал?
2) Если такого парсера нет, то как вы думаете, сколько стоит разработка? Может быть у вас есть знакомый программист (или вы сами программист)?

Сообщение отредактировал camper_pskov - 4.11.2012, 19:12
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rAndrey
rAndrey
сообщение 4.11.2012, 19:16; Ответить: rAndrey
Сообщение #2


Для DLE есть RSS Grabber + cron. С его помощью можно реализовать все что вы перечислили.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
camper_pskov
camper_pskov
Topic Starter сообщение 4.11.2012, 19:18; Ответить: camper_pskov
Сообщение #3


rAndrey, забыл написать, что движок портала самописный. Так что этот вариант, к сожалению, не подходит.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 4.11.2012, 21:22; Ответить: webpavilion
Сообщение #4


что у вас там за огород в самописе его творцы нагородили никто не знает, по этой же причине не существует готового парсера который в этот огород сможет сохранять. выход из ситуации один: заказать самописный парсер для самописного движка. стоить будет от $50 и до бесконечности.


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ParavoZ
ParavoZ
сообщение 4.11.2012, 22:32; Ответить: ParavoZ
Сообщение #5


1. Написать парсер
2. Проанализировать структуру БД
3. Дополнить парсер импортером данных в вашу БД по структуре её таблиц
4. Поставить на крон
5. PROFIT!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
WebAction
WebAction
сообщение 4.11.2012, 22:37; Ответить: WebAction
Сообщение #6


Фича не нова, если хорошо продумать - может получиться очень полезная и удобная вещь. Если интересно - пишите, обсудим написание smile.gif


--------------------
--тут может быть ваша реклама--
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hdm
hdm
сообщение 8.11.2012, 14:53; Ответить: hdm
Сообщение #7


а спарсить нужно только HTML самой статьи или еще и картинки стибрить и закинуть вам на сервер?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
r-oot
r-oot
сообщение 9.11.2012, 0:50; Ответить: r-oot
Сообщение #8


Если еще в силе - пишите, готов сделать.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Будет ли склейка сайтов если старый телефон перенести на новый сайт?
1 noviktamw 370 Вчера, 18:31
автор: malamut
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыСтатейное продвижение ваших сайтов по качественной базе с тИЦ
тИЦ 10+
237 Intersect 258014 Вчера, 12:13
автор: Intersect
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
20 uahomka 3467 23.4.2024, 11:54
автор: Skyworker
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВечные ссылки с трастовых сайтов
54 1informer 22866 20.4.2024, 18:39
автор: 1informer
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПродам базу сайтов Wordpress в 16 миллионов доменов! Свежая сборка.
19 Boymaster 11413 20.4.2024, 0:01
автор: Boymaster


 



RSS Текстовая версия Сейчас: 25.4.2024, 8:28
Дизайн