X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Пара вопросов про парсеры сайтов.
camper_pskov
camper_pskov
Topic Starter сообщение 4.11.2012, 19:08; Ответить: camper_pskov
Сообщение #1


Новичок
*

Группа: User
Сообщений: 34
Регистрация: 25.3.2012
Из: Интернетов
Поблагодарили: 4 раза
Репутация:   2  


Привет.
В процессе создания сайта мне захотелось реализовать одну фичу.

Суть: на портале необходимо реальзовать раздел новостей, который бы пополнялся без вмешательства людей. Поискал среди существующих парсеров, но все не то.

Что мне надо реализовать: скрипт каждые 20-30 минут чекает RSS-ленту сайта, проверяет наличие новых новостей и если находит, то сохраняет урл статьи, название, время публикации и полный текст статьи (в самом рсс-фиде урезаный текст) + картинки (если они есть) + в конце текста ставит ссылку на источник (то есть на страничку сайта, которую мы парсили), в базу данных, откуда она и выводится на сайт.

Вопросы к форумчанам:
1) Может быть подобный парсер есть, но я плохо искал?
2) Если такого парсера нет, то как вы думаете, сколько стоит разработка? Может быть у вас есть знакомый программист (или вы сами программист)?

Сообщение отредактировал camper_pskov - 4.11.2012, 19:12
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rAndrey
rAndrey
сообщение 4.11.2012, 19:16; Ответить: rAndrey
Сообщение #2


Участник
***

Группа: User
Сообщений: 137
Регистрация: 16.9.2012
Поблагодарили: 20 раз
Репутация:   4  


Для DLE есть RSS Grabber + cron. С его помощью можно реализовать все что вы перечислили.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
camper_pskov
camper_pskov
Topic Starter сообщение 4.11.2012, 19:18; Ответить: camper_pskov
Сообщение #3


Новичок
*

Группа: User
Сообщений: 34
Регистрация: 25.3.2012
Из: Интернетов
Поблагодарили: 4 раза
Репутация:   2  


rAndrey, забыл написать, что движок портала самописный. Так что этот вариант, к сожалению, не подходит.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 4.11.2012, 21:22; Ответить: webpavilion
Сообщение #4


сеошник на пенсии
*******

Группа: Active User
Сообщений: 2726
Регистрация: 28.4.2009
Из: МО
Поблагодарили: 1659 раз
Репутация:   171  


что у вас там за огород в самописе его творцы нагородили никто не знает, по этой же причине не существует готового парсера который в этот огород сможет сохранять. выход из ситуации один: заказать самописный парсер для самописного движка. стоить будет от $50 и до бесконечности.


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ParavoZ
ParavoZ
сообщение 4.11.2012, 22:32; Ответить: ParavoZ
Сообщение #5


G
*******

Группа: Active User
Сообщений: 2522
Регистрация: 5.1.2009
Поблагодарили: 1329 раз
Репутация:   167  


1. Написать парсер
2. Проанализировать структуру БД
3. Дополнить парсер импортером данных в вашу БД по структуре её таблиц
4. Поставить на крон
5. PROFIT!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
WebAction
WebAction
сообщение 4.11.2012, 22:37; Ответить: WebAction
Сообщение #6


Топовый постер
*******

Группа: Super Moderator
Сообщений: 3059
Регистрация: 18.11.2009
Поблагодарили: 2512 раз
Репутация:   249  


Фича не нова, если хорошо продумать - может получиться очень полезная и удобная вещь. Если интересно - пишите, обсудим написание smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hdm
hdm
сообщение 8.11.2012, 14:53; Ответить: hdm
Сообщение #7


Новичок
*

Группа: User
Сообщений: 32
Регистрация: 23.3.2011
Поблагодарили: 1 раз
Репутация:   -2  


а спарсить нужно только HTML самой статьи или еще и картинки стибрить и закинуть вам на сервер?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
r-oot
r-oot
сообщение 9.11.2012, 0:50; Ответить: r-oot
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 506
Регистрация: 30.3.2008
Поблагодарили: 19 раз
Репутация:   12  


Если еще в силе - пишите, готов сделать.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСерпхант – инструменты анализа и мониторинга сайтов
Анализ и мониторинг сайтов сервисом Серпхант
21 Serphunt 4163 Сегодня, 8:31
автор: Serphunt
Открытая тема (нет новых ответов) Создание сайтов / Web Studio Avram Lincoln
16 AvramLincoln 1763 Вчера, 11:51
автор: AvramLincoln
Открытая тема (нет новых ответов) Дизайн сайтов / Продажа макетов PSD
20 MasterBes 5607 16.12.2017, 23:25
автор: MasterBes
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыПредлагаю прогон по 4 млн сайтов.
546 MorKer 693180 16.12.2017, 17:48
автор: MorKer
Открытая тема (нет новых ответов) Куплю базы трастовых сайтов
0 seobomjru 365 16.12.2017, 16:19
автор: seobomjru


 



RSS Текстовая версия Сейчас: 18.12.2017, 9:17
Дизайн