Я писал подобный парсер для новостей. Реализуется просто - отбираешь нужные сайты для парсинга, для каждого пишешь свой парсер)), объединяешь все новости в одну ленту, при необходимости разбиваешь на категории. Ставишь парсеры на cron и все само обновляется каждые n минут/часов.
Учитывая, что в сабже парсятся только анонсы новостей и без картинок, то написание каждого парсера 5-60 минут. К примеру 100 источников это около недели нудной работы и огромное количество контента на выходе.

спасибо ... а можно пример кода увидеть))

Сообщение отредактировал lostprophet - 23.11.2011, 12:54

Нет, код писался на заказ, такие коды не храню у себя и не показываю. Для парсинга использовал самую простую библиотеку для этого дела PHP Simple HTML DOM Parser. Работает с селекторами в стиле jquery, парсер получается что-то вроде.

Я, конечно немного утрирую, но парсинг простых по структуре анонсов новостей занимает 10-30 строк кода (выделение даты публикации, заголовка, ссылки на полную новость, извлечение текста анонса и очистка от инлайновых стилей и лишних тегов).

Для подключения к страницам можно использовать curl, а если страниц немного, то и встроенную функцию парсера

Почитайте про регулярные выражения, многое станет понятно. Там вся HTML страничка получается в виде строки, и из строки Вам нужно будет выбрать необходимое.

можно парсить страницы сайта, либо rss (многие новостники такое предоставляют, например, lenta.ru/rss/ но как правило, текст идёт с 1-2 параграфами). если непонятно слово «парсить», можно его заменить словом «тырить» (как полу-синонимом). в сети есть бесплатные скрипты (по ленте точно встречал) как раз на Вашу тему. но если хотите, чтобы работало с Вашими сайтами, скорее всего придётся у кого-то заказывать. ну и тут есть минус: как только на любом из сайтов меняется вёрстка вывода новостей, соответствующий парсер становится неработоспособным (в лучшем случае, будет забирать больше информации, чем содержится в новости), и его необходимо пилить под новую выдачу.


зы: регулярные выражения не особо подходят для создания парсеров:

oroom прав чуть более, чем полностью

Регулярными выражениями удобно парсить короткую специфическую информацию (телефоны, емейлы, ссылки), а для парсинга больших структурированных объемов информации более удобны DOM парсеры.

Тема оказалось малость пророческой.Только что получил на почту задачу на парсинг полных новостей и их анонсов со 100 сайтов

невозможно написать парсер, который будет парсить любые сайты. Только индивидуально под каждый сайт.

Программа для парсинга любого вида контента и самостоятельной публикации (доступно в бесплатной версии) и публикации на любых сайтах на автомате (в платной) - Ночной дозор (Ночной бдун), разобраться просто, работает отлично, там же смотрим видео как пользоваться как парсить и как публиковать



Ваш запрос G/Y выбираете с каких сайтов забираем новости, парсим, настраиваем экспорт, публикуем, далее все ставим на автомат или в ручную

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.

Сообщение отредактировал epol - 27.11.2011, 16:21