X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Альтернативный DLE Граббер
SergeyGr
SergeyGr
Topic Starter сообщение 7.10.2009, 15:28; Ответить: SergeyGr
Сообщение #1


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


Предлагаю Вашему вниманию DLE Grabber написанный на PHP.
DLE порталы очень популярны в рунете, отсюда и актуальность данной темы.
-------------------------------------------------------------------------


Особенности скрипта:
  • Скрипт полностью автономен и самодостаточен.
    Он легко устанавливается, имеет простой интуитивный интерфейс.

  • Универсальность.
    Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
    можно использовать на любом сайте, независимо от того, базируется он на популярной CMS или на самописном скрипте.

  • Гибкость - два режима работы.
    >>Классический режим:
    В этом режиме дистрибутив граббера копируется в директорию Вашего сайта.
    Все что нужно - указать его драйвер.
    Полученные новости, после их подтверждения, автоматически размещаются у Вас на сайте.

    >>Пакетный режим:
    Суть режима заключается в разделении процесса получения новостей от их добавления.
    Грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет набор denwer),
    скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые, впоследствии, копируются на Ваш сайт, где другая копия граббера их обрабатывает.
    Преимущества данного режима:
    • Возможность грабить большое количество статей одновременно, если этого не позволяет делать Ваш хостинг;
    • Если вы грабите долгое время с одного сайта, рано или поздно, Ваш IP на этом сайте может быть просто забанен,
      а если грабить с локального сервера - тут Вам на помощь прокси и/или динамический IP.

  • Функциональность.
    • Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям;
    • Возможнсоть получения новостей определенной категории или всех новостей, публекуемых на главной странице;
    • Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
    • Возможность добавления "случайных" дат при размещении новостей на Вашем сайте;
    • Возможность проверки новости на уникальность перед добавлением;
    • Возможность поэтапного добавления новостей на Ваш сайт;
    • Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов);
    • Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
    • Возможность цензурирования новостей;
    • Возможность "чистки" HTML-кода новости;
    • Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов);
    • Наличие встроенного редактора новостей;
    • Наличие встроенного онлайн синонимизатора (для проверки баз);
    • Наличие компонента для поиска по DLE сайтам;

    * - На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени). Данный скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
    Данная опция также может быть полезна, если на Вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
    (на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).



  • Оптимизация.
    Работа с граббером максимально нацелена на оптимизацию. Все конфиги расположены в отдельной директории и максимально документированы. По желанию, мы также можем оптимизировать скрипт персонально для Вас.

  • Надеждый механизм работы.
    Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
    Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
    после любого сбоя не представляет проблем
    , достаточно заного указать начальную и конечную страницы,
    а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.

  • Расширяемость.
    С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
    расположены в отдельных библиотеках, что позволит оптимизировать или расширить
    функционал скрипта даже начинающему программисту
    . В граббер, также, встроен простой, но удобный механизм подключения
    собственных модулей по обработке контента.

  • Безопасность.
    Граббер имеет встроенный механизм авторизации для ограничения доступа к скрипту.
    Данную функцию можно включить и выключить в любой момент.

  • Выгодные условия.
    Стоимость данного скрипта - 25 WMZ. Форма оплаты - WebMoney.
    При покупке вы получаете:
    • Полный дистрибутив скрипта с открытым исходным кодом и документацией;
    • Драйвера для следующих движков: DLE, IPB, SMF, WordPress, phpBB 3.0.x;
    • Несколько модулей, включая модуль загрузки новостных картинок на Ваш сайт;
    • Отсутствие ограничений по времени использования;
    • Отсутствие привязок (к домену/IP/....);
    • Бесплатную техническую поддержку по электронной почте и ICQ в течении месяца;


  • Итого
    По любым вопросам вы можете обращаться по ICQ: 494-897-304.
    Если Вас заинтересовал граббер, я могу предоставить ссылку на демонстрационную онлайн версию,
    где вы можете протестировать его на сайтах, которые Вам интересны. Пишите!




-------------------------------------------------------------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeyGr
SergeyGr
Topic Starter сообщение 17.10.2009, 19:04; Ответить: SergeyGr
Сообщение #2


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


Готова новая версия. Учтены многие пожелания покупателей, в том числе, добавлен визуальный RTE-редактор для предварительного редактирования новостей.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeyGr
SergeyGr
Topic Starter сообщение 20.10.2009, 18:46; Ответить: SergeyGr
Сообщение #3


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


Цена граббера увеличивается до 35 wmz.

В новой версии появилась возможность добавлять потоковые видео (IMBd) в нескольких режимах (в том числе и с полной загрузкой FLV-видео)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeyGr
SergeyGr
Topic Starter сообщение 5.11.2009, 18:51; Ответить: SergeyGr
Сообщение #4


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


Итак, как и обещал, - выпускаю обновление. Постарался реализовать наиболее интересные предложения,
которые мне поступили)


- Добавлен универсальный конвертор формата текстовых баз синонимов;
- добавлена возможность автоматического наложения водяного знака на картинки, если они загружаются на сервер;
- добавлена возможность автоматического сохранения картинок в разные папки с сортировкой по дате (годам, месяцам)
- добавлена система удаления текстовых совпадений из содержания новости по шаблонам;
- добавлена возможность заключения всех ссылок новости в тег ... ;
- добавлена возможность автоматического расшифровывания dle ссылок (./engine/go.php) на сайте-источнике;
+ также множество других нововведений;


Также, хочу еще раз прояснить некоторые моменты:
- Текущая цена граббера 35 wmz;
- Услуга бесплатной установки и настройки граббера действительна ТОЛЬКО для одного сайта.
- Для всех клиентов обновления в течении 6 месяцев - бесплатны!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeyGr
SergeyGr
Topic Starter сообщение 18.11.2009, 21:44; Ответить: SergeyGr
Сообщение #5


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


Рад сообщить о выходе новой версии. Вот список нововведений:

  • Улучшен механизм синонимизации текста, в частности, превью и полную часть новости можно синонимизировать разными базами;
  • Добавлен новый модуль (а также визуальный компонент к нему) для уникализации текста с помощью Google Translate;
  • Добавлен драйвер для движка LiveStreet;
  • Добавлен драйвер для движка Joomla;
  • Добавлен драйвер, сохраняющий новости в текстовые файлы;
  • Добавлен модуль для тумбирования больших картинок на уровне html-кода;
  • Добавлен модуль для замены текста (по точным совпадениям или по шаблонам);
  • Добавлена возможность сохранения списка последних спарсенных сайтов;
  • Добавлена возможность использования прокси-сервера для парсинга новостей;
  • Все регулярные выражения, отвечающие за парсинг источника, - вынесены в отдельный конфиг и документированы, благодаря чему данный скрипт можно адаптировать под сайты, ранее не поддерживаемые;*

А также многое другое... В скором времени, цена на скрипт будет увеличина - так что торопитесь : - )



---------------------------------------------------------------------------------------
P.S. Как и прежде, все обновления - бесплатны!


* - техническая поддержка по конфигурации данной библиотеки не предоставляется.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeyGr
SergeyGr
Topic Starter сообщение 5.12.2009, 17:44; Ответить: SergeyGr
Сообщение #6


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


Итак, сегодня вышла новая версия.

В ней серьезно переработано ядро.
Теперь скрипт работает гораздо быстрее, правильно читает бОльшее количество DLE сайтов, в том числе сайты с отключенным ЧПУ.


Кроме этого:
- Добавлена возможность уменьшения размера больших изображений на уровне самих файлов (при загрузке картинок на сервер)
- Значительно улучшена система адаптации скрипта к нечитаемым сайтам
- Упрощена работа с конфигами
- Добавлен универсальный модуль загрузки файлов: он может использоваться для загрузки любого типа файлов (будь-то .swf flash-ролики и/или .rar архивы)
- И многое другое...



В данной версии скрипта присутствуют механизмы защиты от распространения.
В случае обнаружения факта использования скрипта третьими лицами, лицензия
на данную копию теряет свою силу.

В этом случае, владелец скрипта лишается права получения бесплатной
технической поддержки, а также возможности получения обновлений.


-----------------------------------------------------------------------
Цена на скрипт составляет 35 wmz, обновления и техническая поддержка - бесплатны!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeyGr
SergeyGr
Topic Starter сообщение 29.12.2009, 15:42; Ответить: SergeyGr
Сообщение #7


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


Итак, сегодня выпущен финальный релиз новой версии.
В ней большое количество изменений, отмечу только ряд инноваций:




- Добавлена возможность размещения новостей от случайного автора из списка;

- Добавлена поддержка мета-keywords и meta-description; заполнение этих полей возможно в трех режимах:
а) получение непосредственно с сайта-источника;
б) с помощью автоматической системы получения ключевых слов через анализ контента;
в) по собственным шаблонам;

- Добавлен универсальный драйвер удаленного импорта новостей для сайтов, на которых нельзя разместить свой сторонний php код (например, ucoz);
По умолчанию, в качестве примера, драйвер настроен на ucoz.

- Добавлена возможность пропуска всех дополнительных шагов (просмотра списка новостей, подтверждение добавления) в автоматическом режиме;

- А также множество других функций;





Также... для моих клиентов я подготовил подарок...
В дистрибутив новой версии скрипта входит скрипт, позволяющий поставить граббер на CRON.
Данный инструмент закрыт Zend Guard и работает по лицензионным ключам, для получения которых обратитесь ко мне в ICQ.
Для каждого клиента доступно до 5 ключей на различные копии вашего граббера, расположенные на разных доменах.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeyGr
SergeyGr
Topic Starter сообщение 4.1.2010, 2:18; Ответить: SergeyGr
Сообщение #8


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


------------------------------------------------------------
Акция!

Стоимость граббера до 9 января составляет 25 WMZ!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeyGr
SergeyGr
Topic Starter сообщение 10.1.2010, 14:04; Ответить: SergeyGr
Сообщение #9


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


Акция закончена!


Всвязи со спросом ввожу услугу - покупка дополнительных ключей для крона (стоимость зависит от количества).
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeyGr
SergeyGr
Topic Starter сообщение 18.3.2010, 0:41; Ответить: SergeyGr
Сообщение #10


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 7.10.2009
Поблагодарили: 0 раз
Репутация:   0  


На следующей недели будет выпущена новая версия.

До 25 марта цена граббера будет составлять 25 wmz
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
143 contex1 65202 Сегодня, 9:07
автор: contex1
Горячая тема (нет новых ответов) Регистрация Вашего сайта (профиля,DLE сайты,подписи на форумах,постинг Тиц 10> , ПР 1>)
278 kaartes 102877 14.12.2017, 10:55
автор: kukla
Открытая тема (нет новых ответов) Адаптивная вёрстка и натяжка на Wordpress, DLE, Joomla и др. Создание мобильных версий.
Хороший код с оптимизацией по скорости. Сайты и лендинги "под ключ
15 Nell 1168 13.12.2017, 23:36
автор: Nell
Открытая тема (нет новых ответов) Требуется так сказать оптимизация шаблона DLE
5 Deadman_n 420 2.12.2017, 13:24
автор: Deadman_n
Открытая тема (нет новых ответов) Перенос сайта с DLE на WordPress
3 mdobyshev 873 30.11.2017, 7:29
автор: Nell


 



RSS Текстовая версия Сейчас: 17.12.2017, 12:48
Дизайн