X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Teaser Searcher - Парсер тизеров из сетей redtram, Marketgit, adsyst..., С преферансом и поэтессами
bolyk
bolyk
Topic Starter сообщение 17.12.2013, 10:10; Ответить: bolyk
Сообщение #1


Приветствую, Уважаемые. Вообщем, продаю:

Teaser Searcher - это серверный скрипт(php+mysql) для сбора, фильтрации и скачивания тизеров из популярных тизерных сетей, который может работать как в ручном(нажал на кнопку и сразу забрал нужные), так и в автоматическом(создаем задачи, ставим на cron, и время от времени забираем с базы тизера по нужной(ых) тематике) режимах.

Алгоритм работы скрипт очень простой:
1)Создаем базу с ключами, например "Похудение";
2)Добавляем в эту бызу список ключей, которые по вашему мнению могут/должны встречаться в заголовках и/или описаниях к тизеру. Например: жир, худать, Пугачева
3)Запускаете сбор тизеров из нужной сети и сразу скачиваете их себе, или создаете задачу, запуская которую, время от времени, будете получать в базу данных тизера нужной тематики.

Возможности плагина:
-парсинг ПП redtram, Marketgit, adsyst+подготовлена почва для быстрого добавления новых ПП;
-парсинг ключевых слов(или "основ" слов) из этих ПП для быстрого наполнения баз ключевых слов;
-статистика по вхождению ключевых слов в заголовках и описаниях, что позволяет оценить популярность(очень приблизительно, конечно) "тем" в той или иной ПП;

-создание "задач" для автоматизации сбора тизеров+поиск по своей базе тизеров;

-логирование работы задач;
-статистика по количеству ключевых слов и тизеров.

Технические характеристики:
-"Многопоточность". 1к ссылок с тизерами скрипт в 20 потоков на 40Mbit канале проходит за 30 секунд с использование около 80мб оперативной памяти;
- Обработка довольно больших объемов данных. В среднем 1300 ссылок с тизерами на ПП. Это дает около 300-500(Marketgit - 1к) новых тизеров с каждой ПП в сутки. Со временем наполнения базы, эти цифры, конечно, будут падать, но пока стабильно...
- "Многопоточное" скачивание нужных тизеров и запаковка их в архив, вместе с текстовым файлом, в котором, к каждому, будет информация по ПП, ссылке слива, заголовку и описанию.
- Очень простой для пользователя интерфейс.
- Очень простая как ручная так и полуавтоматическая установка(инсталлятор прилагается).
- Возможность скрыть интерфейс скрипта. Например, настроили нужные задачи, поставили их на крон и отключили интерфейс. Потом, время от времени, включаем и забираем тизера с базы.
- Работа на локальных серверах, например Openserver

Галярея Скриншотов:
http://fotki.yandex.ru/users/bolyk1987/album/209455/

Видео демонстрация работы:


Требования к рабочей среде:
Php >5.3+Mysql+Curl+Zlib
memory_limit >=128M
max_execution_time >=120

От автора:
Хотя мой опыт с тизерными сетями мизерный(и, в основном, негативный), все же есть положительные моменты в сфере массового производства сайтов(сателлитов/дорвеев/магазинов), сбора и обработки довольно больших объемов информации.
Имею полугодовой опыт поддержки клиентов(>170 человек) по другому скрипту, для работы с CPA сетями.

Цена скрипта:
30 WMZ или в эквивалентный единицах на рубли/гривны.

Контакты:
Личка
Ася: 49481два1два4
Почта: bolyk1987@yandex.ru
и, конечно же, отвечу на все вопросы, здесь, в ветке.

Сообщение отредактировал bolyk - 17.12.2013, 10:11
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
span4bob
span4bob
сообщение 17.12.2013, 11:46; Ответить: span4bob
Сообщение #2


У меня вопрос как потом обрабатывать спаршенную информацию?
Я как понимаю потом результаты можно эксвпортировать в тхт фаил?


--------------------
Выгодно Ссылки с сайтов ТИЦ 100+ ◄ ! Хорошая индексация бэклинков
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bolyk
bolyk
Topic Starter сообщение 17.12.2013, 12:31; Ответить: bolyk
Сообщение #3


Так точно - спаршеная информация записывается в бд и пользователь в удобное время может забрать ее в виде файлов картинок+файла с текстовой информацией.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
span4bob
span4bob
сообщение 17.12.2013, 12:46; Ответить: span4bob
Сообщение #4


(bolyk @ 17.12.2013, 12:31) *
ее в виде файлов картинок+файла с текстовой информацией

извените я поламерски занимался тизерками все время. то есть просто тупо подключая код
подскажите а что делать дальше то с этим контентом?


--------------------
Выгодно Ссылки с сайтов ТИЦ 100+ ◄ ! Хорошая индексация бэклинков
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bolyk
bolyk
Topic Starter сообщение 17.12.2013, 13:06; Ответить: bolyk
Сообщение #5


span4bob, Нет нет, никаких кодов. К себе на комп вы уже скачиваете гововые тизера+заголовки/описания к ник.

Что можно делать со скаченными тизерами:
-заливать их в другие пп
-на их основе делать свои уникальные
-наиболее важно, подсмотреть как их делают другие(оформления, текста, фишки дизайна)

Что можно делать со скаченными тестами:
-заливать их в другие пп
-на их основе делать свои уникальные
-наиболее важно, подсмотреть как пишут тексты делают вебмастера, какие слова используют, обороты.
-подсмотреть куда сливается такой траф, как оформлены лендинги.

Сообщение отредактировал bolyk - 17.12.2013, 13:06
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bolyk
bolyk
Topic Starter сообщение 20.12.2013, 22:48; Ответить: bolyk
Сообщение #6



Teaser Searcher v1.02
- Устранена ошибка с отсутствующими категориями ключевых слов.
- Добавлены инструкции для освобождения памяти в экземплярах классов парсеров.
- Устранены ишибки в инструменте выборки тизеров из базы данных.
- Устранены мелкие ошибки.
- Добавлена заглушка на изображения тизеров, которые отдают 404.
- В инструмент статистики добавлена страница с переменными окружения.
- Обновлен мануал.

Цена скрипта:
30 WMZ или в эквивалентный единицах на рубли/гривны.

Контакты:
Личка
Ася: 49481два1два4
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bolyk
bolyk
Topic Starter сообщение 30.1.2014, 12:04; Ответить: bolyk
Сообщение #7



Teaser Searcher v1.5
- полностью переписано общение сервер-клиент. Вместо скучного прогрессбара, используется лог работы парсера.
- полностью пересмотрена работа с ошибками. Если на серверной части ошибка, клиент(браузер), будет об этом проинформирован.
- полностью переделан интерфейс скрипта. Проведена огромная работа по удалению кучи Ajax обращений к серверу. Все спорные вопросы были переписаны на проверенные временем плагины и скрипты.
- добавлены 174 источника ПП Adriver.

Цена скрипта:
30 WMZ или в эквивалентный единицах на рубли/гривны.

Контакты:
Личка
Ася: 49481два1два4
форум: http://ifirestarter.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bolyk
bolyk
Topic Starter сообщение 6.2.2014, 9:39; Ответить: bolyk
Сообщение #8



v1.52
- откорректирована работа скрипта(в частности логов) в подпаке
- в который исправлена работа логов
- исправлено отображение изображений которые отдают 404
- исправлена выборка тизеров из БД
- обновлена(прочекана заново) база Marketgid

Новости:
http://ifirestarter.ru/discussion/29/novosti-teaser-searcher

Ветка с багами:
http://ifirestarter.ru/discussion/10/bagi-teaser-searcher

Цена скрипта:
30 WMZ или в эквивалентный единицах на рубли/гривны.
На Складчике, всего 500 рублей(но пару недель придется подождать)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bolyk
bolyk
Topic Starter сообщение 11.2.2014, 23:30; Ответить: bolyk
Сообщение #9


Teaser Searcher v1.53
- исправлен инсталятор, работа с htaccess
- поправлен сам htaccess
- исправлены двойные слеши на странице редактирования ключей
- переработаны парсеры ключевых слов со всех парсеров
- в связи со сменой верстки, обновлена регулярка Marketgid
- мелкие правки в скрипте скачивания тизеров
- в тестовом режиме добавлена поддержка сети Directadver
- в тестовом режиме добавлена поддержка сети Payclick
- отныне, вся разработка перенесена на ОС Debian.

Новости:
http://ifirestarter.ru/discussion/29...easer-searcher

Ветка с багами:
http://ifirestarter.ru/discussion/10...easer-searcher

Цена скрипта:
30 WMZ или в эквивалентный единицах на рубли/гривны.
На Складчике, всего 500 рублей(но пару недель придется подождать)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bolyk
bolyk
Topic Starter сообщение 2.3.2014, 12:26; Ответить: bolyk
Сообщение #10



v1.54
- исправлены заголовки request запросов для всех парсеров
- малки правки по парсеру Merketgid
- исправлены ошибки в сриптах, которые отвечают за "Задачи"
- добавлена ПП Luxup(Звезды, актеры, новости и т.д) 2к источников(или 9к в полной базе)


Новости:
http://ifirestarter.ru/discussion/29/novosti-teaser-searcher

Ветка с багами:
http://ifirestarter.ru/discussion/10/bagi-teaser-searcher

Количество тизеров по отдельным ключевым слова:
Последние две недели задумывался о том, нужен ли этот софт людям, стоит ли продолжать, или раздать деньги и проблемам конец. Основными жалобами клиентов является малое количество тизеров по тем или иным ключам. Люди сбрасывают ссылки на сервисы по парснгу, говорят что по тому или иному ключу там в разы больше тизеров и т.д. И это очень тревожило меня как разраба. Но, после недавнего разговора с двумя компетентными людьми, я понял, что допустил, одну, очень большую ошибку, причем, не в плане техническом, а в плане маркетинговом, что называется. А суть сей проблема очень проста: я не правильно представил продукт массам. То есть, Teaser Searcher, решает задачи по парснгу тизеров немножко иначе, чем публичные сервисы по парсингу тизеров и описаний к ним.

Отличия таковы:
Публичные сервисы, как правило, состоят из двух частей, фронтенда, где пользователь(клиент), введя ключевое слово, получает огромное количество нужных тизеров из готовой базы данных и непосредственно самых парсеров, которые работают постоянно или запускаются раз в день/час/минуту. Парсеры работают постоянно!!!, тем самым пополняя базу всеми, без разбору, тизерами, которые смог выловить во время работы. А выбор тизеров по нужным ключевым словам, остается за клиентами. Данные тизера, могут быть собраны час/день/месяц тому назад.
Teaser Searcher устроен немножко иначе. Указав базу ключевых слов, он показывает вам тизера, которые отдает ПП в данный момент. Парсер проходит список источников, сразу отдает их в браузер и/или записывает в базу данных и останавливается. И если, в данный момент, ПП не отдала тизеров по нужным нам ключевикам, то и парсер их не заберет, как бы много источников не было. Для того, чтобы иметь такое количество тизеров как и публичные сервисы, в скрипте предусмотрены "Задачи", где, убрав фильтр по ключевым словам, мы будем получать абсолютно все тизера без разбору. А потом, с помощью "Выборки из БД", уже можно фильтровать эти тизера на наличие нужных тизеров. Но в таком случае, "Задачи" нужно ставить на запуск по крону раз в час/день/неделю. Иначе, что выловил, - все наше.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыA-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
353 Forbidden 279257 11.4.2024, 17:07
автор: AParser_Support
Открытая тема (нет новых ответов) PRO дизайн: для маркетплейсов и соц. сетей, разработка сайтов, логотипов и иллюстраций!
27 OlgaMcField 8298 6.4.2024, 11:55
автор: OlgaMcField
Открытая тема (нет новых ответов) Бесплатный парсер бот в Телеграм - [Parser Pro]
5 Parser_Pro 3349 27.1.2024, 16:12
автор: Parser_Pro
Горячая тема (нет новых ответов) Трафик на сайт с поисковых систем, Соц сетей (ОК,Ins,vk) и пр.
Дешевый трафик с поисоковых и соц. сетей
34 Jaguar777 23840 9.1.2024, 12:34
автор: Jaguar777
Открытая тема (нет новых ответов) Дизайн от Bonmart / Оформление тем, соц. сетей / Видеоролики / Креативы для таргета
Сайты, соц.сети, логотипы, буклеты
8 Parnas 5063 19.11.2023, 18:59
автор: Parnas


 



RSS Текстовая версия Сейчас: 18.4.2024, 14:38
Дизайн