X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

14 страниц V   1 2 3 4 5 6 7 8 9 10 11 > » 
Открыть тему
Добавить ответ в эту тему
> A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, DMOZ, Whois, etc
Forbidden
Forbidden
Topic Starter сообщение 21.1.2013, 20:28; Ответить: Forbidden
Сообщение #1


Новичок
*

Группа: User
Сообщений: 44
Регистрация: 12.9.2012
Поблагодарили: 5 раз
Репутация:   5  


Что такое A-Parser?

Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:

Поисковые системы

  • Google
  • Bing
  • Yahoo
  • Yandex
  • QIP - парсинг яндекса через search.qip.ru с выдачей до 5000 результатов с одного запроса
  • AOL - парсер search.aol.com, этот поисковик использует американскую выдачу Google


Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц

Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу

Для Яндекса есть возможность распознавания каптчи через сервис AntiGate(или любой другой с поддержкой их API)

Парсеры кейвордов

Сервисы поиска ключевых слов

  • Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики. Может сам подставляет найденные ключевые слова в запросы до указанного уровня.


Подсказки поисковых систем

  • Подсказки и релейтед кеи Google
  • Подсказки и релейтед Bing
  • Подсказки, релейтед и трендовые кеи Yahoo
  • Подсказки и релейтед Yandex


Для подсказок Google и Yandex умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится

Параметры сайтов и доменов

  • Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, топ рейтинг по стране, саму страну и количество бек-линков
  • Rank::MajestiSEO - парсер количества беклинков с сервиса majesticseo.com, парсит количество ссылающихся страниц, количество уникальных IP-адресов, подсетей класса C и количество уникальных доменов
  • Rank::SEMrush - проверяет рейтинг SEMrush, количество SE траффика и его стоимость, количество Ads траффика и его стоимость
  • Rank::OpenSiteExplorer - проверяет рейтинг домена\страницы по OpenSiteExplorer, а так же количество беклинков и бекдоменов
  • SE::Google::Position - проверка позиции домена по ключевому слову в Google
  • SE::Yandex::Position - проверка позиции домена по ключевому слову в Yandex
  • SE::QIP::Position - проверка позиции домена по ключевому слову в search.qip.ru
  • SE::Google::PageRank - PR страниц и доменов
  • SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи)
  • SE::Yandex::TIC - проверка тематического индекса цитирования домена в Яндексе(тИЦ)
  • SE::DMOZ - наличие сайта в каталоге DMOZ
  • SE::Google::TrustCheck - проверка сайта на траст(доверие) гугла(дополнительный блок ссылок в выдаче и т.п.)
  • Net::Whois - определяет зарегистрирован домен или нет, а так же дату окончания регистрации
  • SE::Bing::LangDetect - определение языка сайта через поисковик Bing
  • Net::DNS - парсер резолвит домены в IP адреса
  • Rank::Category - автоматически определяет категорию сайта на английском языке, категории такие же как в dmoz.org, например google.com - Computers/Internet/Searching
  • Rank::CMS - определение около 200 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков



Парсеры различных сервисов

  • SE::YouTube - полноценный парсер YouTube, парсит ссылку на ролик, титл, описание, длину ролика, дату добавления, имя пользователя и количество просмотров. Поддерживает все фильтры YouTube
  • SE::Google::Maps - парсер ссылок в результатах выдачи в картах Гугла(Google Maps), позволяет искать сайты привязанные к определенной местности
  • SE::Yandex::Direct - парсер direct.yandex.ru, парсит список всех объявлений(титл, текст, домен) и кол-во объявлений по определенному запросу
  • SE::Google::Images - парсер Google Images, парсит прямые ссылки на картинки, сниппеты, разрешение и размер
  • SE::Bing::Translator - переводчик через сервис www.bing.com/translator/, поддерживает все языки сервиса, включая автоопределение языка оригинала текста
  • Util::AntiGate - распознавание каптчи через сервис AntiGate, служит для настройки и тестирования распознавания каптч


Парсинг контента

  • HTML::LinkExtractor - парсит внешние и внутренние ссылки с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня.
  • Net::HTTP - скачивает указанную страницу, поддерживает многостраничный парсинг.


Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.

Обработка и фильтрация результатов

  • Фильтрация любого результата по вхождению строки, эквивалентности строк, регулярному выражению, больше, меньше, равно и т.п.
  • Уникализация любого результата по строке, домену, главному домену, папке, строке без учета параметров.
  • Парсинг любого результата с использованием регулярных выражений.



Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:


  • Полностью интерактивный мега-юзабильный веб интерфейс
    • Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
    • Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
    • Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
    • Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
    • Поддержка русского и английского языка

  • Огромная скорость работы, подробнее тут: Производительность
  • Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
  • User API - интеграция возможностей парсера в свои скрипты, подробнее тут: User API, взаимодействие с другими программами и скриптами
  • Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
  • Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
  • Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki


Более подробное описание и скриншоты

Wiki - дополнительная информация, инструкции и т.д.

Скриншот интерфейса:


На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременная уникализация по домену всех результатов

Ценовая политика

На данный момент продается версия Pro(все парсеры) и Enterprise(все парсеры + API)
  • Цена лицензии - 200$
  • Первый год обновления бесплатны, после первого года использования абонентская плата за обновления - 15$ за каждые 3 месяца(возможность работы без обновлений сохраняется)
  • Цена лицензии с API: +50$ к стоимости основной лицензии
  • Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$
  • Комплект A-Parser + A-Poster всего за 300$!
  • Специальное предложение - всем покупателям A-Parser'а предоставляются приватные прокси на 20 потоков на 2 недели!


Лицензия позволяет запускать A-Parser на одном сервере\компьютере(напоминаю поддерживается работа на всех версиях Windows и Linux). Переносить можно бесплатно, нельзя запускать на нескольких компьютерах одновременно.

Для покупки парсера зарегистрируйтесь на сайте http://a-parser.com и свяжитесь со мной по любому из следующих контактов:
  • ICQ 777889
  • Jabber/GoogleTalk forbidden2k@gmail.com
  • Skype frb403

Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а также возможно обсуждение реализации недостающего вам функционала.

Сообщение отредактировал bum - 21.1.2013, 20:43
Причина редактирования: -red


--------------------


Поблагодарили: (3)
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
M03G
M03G
сообщение 21.1.2013, 23:19; Ответить: M03G
Сообщение #2


Частый гость
**

Группа: User
Сообщений: 92
Регистрация: 2.8.2012
Поблагодарили: 14 раз
Репутация:   2  


Имел возможность тестировать хрефер, вебпарсер и собственно a-parser, в итоге остановив свой выбор на последнем. Как показала практика не прогадал. Такого обилия возможностей вы не встретите больше нигде, а если вам понадобится какая то новая фича, или дополнительный парсер, разработчик всегда пойдет вам на встречу. Скажу сразу, продукт не попсовый, требует некоторого времени на освоение всех его возможностей, благо товарищ Forbidden практически всегда на связи, и готов помочь составить правильный проект.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
evol22
evol22
сообщение 22.1.2013, 0:20; Ответить: evol22
Сообщение #3


Участник
***

Группа: User
Сообщений: 152
Регистрация: 4.7.2011
Поблагодарили: 59 раз
Репутация:   31  


Знакомство с A-Parserом у меня состоялось практически в первый период его появления как продукта. Долго искал замену Webparserу который и на то время порядочно глючил. Хотелось найти легкий, безпроблемный парсер который можно будет допилить под мои нужды. A-Parser превзошел мои ожидания, трудится практичекси с момента включения и до выключения компа, каждый день. Все мои пожелания были учтены, да и обновы выходят постоянно, проект не стоит на месте. Так держать!!!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
techseo
techseo
сообщение 22.1.2013, 8:52; Ответить: techseo
Сообщение #4


клоновод
*

Группа: Banned
Сообщений: 10
Регистрация: 19.1.2013
Поблагодарили: 4 раза
Репутация:   1  


Существует ли демо версия, потрогать ручками ?


--------------------
Забанен за клоноводство
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Golville
Golville
сообщение 22.1.2013, 16:02; Ответить: Golville
Сообщение #5


Участник
***

Группа: User
Сообщений: 188
Регистрация: 27.9.2011
Из: 0e90fe
Поблагодарили: 21 раз
Репутация:   4  


Вижу и на маултаке уже создали тему за мой любимы A-Parser, пора и отзыв оставить smile.gif

Юзаю я его почти каждый день, вот с какими задачами мне приходится сталкиватся каждый день:

Парсить гугл - благодаря а-парсеру и пакетику из 2к анонимных проксь, могу парсить миллионами результатов в день, тем самым обнавляю свои трастовые базы для хрумака и прочих интересных вешей (типо sql инъекций и так далее...)

Парсинг яндекса / вордстата / - как известно, чем лучше ключи для дора, тем лучше конверт, для этого каждый день чекаю миллионы ключей на конкуренция, частотность, и просто парсинг ключевых слов для дальнейшей обработки.

В программе присутсвует очень мощный прокси чекер, тем самым вставляю свой паблик лист с проксями состоящий из 500 сайтов, через 10-20 минут получаю свой списочек анонимных проксей с хорошой скорость и тайм-аутами. Благодаря им я уже и забыл за баны при парсинге, чего либо biggrin.gif

На мой взгляд, программа просто замечательная и стоит своих деняг (а может даже и больше). Поэтому если есть желание купить, не думайте, а покупайте!)

Сообщение отредактировал Golville - 22.1.2013, 16:04
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Forbidden
Forbidden
Topic Starter сообщение 23.1.2013, 22:26; Ответить: Forbidden
Сообщение #6


Новичок
*

Группа: User
Сообщений: 44
Регистрация: 12.9.2012
Поблагодарили: 5 раз
Репутация:   5  


(techseo @ 22.1.2013, 7:52) *
Существует ли демо версия, потрогать ручками ?


демо нету, спрашивайте вопросы smile.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
nocookie
nocookie
сообщение 23.1.2013, 22:35; Ответить: nocookie
Сообщение #7


Новичок
*

Группа: Viewer
Сообщений: 4
Регистрация: 10.11.2010
Поблагодарили: 1 раз
Репутация:   0  


Пользуюсь с момента запуска. Лучшие рекомендации.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LastNeoSEO
LastNeoSEO
сообщение 25.1.2013, 21:27; Ответить: LastNeoSEO
Сообщение #8


Новичок
*

Группа: Banned
Сообщений: 7
Регистрация: 8.1.2013
Поблагодарили: 0 раз
Репутация:   0  


Пока это лучшая программа и партнеры по бизнесу то же говорят.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Forbidden
Forbidden
Topic Starter сообщение 11.2.2013, 12:04; Ответить: Forbidden
Сообщение #9


Новичок
*

Группа: User
Сообщений: 44
Регистрация: 12.9.2012
Поблагодарили: 5 раз
Репутация:   5  


A-Parser - версия 0.9.370

Большое обновление интерфейса

  • Просмотр настроек задания
  • Редактирование созданного задания
  • Копирование заданий
  • Минимизация заданий
  • Перемещение заданий в очереди вверх/вниз
  • Просмотр текущего запроса целиком при наведении курсора
  • Возможность удаления задания из очереди завершённых заданий
  • Увеличение скорости работы интерфейса


Другие улучшения

  • В парсер SE::Yandex::WordStat добавлена поддержка распознавания каптчи через АнтиКаптчу, аналогично как сделано для парсера SE::Yandex
  • Теперь можно указывать разные данные для авторизации прокси в формате login:password@ip:port
  • Улучшена скорость при сохранении прогресса задания


Исправления

  • Добавлена поддержка авторизации для HTTP прокси при использовании CONNECT метода
  • Исправлен подсчёт результатов при использовании двух и более парсеров одновременно
  • Исправлен подсчёт средней скорости задания, теперь она считается с момента последнего старта задания
  • Исправление медленного регулярного выражения в парсере SE::Bing


Связанные задачи:
Ошибка #377: Fix results formating with some parsers(Net::Whois, ..)
Ошибка #378: Add support for proxy authorization with CONNECT method
Ошибка #379: Fix auth support for socks proxies
Ошибка #384: Unique URL count is inaccurate when using 2+ Parser
Ошибка #386: Fix wrong avg speed calculating(from task add time, now calc from start time)
Ошибка #390: Fix long running regex for SE::Bing
Улучшение #3: wait for stable ext js 4.1 and migrate
Улучшение #100: Implement task conf view in queue
Улучшение #101: Implement task edit
Улучшение #102: More logs usability + integration with queue
Улучшение #103: Move tasks in queue
Улучшение #143: Show full query on mouse over on Current query in Queue + truncate query to length of field
Улучшение #276: Stopped task in Active list - allow minimize (now all tasks can be minimized)
Улучшение #381: Wordstat + antigate
Улучшение #382: Прокси с разными данными для авторизации
Улучшение #383: Allow delete tasks from completed queue
Улучшение #387: Improve interface speed(when show big configs of tasks/proxychecker/parsers/etc)
Улучшение #388: Add posibility for copying tasks
Улучшение #389: Improve speed of saving/loading tasks
Улучшение #391: Flush results when pause/stop task


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Forbidden
Forbidden
Topic Starter сообщение 12.3.2013, 13:40; Ответить: Forbidden
Сообщение #10


Новичок
*

Группа: User
Сообщений: 44
Регистрация: 12.9.2012
Поблагодарили: 5 раз
Репутация:   5  


A-Parser - версия 0.9.383

Добавлен парсер Check::BackLink - проверяет нахождение вашей ссылки(ссылок) по базе ссылок:
  • Проверяет закрыта ли от индексации страница через robots.txt
  • Проверяет meta тег robots на наличие атрибутов noindex и nofollow
  • Проверяет наличие rel=nofollow у найденной ссылки


Парсер Rank::Ahrefs возвращен обратно

Теперь парсер собирает до 1000 результатов с каждого запроса

Так же значительно обновлена Документация, теперь она готова примерно на 70%, а в скором времени будет приятное обновление сайта.

Исправлено:
  • Импортированние пресетов заданий не работало, ошибка появилась в предыдущей версии
  • Исправлен парсер SE::AOL - теперь требуется гораздо меньше попыток на выполнение запроса


Связанные задачи:
Ошибка #402: Import preset not work
Ошибка #406: Fix parser crash when start paused task after server restart
Ошибка #418: Дубли имен заданий на закладке "Добавить" в поле "Сохр. задание"
Ошибка #419: Fix {size} result in SE::Google::Images
Ошибка #420: Remove unsupported 'deflate' method from accept-encoding header
Ошибка #421: Fix SE::AOL parser
Улучшение #254: Проверка базы ссылок на наличие обратной ссылки + noindex + nofollow
Улучшение #393: Return Rank::Ahrefs parser
Улучшение #403: Now SE::Yandex can parse up to 1000 links per query


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
14 страниц V   1 2 3 4 5 6 7 8 9 10 11 > » 
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
15 чел. читают эту тему (гостей: 15, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Что происходит с YouTube?
18 psy_nick 1087 Вчера, 21:22
автор: waves
Горячая тема (нет новых ответов) Проверка позиций сайтов в поисковых системах с помощью Positon.ru
Мониторинг продвижения сайтов
96 Positon 48213 Вчера, 20:44
автор: Positon
Горячая тема (нет новых ответов) Услуги по YouTube, Вконтакте, Twitter, Instagram, Facebook, Google+, Одноклассники, МойМир
Хорошие цены по соц. сетям
110 regdark 35499 Вчера, 17:06
автор: Phantom
Открытая тема (нет новых ответов) Tubes Clip One - парсер тубов
25 xoopw 12658 4.12.2016, 9:50
автор: kolobok415
Открытая тема (нет новых ответов) Продвижение в соц. сетях: ВК, YouTube, Одноклассники, Twitter, Facebook, Instagram
Очень качественные услуги, сотни отзывов на других форумах. Делаю все
25 SergWeider 5874 4.12.2016, 0:18
автор: ДиректорЦПХ


 



RSS Текстовая версия Сейчас: 6.12.2016, 12:10
Дизайн