X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

36 страниц V  < 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 > » 
Открыть тему
Добавить ответ в эту тему
> A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
AParser_Support
AParser_Support
сообщение 25.3.2015, 13:55; Ответить: AParser_Support
Сообщение #82


A-Parser - 1.1.224 - улучшенные возможности по уникализации результатов, множество исправлений

Все возможности новой версии можно протестировать в демо версии A-Parser

Улучшения

  • Добавлена возможность уникализировать результаты созданные с помощью Конструктора результатов
  • Добавлена возможность передавать дополнительные параметры на сервис распознавания каптчи(например специальные настройки для CapMonster)
  • В парсер SE::Bing::Images добавлена возможность отключить безопасный поиск
  • В парсер SE::YouTube добавлен фильтр по 4K видео
  • Добавлена возможность применять Конструктор запросов после подстановок запросов
  • В парсер SE::Bing добавлена возможность парсить связанные кейворды в глубину, автоматически подставляя новые кейворды в запросы(Parse to level)
  • Переработан выбор файлов запросов, теперь вложенные директории отображаются только при клике по ним


Исправления в связи с изменениями в выдачи

  • Исправлен парсер SE::Yandex::WordStat
  • Исправлен парсер SE::Yahoo
  • Исправлен парсер SE::AOL
  • Исправлен парсинг связанных ключевых слов в парсере SE::Bing
  • Исправлен парсинг времени последнего кэширования страницы в парсере SE::Yandex
  • Исправлен регистратор аккаунтов SE::Yandex::Register
  • Исправлен парсинг связанных ключевых слов в парсере SE::Yandex



Исправления

  • Некорректно работала опция сохранения переноса строк для Windows (CRLF)
  • Иногда задание могло зависнуть в состоянии pausing/stopping


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 5.5.2015, 7:02; Ответить: AParser_Support
Сообщение #83


A-Parser - 1.1.247 - новые парсеры поисковиков Ask и Comcast, произвольные шаблоны в конструкторе результатов

Улучшения

  • В конструкторе результатов и фильтрах теперь возможно использовать произвольный шаблон в качестве аргумента для преобразования или фильтрации
  • В парсер SE::Yandex добавлена возможность выбора домена yandex.com для парсинга
  • Добавлен новый поисковик SE::Ask с американской выдачей Google
  • Добавлен новый поисковик SE::Comcast с американской выдачей Google
  • Добавлена статистика для завершенных заданий, а также отображение общего времени выполнения задания
  • Добавлен объект $request, который доступен при форматировании результата и позволяет извлечь любую информацию о текущем запросе, а также о всех редиректах выполненных перед конечным запросом

Исправления
  • Парсер мог заблокировать файл результата после завершения задания
  • Исправлена некорректная обработка <base href= в некоторых случаях
  • Парсер вылетал при использовании инструмента генерации произвольного User-Agent tools.ua.random() в тестовом парсинге
  • В быстром задании не работал выбор запросов из файла
  • Некорректно обрабатывался редирект с автоматическим выбором схемы(ссылки вида //domain.com/)


Исправления в связи с изменениями в выдачи

  • В парсере Rank::Alexa исправлен парсинг страны и регионального рейтинга
  • Улучшен парсинг тИЦ в парсере SE::Yandex::TIC
  • Исправлен парсер SE::Yahoo
  • Исправлено определение блокировки IP-адреса в парсере Rank::Ahrefs
  • Исправлен парсер SE::Yandex::WordStat::ByDate
  • Парсер Rank::Category перешел на семантический анализатор от Ашманова


Сообщение отредактировал AParser_Support - 5.5.2015, 7:03


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 19.5.2015, 11:20; Ответить: AParser_Support
Сообщение #84


Программа LinkAParser - объединение функционала генератора PandoraBox и парсера A-Parser

С помощью данного софта задействованы основные возможности парсера A-Parser при генерации сайтов программой PandoraBox.

Обсуждение на форуме A-Parser'а и ссылка на сайт генератора

Применяет возможности А-Парсера для:
  • Парсинга релевантного текста
  • Парсинга релевантных картинок
  • Парсинга релевантных видео роликов


Понимает какие ключи уже обработаны и не парсит одно и тоже дважды
С программой идут готовые пресеты, которые достаточно импортировать и можно запускать генерацию
Спаршенные данные программа структурировано раскладывает в файлы и папки
Спаршенный текст программа чистит от мусора по множеству признаков

В комплекте с программой идет набор дополнительных макросов:
  • Макрос вывода релевантного текста с подмешанными ключами
  • Макрос вывода релевантного текста без ключей
  • Макрос вывода релевантной картинки
  • Макрос вывода релевантной картинки как локальной(проксирование скриптом)
  • Макрос вывода релевантного видео ролика

Для работы необходима лицензия парсера A-Parser Enterprise


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 27.5.2015, 12:49; Ответить: AParser_Support
Сообщение #85


Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов

Итак, продолжаем серию статей с рецептами применения A-parser: комплексные примеры с одновременным использованием различного функционала парсера.

Проверяем наличие мобильной версии для 1000000 сайтов

Работаем с большими объемами данных и учимся искать совпадения в raw data.

  • за 8 часов работы данного задания мы узнали что почти 41% самых посещаемых сайтов не имеют мобильных версий. Кто знает, возможно обзаведясь мобильной версией, они стали бы еще более посещаемыми?


По списку запросов получаем страницы, CMS, PR, e-mail из whois

Комплексное задание, выполняемое в 2 этапа, в котором мы учимся работать с несколькими парсерами, регулярными выражениями, а также красиво выводим результаты во многоуровневые каталоги и несколько файлов.

  • на первом этапе используется 1 парсер, на втором - 3
  • в конструкторе результатов используется регулярное выражения для извлечения необходимой информации
  • результаты выводятся в виде вложенных папок и текстовых файлов по следующей схеме:

Код
PR_1
     \Joomla
           \domain.com
                   contacts.txt
                   cache.txt
      \Drupal
      \WordPress
     \no CMS
PR_2
PR_3


Узнать позиции по кеям, как?

Знакомимся с парсером SE::Google::Position и проверяем на каком месте в поисковой выдачи находится ключевое слово.


Детальнее о самом парсере здесь.

Предыдущие сборники:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 2.6.2015, 13:27; Ответить: AParser_Support
Сообщение #86


Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы

Очередной, 4-й выпуск сборника рецептов. Поехали!

Анализ выдачи гугла на наличие ключа в тайтле и дескрипшене

Пользуемся возможностями шаблонизатора Template Toolkit. Используем циклы и поиск. А также сохраняем разные результаты в разные файлы.

В данном примере осуществляется поиск ключа в анкорах и сниппетах, и в зависимости от результата, сохраняет их в 1 из 3 соответствующих файлов. Все подробности, а также сохранение в 4-ре файла по ссылке выше.

Парсинг товаров с сайта

Парсим интернет-магазин и формируем свою HTML-страницу с результатами.

Суть задания заключается в том, чтобы спарсить названия и характеристики товара из интернет-магазина, сохранив привязку к категории и фото товара. Как все это сделать - по ссылке выше.

Скачиваем файлы

Сохраняем на жесткий диск различные документы из поисковой выдачи, с определением их типа, а также возможностью формировать уникальное имя файла.

Ну а здесь нам необходимо парсить из выдачи Гугла ссылки на документы формата doc, xls и pdf. Так же необходимо скачивать данные документы, при этом обеспечить уникальность имени файла. Детали - по ссылке выше.

Предыдущие сборники:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 18.6.2015, 14:17; Ответить: AParser_Support
Сообщение #87


Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта

5-й выпуск сборника рецептов. Здесь мы научимся парсить ссылки из страниц, где их подгружает JS-скрипт, будем собирать паблик прокси и составлять карту сайта.

Подгрузка ссылок через JS
Есть очень много сайтов, где контент загружается специальным скриптом (AJAX). К примеру, это может быть поиск на сайте. И как спарсить с таких сайтов информацию? Ведь если посмотреть код страницы в браузере - то, к примеру, ссылки там есть, а парсер их не видит... Решение есть, и оно довольно не сложное. Как это сделать - по ссылке выше.


Сборщик паблик прокси: как лучше и насколько это эффективно
Всем известно, что в интернете есть очень много сайтов, где выкладывают публичные прокси (что это на Википедии). Если возникает необходимость в использовании таких прокси - появляется проблема в их сборе, при этом, естественно нужны только живые. Наверное так же известно, что используя А-парсер, можно их собирать. А вот как это делать и насколько это эффективно - читайте по ссылке выше.


Карта сайта с помощью A-parser
Карта сайта простыми словами - это XML-файл, который помогает поисковикам лучше индексировать сайт. Некоторые SEOшники считают ее отсутствие грубейшей ошибкой. Существует очень много сервисов и инструментов для создания таких карт, ну а мы попробуем создать ее с помощью A-parser. Что из этого получится, и как это делать - читайте по ссылке выше.


Предыдущие сборники:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 10.7.2015, 11:24; Ответить: AParser_Support
Сообщение #88


Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво

6-й выпуск сборника рецептов. Здесь мы попробуем собирать скрытые номера мобильных телефонов из доски объявлений и научимся сохранять результаты работы А-парсера в таблицы с возможностью сортировки.

Парсим базу мобильных телефонов
Базы телефонов могут использоваться по-разному, но основной вид их использования - рассылка смс рекламного характера. А если базу еще и возможно отсортировать по городу, интересу или другим характеристикам, т.е. сделать таргетированную рассылку, то эффективность сильно возрастает. Подобные базы собираются разными способами, мы же поговорим о том, как это сделать с помощью А-парсера.


Вывод результатов в таблицу
Бывает, возникает необходимость в красивом и удобном выводе данных, полученных в результате парсинга. И если обычного текстового вида недостаточно, нужно искать другие способы вывода. Об одном таком способе и пойдет речь в статье по ссылке выше.



Предыдущие сборники:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 22.7.2015, 12:58; Ответить: AParser_Support
Сообщение #89


A-Parser - версия 1.1.269 - получение списка задач по API, только мобильные для WordStat

Два месяца у нас работает профессиональный саппорт, который помогает составлять задания любой степени сложности. Доработана документация, регулярно появляются интересные решения на нашем форуме, которые теперь собраны в едином Каталоге примеров. Также создан большой FAQ, в котором собраны ответы на часто задаваемые вопросы.

Версия 1.1.269 является одной из последних в ветке 1.1.х, в скором времени будет доступна бета версия 1.2, которая принесет новый виток развития A-Parser, следите за новостями

Улучшения

  • Теперь по API можно получить список активных заданий, а также опционально список завершенных заданий
  • Для парсера SE::Yandex::WordStat добавлена возможность получать статистику только для мобильного трафика
  • В парсере HTML::LinkExtractor теперь обрабатываются только http(s) ссылки
  • При использовании автоопределения языка в парсере SE::Bing::Translator теперь можно вывести в результат язык исходного текста


Исправления в связи с изменениями в выдачи

  • Исправлен парсер SE::YouTube
  • Исправлен парсер Rank::MajesticSEO
  • Исправлен парсер SE::Ask
  • Исправлен парсер SE::Yandex
  • Исправлен парсер Rank::Ahrefs
  • Исправлен парсинг рекламных объявлений в SE::Google
  • Исправлен парсер Rank::Archive


Исправления


  • В парсере SE::Bing::Translator исправлен парсинг арабского языка
  • Парсер Net:: DNS не поддерживал кириллические домены
  • Исправлен парсинг подсказок в парсер SE::Google при использовании подстановок
  • Парсер SE::Yahoo использовал много CPU


Сообщение отредактировал AParser_Support - 22.7.2015, 13:11


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 4.8.2015, 12:23; Ответить: AParser_Support
Сообщение #90


Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам

7-й выпуск сборника рецептов. Здесь мы рассмотрим вариант парсинга RSS, будем скачивать картинки в зависимости от их характеристик и научимся фильтровать результат по хедерам.

Парсинг RSS
На сегодняшний день RSS остаются довольно популярным вариантом доставки новостей и контента пользователям. В связи с этим его используют почти на всех сайтах, где бывает более-менее периодическое обновление информации. А для нас это возможность быстро спарсить свежие обновления сайта, не анализируя сам сайт. И один из способов, как это сделать описан по ссылке выше.


Как фильтровать результат по определенным хедерам?
Как известно, А-парсер предназначен для парсинга, в основном, текстовой информации. Но кроме этого им вполне реально парсить и другие обьекты (файлы, картинки и т.п.). При этом существует возможность фильтровать их по заголовкам ответа сервера. Об этом по ссылке выше.


Скачивание картинок указанного разрешения и размера
Если выше мы фильтровали результат только по хедерам и рассматривали вариант с документами, то в данной статье мы будем скачивать картинки и фильтровать их по размеру и разрешению. Как это сделать - можно увидеть по ссылке выше.


Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:



--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 18.8.2015, 10:52; Ответить: AParser_Support
Сообщение #91


Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube

8-й выпуск сборника рецептов. В нем мы будем парсить базу организаций из каталога 2GIS, научимся парсить подсказки из Youtube и напишем кастомный парсер Google translate.

Парсинг 2GIS
2GIS - это довольно большой справочник организаций России (и не только...) с возможностью просмотра их расположения на карте. База содержит более 1580000 организаций в 270 городах России. После парсинга представляет интерес как справочник сайтов, электронных адресов и телефонов организаций.


Парсинг Google Translate
В данной статье рассмотрен способ написания кастомного парсера Google translate на основе Net::HTTP. Также реализована возможность задавать направление перевода. Можно использовать для пакетного перевода больших обьемов текста.


Парсинг подсказок Youtube
Парсинг подсказок поисковых систем - довольно популярный способ поиска ключевых слов. В данной статье также используется Net::HTTP, с помощью которого создается кастомный парсер подсказок Youtube. Реализована возможность задавать язык и страну, а также использовать уже спаршенные подсказки в качестве новых запросов на нужную глубину.


Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:



--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
36 страниц V  < 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 > » 
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
6 чел. читают эту тему (гостей: 6, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Базы Youtube кейвордов с данными по конкуренции и Volume
3 Krok 1033 20.3.2024, 14:59
автор: ManagerAE8888
Открытая тема (нет новых ответов) Большие базы Semrush кейвордов по разным тематикам! Много кейвордов с трафиком и без конкуренции! Volume, KD, CPC
20 Krok 6223 18.3.2024, 5:43
автор: Krok
Открытая тема (нет новых ответов) Бесплатный парсер бот в Телеграм - [Parser Pro]
5 Parser_Pro 3310 27.1.2024, 16:12
автор: Parser_Pro
Открытая тема (нет новых ответов) Дайте бесплатного контента! :)
2 Tia2 984 22.12.2023, 18:53
автор: zyzy
Горячая тема (нет новых ответов) Занимаюсь добычей качественного контента из Вебархива. Опыт уже более трех лет
Предоставляю только качественный, читабельный контент.
62 kuz999 37957 27.7.2023, 13:55
автор: kuz999


 



RSS Текстовая версия Сейчас: 29.3.2024, 2:37
Дизайн