X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

24 страниц V  « < 14 15 16 17 18 19 20 21 22 23 24
Открыть тему
Добавить ответ в эту тему
> A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
AParser_Support
AParser_Support
сообщение 1.8.2019, 15:01; Ответить: AParser_Support
Сообщение #231


Участник
***

Группа: User
Сообщений: 171
Регистрация: 3.6.2013
Поблагодарили: 10 раз
Репутация:   7  


Сборник рецептов #34: оценка трафика, парсинг Ahrefs и информация об IP адресах

34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!

Чек трафика сайта
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.


Парсер Ahrefs на основе Ahrefs API
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.


Парсинг подсети и организации по IP
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов



--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 20.8.2019, 18:53; Ответить: AParser_Support
Сообщение #232


Участник
***

Группа: User
Сообщений: 171
Регистрация: 3.6.2013
Поблагодарили: 10 раз
Репутация:   7  


1.2.570 - новые парсеры API::Server::Redis и SE::Startpage, улучшения в существующих парсерах

Улучшения
  • Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
  • В SE::Google::Modern добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
  • В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
  • Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
  • В SE::Google::Modern реализована возможность указывать дополнительные заголовки для запросов
  • Улучшен парсинг меток сайтов в SE::Yandex, а также добавлена поддержка новых типов меток
  • Улучшена логика работы функции Get full links в SE::Baidu
  • Оптимизирован алгоритм обработки подзапросов

Исправления в связи с изменениями в выдаче
  • Улучшена работа SE::YouTube, в связи с тестированием новой верстки
  • В SE::Google::Translate переработан механизм повторных попыток, добавлена поддержка сессий
  • Исправлен парсинг сниппетов в SE::Google::Images
  • Поностью переработан GooglePlay::Apps- теперь он парсит только первую страницу результатов
  • Исправлен парсинг мобильной выдачи в SE::Google::Modern
  • Исправлена работа SE::Seznam при отсутствии результатов
  • Исправлена работа Rank::Linkpad, парсер полностью переписан
  • SE::Bing::Translator, SE:: DuckDuckGo::Images, SE::Bing::Images

Исправления
  • Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
  • Исправлено падение скорости в Net::Whois
  • Исправлен баг в оптимизации парсеров
  • Исправлено сохранение параметра Report period в SE::Yandex:: Direct::Frequency
  • В HTML::LinkExtractor исправлен сбор ссылок, если в них есть перенос строки



--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 30.8.2019, 14:39; Ответить: AParser_Support
Сообщение #233


Участник
***

Группа: User
Сообщений: 171
Регистрация: 3.6.2013
Поблагодарили: 10 раз
Репутация:   7  


Видео урок: Поиск страниц контактов
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.

В уроке рассмотрено:
  • парсинг поиска Google для получения ссылки на страницу контактов
  • парсинг главной страницы сайта для получения title
  • использование инструмента $tools.CSVline для форматирования файла результата
  • пример правильного импорта в Excel

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!



--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 9.9.2019, 17:15; Ответить: AParser_Support
Сообщение #234


Участник
***

Группа: User
Сообщений: 171
Регистрация: 3.6.2013
Поблагодарили: 10 раз
Репутация:   7  


Сборник рецептов #35: комментарии на Youtube, контакты на сайтах и японский Yahoo
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
Парсинг комментариев из Youtube
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.


Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.


SE::Yahoo::JP
JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 19.9.2019, 17:23; Ответить: AParser_Support
Сообщение #235


Участник
***

Группа: User
Сообщений: 171
Регистрация: 3.6.2013
Поблагодарили: 10 раз
Репутация:   7  


1.2.595 - новый парсер Ahrefs, инструмент для создания CSV и много других улучшений



Улучшения
  • Добавлен новый парсер Rank::Ahrefs
  • Добавлен инструмент $tools.CSVline для простого создания CSV файлов
  • В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в SE::Google::Modern
  • В SE::Google::Modern в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
  • В SE::Yandex в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
  • В Net::HTTP улучшена работа с редиректами, добавлена опция Follow common redirects
  • Теперь в Util::ReCaptcha2 можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
  • Увеличено количество результатов в парсерах Rank::Bukvarix::*
  • Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
  • JS парсеры: улучшена пакетная обработка запросов

Исправления в связи с изменениями в выдаче
  • В Maps::Yandex исправлена ситуация, при которой для части результатов не собирались данные
  • Исправлен SE::Rambler

Исправления
  • Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
  • Исправлена ошибка в Rank::Alexa, из-за которой при отсутствующих значениях запрос завершался с ошибкой
  • Исправлен баг в Rank::MajesticSEO, из-за которого в некоторых случаях запросы завершались с ошибкой
  • Для парсеров Social::Instagram::Profile и Social::Instagram::Tag изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях




Сообщение отредактировал AParser_Support - 19.9.2019, 17:24


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hobotokcomua
hobotokcomua
сообщение 19.9.2019, 21:02; Ответить: hobotokcomua
Сообщение #236


Новичок
*

Группа: Viewer
Сообщений: 5
Регистрация: 1.3.2019
Поблагодарили: 0 раз
Репутация:   0  


Можно с помощью парсера собрать и уникализировать описания карточек в интернет магазине?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Forbidden
Forbidden
Topic Starter сообщение 20.9.2019, 0:18; Ответить: Forbidden
Сообщение #237


Новичок
*

Группа: User
Сообщений: 49
Регистрация: 12.9.2012
Поблагодарили: 8 раз
Репутация:   5  


hobotokcomua, легко)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 1.10.2019, 11:42; Ответить: AParser_Support
Сообщение #238


Участник
***

Группа: User
Сообщений: 171
Регистрация: 3.6.2013
Поблагодарили: 10 раз
Репутация:   7  


Видео урок: Парсинг Google Maps для сбора всех организаций в определенной местности

В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.



В уроке рассмотрено:
  • Парсинг карт Google с использованием Maps::Google
  • Пример получения координат для использования в макросах подстановок
  • Работа с макросами подстановок при наличии отрицательных чисел
  • Импорт результата в Excel


Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!



--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
24 страниц V  « < 14 15 16 17 18 19 20 21 22 23 24
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
5 чел. читают эту тему (гостей: 5, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) "Яндекс" запускает инструмент по поиску пиратского контента
22 seostock 4325 25.9.2019, 11:00
автор: leshamysh
Открытая тема (нет новых ответов) Facebook планирует создать «надзорный совет» для контроля контента
3 VinogradOFF 323 19.9.2019, 21:49
автор: VinogradOFF
Горячая тема (нет новых ответов) Создание сайтов, разработка скриптов\парсеров и десктопного ПО
Владею CMS DLE, CMS Drupal и языком C#
35 Zak2009 16743 16.9.2019, 20:23
автор: LennarM
Открытая тема (нет новых ответов) Борьба с ворами контента. Стоит тратить на это время?
26 metvekot 1419 10.9.2019, 11:16
автор: Андрей_WPM
Открытая тема (нет новых ответов) INXY хостинг маркетплейс - выделенные сервера, сети доставки контента (CDN), управляемый DNS и прочие хостинговые услуги.
0 Адам_Грир 527 31.7.2019, 17:02
автор: Адам_Грир


 



RSS Текстовая версия Сейчас: 19.10.2019, 14:32
Дизайн