X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

12 страниц V  « < 2 3 4 5 6 7 8 9 10 11 12
Открыть тему
Добавить ответ в эту тему
> A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, et
AParser_Support
AParser_Support
сообщение 22.12.2020, 5:16; Ответить: AParser_Support
Сообщение #112


1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку



Улучшения

  • В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
  • Основные улучшения от перевода данных парсеров на Node.js:
    • увеличение производительности в ~1.5 раза
    • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
  • Добавлены новые парсеры:
  • В HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
  • В SE::Google::Translate добавлены новые переменные:
    • $translit_orig - оригинальный текст транслитом
    • $translit_translated - переведенный текст транслитом
    • $variants.$i.text - список вариантов перевода оригинального текста
  • В SE::Bing обновлен список регионов и языков
  • В Social::Instagram::Profile и Social::Instagram::Post добавлена возможность собирать кол-во видеопросмотров
  • В SE::Yandex::Translate добавлена возможность отключать использование сессий
  • В Net::HTTP добавлена возможность указывать user-agent для Chrome
  • В парсере Rank::MOZ исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
  • В Rank::CMS добавлена поддержка нового apps.json и возможность использовать Net::HTTP
  • В Net::Whois обновлена поддержка всех зон
  • Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
    • "All" - использует все прокси выбранные для задании
    • конкретный проксичекер - использует его, даже если он не выбран в задании
  • Добавлена поддержка устаревших версий SSL
  • JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
  • JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
  • JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки
Исправления в связи с изменениями в выдаче
Исправления
  • В SE::Yandex исправлена работа Extra query string
  • Исправлено регулярное выражение в HTML::EmailExtractor для устранения ошибок в некоторых случаях
  • Исправлено поведение парсера SE::Google::KeywordPlanner при отсутствии результатов по запросу
  • Maps::Yandex исправлен и переведен на puppeteer
  • Исправлена ошибка в приоритетах выбора проксичекера
  • JS парсеры: исправлен follow_meta_refresh
  • API: исправлена работа параметра rawResults




--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 18.2.2021, 10:02; Ответить: AParser_Support
Сообщение #113


Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету"

45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

Парсер Google Places

Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.



Парсер prom.ua

Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.



Скачивание картинок

В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов



--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 3.3.2021, 16:22; Ответить: AParser_Support
Сообщение #114


1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare



Улучшения
  • В HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
  • Повышена производительность Shop::Yandex::Market
  • В Check::RosKomNadzor добавлена возможность выбирать источник для проверки
  • Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
  • В Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
  • В Rank::Ahrefs расширен перечень собираемых данных
  • В SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
  • Реализована возможность использовать прокси с одним IP:port, но с разными логинами
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
  • Исправлена ошибка в Maps::Yandex, из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
  • В SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
  • В SE::Google::KeywordPlanner исправлена авторизация
  • Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
  • Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий




--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
12 страниц V  « < 2 3 4 5 6 7 8 9 10 11 12
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
14 чел. читают эту тему (гостей: 14, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыA-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
273 Forbidden 187854 3.3.2021, 11:15
автор: AParser_Support
Горячая тема (нет новых ответов) 300 площадок под вечные ссылки на выбор: ТИЦ 20-9400, PR 0-6, ЯК, DMOZ. Скидки при пакетном заказе!
63 inkon 22470 15.2.2021, 16:56
автор: ratingzona
Горячая тема (нет новых ответов) Проверка позиций сайтов в поисковых системах с помощью Positon.ru
Мониторинг продвижения сайтов
151 Positon 121410 5.2.2021, 13:59
автор: Dropex
Открытая тема (нет новых ответов) Трафик на сайт с поисковых систем, Соц сетей (ОК,Ins,vk) и пр.
Дешевый трафик с поисоковых и соц. сетей
20 Jaguar777 7578 16.12.2020, 9:31
автор: Jaguar777
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыРассылка на доски объявлений. 1.8 млн сайтов из DMOZ. Прогон по профилям.
12 aleggator 1933 14.7.2020, 17:34
автор: gold15


 



RSS Текстовая версия Сейчас: 6.3.2021, 22:39
Дизайн