A-Parser - 1.1.619 - большая оптимизация потребления памяти, увеличение скорости парсинга Яндекса



В этой версии проделана большая работа по оптимизации потребления памяти, а также стабильной работе парсера 24/7 с множеством числом заданий

Улучшения

• Уменьшение потребления памяти
• Оптимизация парсера SE::Yandex - увеличение предельной скорости парсинга в 2.5 раза(~1500 запросов минуту, i7-4770)

Исправления в связи с изменениями в выдаче

• SE::Google, SE::AOL, SE::Yandex, SE::Dogpile, SE::YouTube, SE::Bing

Исправления

• Исправлен SE::Google при работе с антигейтом: неверная обработка запросов со скобками и очень длинных запросов
• Исправлен Net::HTTP - при выполнении цепочки редиректов теперь передается оригинальный реферер
• Исправлена работа с сессиями в SE::Yandex::WordStat

A-Parser - 1.1.626 - парсер Яндекс картинок, поддержка каптчи при логине в Яндекс, удаление нерабочих аккаунтов



В версии 1.1.626 добавлена поддержка каптчи при логине в Яндекс аккаунт в парсерах SE::Yandex, SE::Yandex::WordStat и SE::Yandex::Direct::Frequency:



Также для этих парсеров добавлена настройка Remove bad accounts, которая автоматически удаляет аккаунты с неверным логин/паролем или требующие подтверждения по телефону. Опция включена по умолчанию

Добавлен новый парсер картинок SE::Yandex::Images, поддерживает все фильтры(размер, ориентация, тип, цвет, тип файла...). Как известно Яндекс отлично индексирует все картинки для взрослых - отличный способ набрать контента для своих доров/тюбов. В дополнении есть возможность выставить безопасный поиск



Парсер Яндекс картинок также поддерживает работу с антигейтом(anti-captcha, rucaptcha, CapMonster - любой сервис с поддержкой API антигейта)

Исправления в связи с изменениями в выдачи

• SE::DuckDuckGo

Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu

15-й выпуск Сборника рецептов. В нем мы будем парсить Google PageSpeed Insights, который позволяет оценивать скорость загрузки, юзабилити сайтов и даже получать их скриншоты; сделаем кастомный парсер Яндекс.Картинок и научимся получать полные ссылки из выдачи Baidu. Поехали!

Анализ скорости загрузки и юзабилити сайтов
У Google есть довольно неплохой сервис PageSpeed Insights, который измеряет скорость загрузки веб-страниц, оценивает их юзабилити и даже делает скриншоты страниц. При этом оценивается обычная и мобильная версия парсера. Поэтому мы не могли обойти стороной такой сервис и не сделать для него парсер. О том, что получилось - читайте по ссылке выше.


Кастомный парсер Яндекс Картинок
На форуме неоднократно спрашивали когда в А-Парсер будет добавлен парсер картинок Яндекса. На данный момент такой парсер уже есть: SE::Yandex::Images. Но в данной статье будет показан пример кастомного парсера Яндекс.Картинок, который довольно хорошо демонстрирует возможности Net::HTTP. Подробности - по ссылке выше.


Как получить полные ссылки из Baidu
Также довольно часто спрашивают как получить полные ссылки из Baidu. Дело в том, что этот поисковик обрезает ссылки в выдаче, и на выходе получаются ссылки такого вида:

Поэтому в данной статье будет показан способ получения полных ссылок с помощью A-Parser.


Кроме этого:

• Добавлен пресет для парсинга подсказок из Amazon
• 2 способа ограничивать объем получаемых результатов
• Передача cookies на следующий запрос
• Регулярное выражения для номеров телефонов

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники:

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты

Сообщение отредактировал AParser_Support - 20.9.2016, 7:57

A-Parser - 1.1.652 - динамический лимит потоков, поддержка цифровой каптчи для Google



В версии 1.1.652 добавлена поддержка динамического лимита потоков, позволяющая распределить лимит между всеми запущенными заданиями, тем самым увеличивается общая скорость выполнения заданий в очереди

Помимо этого парсер SE::Google теперь поддерживает работу с цифровыми каптчами, а сервис Cheap-Captcha предоставил пользователям A-Parser уникальную скидку: всего 25 центов за 1000 распознанных каптч

Улучшения

• Теперь A-Parser пропускает пустые запросы, это улучшение расширяет логику обработки запросов
• В парсере Net::HTTP не передаются пустые хедеры
• В парсере SE::Yandex::WordStat теперь корректно определяются аккаунты с заблокированной функцией парсинга вордстата

Исправления в связи с изменениями в выдачи

• SE::Yandex, SE::AOL

Исправления

• В парсере SE::Yandex::WordStat исправлена работа при редиректе на региональный домен, а также исправлена работа с устаревшими сессиями
• Net::Whois не корректно работал с зоной .tr
• В парсере SE::Google невозможно было получить исходник страницы($data) при использовании антигейта
• В парсере SE::Yandex не сохранились сессии при использовании аккаунтов

Новые видео уроки: от покупки до настройки и запуска задания

Смотрите новые видео уроки от Дениса Бартаева, подписывайтесь на наш канал!

A-Parser: обзор личного кабинета и процесса оплаты



A-Parser: установка, запуск и обновление



A-Parser: настройка, добавление прокси, запуск задания




Оставляйте в комментариях пожелания для будущих видео!

A-Parser - 1.1.669 - 64 битная Linux версия, проверка позиций по множеству доменов



Начиная с версии 1.1.669 A-Parser доступен в 64 битной версии для Linux, основные преимущества:

• уменьшение потребления памяти
• больше нет ограничений на максимальное потребление памяти в 4Гб, что позволит запускать больше заданий одновременно и в большее число потоков

Напоминаю что A-Parser одинаково хорошо работает на Windows, Linux и FreeBSD

Другая хорошая новость - сервис Cheap-Captcha.com дарит всем пользователям A-Parser'а $5 на разгадывание 20000 каптч для Google или Яндекса

Улучшения

• Все парсеры позиций в поисковых системах( SE::Google::position, SE::Yandex::position, ...) теперь поддерживают съем позиций сразу по нескольким доменам
• Для парсера SE::Yandex добавлена возможность указать язык результатов поиска

Исправления в связи с изменениями в выдаче

• SE::Google, SE::Yandex, SE::DuckDuckGo, SE::Yandex::Direct::Frequency

Исправления

• В предыдущий версии появилась ошибка в обработке нескольких ключевых слов за один запрос в парсере SE::Yandex::Direct::Frequency
• Очистка очереди заданий работала некорректно

Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей

16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!

Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.


Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.


Как парсить Яндекс.Новости?
В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова


Кроме этого:

• Проверка вхождения ключа в анкор
  
• Обновлен пресет для парсинга пользователей по тегу из Instagram

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
• Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu

Заинтересовалась вашим парсингом (советуют вебмастера для связки с Пандорой), планируются ли скидки под новогодние праздники ?

wanessa,
Интересен тот-же вопрос, будет ли скидка на новый год - годовая?

заинтересован в парсинге. Прошу Вас сообщить. Возможно ли парсить новости с выбранных источников ? Т.е. мне спарсить заголовок новости, картинку, и краткое описание. Это в кратце. Более детально хотел обсудить по скайпу или аське.