Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК

17-й сборник рецептов. В нем мы будем парсить картинки из популярного фотохостинга Flickr; научимся писать JavaScript парсеры и определять язык ключевых слов; разберемся, как получать список пользователей, которые лайкнули пост во Вконтакте. Поехали!

Парсер изображений с Flickr
Flickr - это один из наиболее популярных фотохостингов. Согласно Википедии еще в 2011 году кол-во фото на нем превысило отметку в 6 млрд и продолжает активно расти. Именно поэтому поиск фото на данном хостинге - это актуальная задача, и она легко решается с помощью A-Parser. Подробности по ссылке выше.


JS::Yandex::LangDetect::Key - определение языка ключевого слова через Яндекс Переводчик
Как известно, в юбилейном 100-м релизе А-Парсера появился давно ожидаемый функционал: JavaScript парсеры. Благодаря этому возможности парсера значительно выросли, а также теперь можно выполнять задачи еще быстрее и эффективнее.
Бывает, что нужно получить ключевые слова только на каком-то определенном языке, и возникает задача определения этого самого языка для каждого ключа. С этим неплохо справляются различные переводчики. К примеру Яндек.Переводчик. В этом примере будет показано создание JS-парсера для решения данной задачи, подробности, как обычно, по ссылке выше.


Получение списка пользователей, которые лайкнули пост в VK
Вконтакте - это одна из самых популярных социальных сетей на територии СНГ. Поэтому парсинг различных данных из нее - это очень востребованные задачи. В нашем каталоге можно найти несколько таких пресетов, а в данном примере будет показан парсинг списка пользователей, которые лайкнули определенный пост. Это может быть полезно, например, при проведении различных акций, когда требуется получить такой список пользователей. Детали по ссылке выше.


Кроме этого:

• JS::TitleFromSE - парсинг тайтлов по ключу одним заданием
  
• JS::Yandex::LangDetect - определение языка страницы через Яндекс Переводчик
  
• JS::TextFromSE - парсинг текстовки по ключу одним заданием

Еще больше различных рецептов в нашем обновленном Каталоге!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
• Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
• Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей

1.1.888 - парсер РосКомНадзора и переводчики Google и Яндекса



Улучшения

• Новый парсер Check::RosKomNadzor - проверяет наличие домена или ссылки в реестре запрещенных сайтов, для работы необходим антигейт
• Новый парсер SE::Google::Translate - переводчик текста через сервис Google Translate
• Новый парсер SE::Yandex::Translate - переводчик текста через Яндекс.Переводчик

Исправления в связи с изменениями в выдачи

• Парсер SE::DisconnectMe удален в связи с постоянным редиректом на DuckDuckGo, используйте SE::DuckDuckGo
• SE::Google::Images, SE::Google, SE::Yandex::Images

Исправления

• В парсере Net::Whois исправлена работа с доменной зоной .fr
• SE::Google - не собирались Related keywords на языках интерфейса отличного от английского
• Исправлен обход защиты CloudFlare на ОС Linux
• Исправлено падение при запуске задания с удаленным конфигом потоков
• Не корректно работало переопределение tools.js в задании, ошибка появилась в предыдущей версии
• В парсере SE::Google::ByImage не выводился Raw data
• В парсер Rank::SimilarWeb не корректно определялся totalvisits
• Не работало изменение названия пресета при импорте

Больше, лучше, быстрее - расширение команды поддержки

Всем привет, мы расширили команду поддержки пользователей!


Встречайте наших героев:

• Ярослав - руководитель службы поддержки
• Денис и Юра - наши новые специалисты

Также мы увеличили количество каналов для ваших вопросов:

• Тикет система, онлайн чат и форум поддержки
• Все популярные мессенджеры: Skype, Telegram, ICQ, Jabber

И самое главное: мы обновили документацию и продолжаем наполнять наш каталог парсеров и пресетов - уже более 140 готовых примеров! Предлагайте свои идеи и мы обязательно их реализуем!

1.1.899 - автоматическое распознавание Яндекс каптчи и новый парсер мобильной выдачи Google

В A-Parser 1.1.899 добавлено автоматическое распознавание новой Яндекс каптчи, без использования антигейта:



Как следствие скорость парсинга Яндекса сильно выросла:



Улучшения:

• Добавлен парсер SE::Google::Mobile - парсер мобильной и современной десктоп выдачи(режим переключается в настройках)
• В парсере SE::Google::Translate названия языков теперь указаны на английском
• В парсер Shop::Amazon добавлена возможность указать домен амазона
• Добавлена возможность пропускать сохранение в файл указав в шаблоне пустое название файла
• Улучшен просмотр HTML кода в дебаг режиме - отключена возможность перезагрузки интерфейса парсера

Исправления в связи с изменениями в выдаче:

• SE::Google::Fast, Shop::Amazon
• SE::Yandex - исправлена обработка каптчи
• SE::Yandex - исправлен сбор рекламных блоков
• В парсере SE::Rambler исправлена загрузка каптчи

Видео урок по созданию парсера на языке JavaScript

Задача: Оценить страницу сайта на предмет тематики, рассчитать плотность ключевых слов на странице сайта и упорядочить результат по убыванию плотности ключевых слов.



Готовый парсер можно взять в нашем каталоге пресетов: Подсчет плотности ключевых слов

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

1.1.918 - улучшена работа с override и отдельные append/preppend text для каждого файла



Улучшения

• Изменена работа с override: устранена возможность их дублирования, а также улучшен выбор и добавление настроек в пресет в один клик
  
• Добавлена возможность для каждого файла результатов задавать индивидуальные Начальный/Конечный текст

Исправления в связи с изменениями в выдачи

• SE::Dogpile, Rank::MajesticSEO, SE::Google::Images, SE::Yandex

Исправления

• Исправлены падения при работе JS парсеров на Windows 10
• Исправлен баг с "белым экраном", который появился в предыдущей версии
• Парсер Rank::SimilarWeb удален в связи с требованием правообладателей
• Исправлен баг, при котором не срабатывал шаблон в Общем формате результата при пустом имени файла результата, появился в версии 1.1.896
• Исправлена работа с каптчей в SE::Google, при работе через IPv6 прокси

Сообщение отредактировал AParser_Support - 23.8.2017, 14:08

Видео урок: Парсинг пользователей ВК, которые лайкнули определенный пост
В этом уроке будет рассмотрен пример получения с помощью А-Парсер списка пользователей социальной сети Вконтакте, которые лайкнули выбранный пост. Такую информацию можно использовать для дальнейшего маркетинга, например, для рассылки сообщений только заинтересованным пользователям или проведения различных акций.

Урок включает в себя:

• Парсинг социальной сети Вконтакте после авторизации
• Отправка POST-запросов парсером и разбор результата
• Использование Cookies в парсинге

Готовый парсер можно взять в нашем каталоге пресетов: Получение списка пользователей, которые лайкнули пост в VK
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сообщение отредактировал AParser_Support - 5.9.2017, 13:19

1.1.937 - 2 новых парсера, поддержка reCAPTCHA, возможность перевода интерфейса парсера



Улучшения

• Добавлено 2 новых парсера:
  
  • GooglePlay::Apps - парсинг информации о приложениях из Google Play
  • SE::Yandex::Speller SE::Yandex::Speller - проверка страниц на ошибки в тексте через Яндекс.Спеллер
• Добавлен функционал перевода интерфейса парсера на другие языки
• В тестовом режиме добавлена поддержка reCAPTCHA в SE::Google::Mobile, пока поддерживается только сервис anti-captcha.com
• Улучшен парсинг Google на паблик прокси
• Уменьшена частота появления каптч, убран лимит страниц и добавлена поддержка антигейта в Shop::Yandex::Market
• Добавлен выбор базы данных в Rank::SEMrush::Keyword
• В SE::Yandex::Direct::Frequency улучшена обработка ошибок
• Обновлен список языков в SE::Bing::Translator

Исправления в связи с изменениями в выдачи

• В связи с прекращением поддержки со стороны Google, удален SE::Google::Fast
• SE::Dogpile, Rank::MajesticSEO, SE::DuckDuckGo, Shop::Amazon

Исправления

• Исправлен сбор картинок в HTML::EmailExtractor
• Исправлена работа Shop::Yandex::Market в некоторых случаях
• Исправлена работа с каптчей в SE::Yandex::Direct::Frequency в редких случаях
• Исправлен парсинг данных о доменах .biz в Net::Whois
• Исправлена работа с экзотическими кодировками в Net::HTTP
• Исправлена работа с прокси в SE::Yandex
• Исправлена работа с кодировками в JS-парсерах

Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов

18-й сборник рецептов. В нем мы будем смотреть как выглядят сайты сразу в нескольких браузерах, протестируем облегченную выдачу Яндекса и проверим сайты в Яндексы. Кроме этого в сборнике предоставлены парсер для проверки существования e-mail'ов и пресет для получения позиций сразу по нескольким регионам. Итак, поехали!

Автоматизация тестирования сайтов в разных браузерах

Наверное каждый разработчик сайтов сталкивается с вопросом тестирования своих наработок в различных браузерах. Можно конечно держать для этого несколько виртуальных машин, что далеко не совсем рационально. Можно собирать отзывы от пользователей, что негативно влияет на общее впечатление от сайта тех же пользователей. А можно воспользоваться специализированными сервисами. Например BrowserStack. А с помощью А-Парсера этот процесс можно еще и автоматизировать, если к примеру нужно сразу протестировать множество сайтов. Как это сделать - читайте по ссылке выше.


Парсинг lite выдачи Яндекса

Недавно на Хабре была опубликована статья о lite выдаче поиска Яндекса. Нам стало интересно, насколько такая выдача может быть полезной в сравнении с обычной с точки зрения парсинга. Мы с помощью функционала JS парсеров сделали новый парсер и сравнили его со стандартным. Как это было, что из этого вышло и какие получились выводы, а также готовый парсер lite выдачи Яндекса - по ссылке выше.


Проверка сайта в Яндекс

Поисковую выдачу Яндекса можно использовать для решения самых разных задач. Одна из них - проверка сайтов на различные типы угроз. Яндекс отмечает такие сайты в выдаче специальными метками. С помощью A-Parser можно быстро проверить большие списки сайтов на наличие таких меток. Как это сделать - описано по ссылке выше.


Кроме этого:

• JS::SE::Yandex::Position::ByRegion - проверка позиции сайта в Яндексе сразу по нескольким регионам
  
• JS::MailValidator - проверка существования e-mail адресов

Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
• Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
• Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
• Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК

Получение позиций сайта одновременно для нескольких регионов
Написание JS парсера для получения позиций сайта сразу по нескольким регионам



Обычно для получения позиций сайта в Яндексе используется SE::Yandex::position. Но если возникает задача получить позиции для нескольких регионов, при этом для каждого региона нужно проверять позицию отдельного поддомена, то нужно делать много однотипных заданий с разными регионами, что несколько неудобно. Решение можно значительно упростить, использовав функционал JavaScript парсеров и написав небольшую обертку вокруг SE::Yandex::position

Урок включает в себя:

• Написание JS парсера
• Использование стандартных встроенных парсеров в JS парсере
• Переопределение настроек стандартного парсера при обращении к нему

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!