X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

19 страниц V  « < 9 10 11 12 13 14 15 16 17 18 19
Открыть тему
Добавить ответ в эту тему
> A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
AParser_Support
AParser_Support
сообщение 5.4.2018, 12:01; Ответить: AParser_Support
Сообщение #181


Участник
***

Группа: User
Сообщений: 126
Регистрация: 3.6.2013
Поблагодарили: 9 раз
Репутация:   4  


Видео урок: Создание JS парсеров. Работа с CAPTCHA
Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.



В уроке рассмотрено:
  • Создание JS-парсера для разгадывания капчи
  • Работа с объектом this.captcha внутри JavaScript кода
  • Описание процесса разгадывания каптчи, реализованного в A-Parser


Статья и готовый парсер: https://a-parser.com/resources/257/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 16.4.2018, 13:27; Ответить: AParser_Support
Сообщение #182


Участник
***

Группа: User
Сообщений: 126
Регистрация: 3.6.2013
Поблагодарили: 9 раз
Репутация:   4  


Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

Получение страниц сайта и проверка индексации в Google и Яндекс
Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.


Парсим title и description для TOP10 поисковой выдачи по ключевому слову
Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.


Поиск сабдоменов сайта
Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется HTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.


Кроме этого:


Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



Сборники статей:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 26.4.2018, 12:32; Ответить: AParser_Support
Сообщение #183


Участник
***

Группа: User
Сообщений: 126
Регистрация: 3.6.2013
Поблагодарили: 9 раз
Репутация:   4  


Сборник статей #3: пагинация, переменные и БД SQLite

В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

Обзор вариантов прохода по пагинации

В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.


Переменные в парсерах JavaScript

JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.


Разработка JS парсера с сохранением результата в SQLite

Начиная с версии 1.2.152 в A-Parser появилась возможность работать с БД SQLite.
В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 7.5.2018, 13:32; Ответить: AParser_Support
Сообщение #184


Участник
***

Группа: User
Сообщений: 126
Регистрация: 3.6.2013
Поблагодарили: 9 раз
Репутация:   4  


1.2.185 - увеличение скорости в SE::Google::Modern, новые возможности Net:: DNS, множество улучшений



Улучшения

  • SE::Google::Modern - многократно увеличена скорость парсинга
  • Множество улучшений в Net:: DNS:
    • Возможность указать несколько DNS и задать метод выбора
    • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
    • Возможность вывести в результат использованный DNS сервер при удачном запросе
  • В SE::Google::Modern добавлена опция Use sessions
  • В SE::Yandex::WordStat добавлена настройка пресета антигейта для логина
  • Также в SE::Yandex::WordStat удалены настройки Use logins/Use sessions, теперь они включены всегда
  • Добавлена возможность автоматического удаления задания из Завершенных
  • В макросе подстановок {num} добавлена поддержка обратного отсчета
  • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
  • В JavaScript парсерах добавлена возможность прямого сохранения в файл
  • В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
  • В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog

Исправления в связи с изменениями в выдаче

Исправления
  • Количество неудачных больше не обнуляется при постановке на паузу
  • Исправлена проблема с подключением Node.js модулей на Linux
  • Исправлено падение парсера в редких ситуациях при использовании JS парсеров
  • Решена проблема с подключением Node.js модулей lodash, sequelize
  • Исправлена ошибка итератора при равных границах в макросе {num}


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 17.5.2018, 11:59; Ответить: AParser_Support
Сообщение #185


Участник
***

Группа: User
Сообщений: 126
Регистрация: 3.6.2013
Поблагодарили: 9 раз
Репутация:   4  


Разгадывание рекаптч в JS парсере

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.



В уроке рассмотрено:
  • Описание и настройка парсера Util::ReCaptcha2
  • Описание принципа работы ReCaptcha2
  • Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч


Ссылки:


Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 28.5.2018, 13:30; Ответить: AParser_Support
Сообщение #186


Участник
***

Группа: User
Сообщений: 126
Регистрация: 3.6.2013
Поблагодарили: 9 раз
Репутация:   4  


Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

Получение категорий сайтов из Google

Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.


Выгрузка товаров в формате YML

YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.


Парсим Google новости с датой и преобразуем ее

В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.


Кроме этого:

Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
effovenon
effovenon
сообщение 7.6.2018, 2:26; Ответить: effovenon
Сообщение #187


Участник
***

Группа: User
Сообщений: 155
Регистрация: 14.6.2014
Поблагодарили: 33 раза
Репутация:   10  


Спасибо за частые обновление! Знаю два софта, которые так часто обновляются. Это кейколлектор и А -парсер!
Занимаюсь прогонами, по этому базы нужно постоянно новые, с Вашим супер парсером, базу в 1 лям, могу напарсить за пол дня. Также, пол года назад, взяла A-Parser Enterprise. Апи работает шикарно! Через апи, на зенке, на удаленке парсю базы, и сразу обрабатываю, что очень экономит время!

Спасибо большое Forbidden, за Ваш потрясающий софт, которым реально, аналогов просто нет!


--------------------
Качественный прогон Хрумером всего 3 WMZ
Getbot - быстрая индексация Ваших сайтов с оплатой за результат!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AParser_Support
AParser_Support
сообщение 11.6.2018, 12:06; Ответить: AParser_Support
Сообщение #188


Участник
***

Группа: User
Сообщений: 126
Регистрация: 3.6.2013
Поблагодарили: 9 раз
Репутация:   4  


1.2.216 - улучшения в SE::Google::Modern и JS парсерах, а также множество других



Улучшения
  • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
  • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в SE::Google::Modern
  • Добавлен бан прокси при получении 403 кода ответа в SE::Google::Modern
  • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
  • Добавлена возможность вызвать URL после выполнения задания
  • Улучшен обзор каталогов при выборе файлов запросов
  • Добавлена поддержка setInterval в JavaScript парсерах
  • Уменьшено Wait between get status и улучшено логгирование в Util::ReCaptcha2
  • Улучшена обработка редиректов
  • Добавлена защита от бесконечного выполнения в JavaScript парсерах
  • Значительно увеличены возможности check_content в JS парсерах
  • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads

Исправления в связи с изменениями в выдаче

Исправления
  • Исправлено ведение лога при нескольких паузах задания
  • Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в SE::Google::Modern
  • Исправлена работа с url, содержащими фрагмент # в Net::HTTP
  • Исправлен парсинг ссылок в HTML::LinkExtractor
  • Исправлена работа опции Pages count в SE::Yandex
  • Исправлен выбор файлов запросов на Windows 10
  • Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
  • Исправлено отображение проксичекера в конфиге потоков
  • Исправлена кодировка некоторых результатов в SE::Google::Suggest
  • Исправлена ситуация, когда не читались настройки из config.txt


effovenon,
Очень приятно слышать позитивные отзывы. Будем продолжать в том же направлении!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Remakes
Remakes
сообщение 11.6.2018, 14:29; Ответить: Remakes
Сообщение #189


Новичок
*

Группа: User
Сообщений: 16
Регистрация: 9.6.2018
Поблагодарили: 0 раз
Репутация:   0  


Являюсь пользователем данной программы, работает отлично, рекомендую всем кто работает с большими базами ...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
19 страниц V  « < 9 10 11 12 13 14 15 16 17 18 19
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Достали копипастеры - воры контента
30 Webranger 5118 18.6.2018, 22:06
автор: Webranger
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыНижний порог уникальности контента - ?
42 SOROKVLAD29 5269 13.6.2018, 16:12
автор: Seventat
Открытая тема (нет новых ответов) INXY - выделенные сервера, сети доставки контента (CDN), облачные решения
17 АдамГрир 5263 8.6.2018, 16:12
автор: Адам_Грир
Открытая тема (нет новых ответов) Proxy Searcher Ultimate Парсер Элитных Анонимных Прокси
Proxy Searcher Ultimate - обладает мощными инструментами поиска, и про
1 PrimeScripts 2438 7.6.2018, 15:06
автор: PrimeScripts
Открытая тема (нет новых ответов) Archivarix.com - Восстановление контента из web.archive.org
15 archivarix 7755 24.5.2018, 19:47
автор: LinkerClub


 



RSS Текстовая версия Сейчас: 20.6.2018, 22:32
Дизайн