Я так понимаю, если я не понимаю половины терминов в описании возможностей - значит софт такой мне не нужен? )
Простоым языком - для чего он?

NormanSky, Софт предназначен для извлечения цен из интернет-магазинов (мониторинг цен), кол-ва товаров на карточках, кол-ва лайков, мониторинга объявлений, извлечения Email с сайта и т.п. вещей.

Chaser, прокси поддерживает софт? Т.к. в многопотоке парсить со своего IP не очень хочется.
А так софт классный, буду тестировать

rokot, пока нет, но если понадобится - прикрутим

Chaser, хотелось бы, т.к. многие сайты банят при частых запросах, а это сильно затрудняет и замедляет сбор нужной информации.

UPD: опробовал. Без проксей делать нечего, т.к. парсить будет вечность. При увеличении скорости ip уходит в бан. Но инфу парсит нормально, тут вопросов нет.

Сообщение отредактировал rokot - 18.11.2020, 16:31

rokot, добавили прокси

Новая версия BatchURLScraper 1.3







Что нового:

• расширено число страниц для парсинга с 1000 до 5000 URL
• добавлена возможность скрапинга через HTML templates
• добавлена возможность извлечения данных через атрибуты CSS
• добавлена возможность скрапинга через внешний и внутренний HTML
• добавлена возможность использования списков Proxy
• исправлен баг некорректного сохранения User-Agent

Страница скачивания: https://site-analyzer.ru/soft/batch-url-scraper/

Новая версия BatchURLScraper 1.4 (build 27), 08.12.2020:

• исправлена ошибка с валидацией HTML-темплейтов
• оптимизирована работа с регулярными выражениями
• добавлена возможность неучета повторений при скрейпинге
• исправлена проблема с учетом пауз между запросами
• диапазон пауз между запросами расширен до полутора минут
• доработан и улучшен перевод программы
• устранены утечки памяти

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.