Помощник
|
Парсер Cms |
Content-Master
|
Сообщение
#1
|
||
|
|
||
|
|||
Title |
2.10.2012, 17:34;
Ответить: Title
Сообщение
#2
|
|
Это хорошо что есть стремление, но сервис уже есть 2ip. ru/cms/
Что ж, могу пожелать только успехов Сообщение отредактировал Title - 2.10.2012, 17:35 -------------------- |
|
|
Content-Master
|
Сообщение
#3
|
|
Это хорошо что есть стремление, но сервис уже есть 2ip. ru/cms/ Не совсем то, попробуйте с его помощью пропарсить пару сотен урлов. Спасибо за пожелания! -------------------- |
|
|
gosware |
2.10.2012, 20:38;
Ответить: gosware
Сообщение
#4
|
|
Просьба присылать свои замечания и пожелания (в программе есть кнопочка для отправки автору почты) или в этой теме что хотелось бы увидеть при работе с данной программой: 1) сижу через проксю (локальную), отсюда вывод - ошибка запроса ("Socket error")! Решение: например, брать данные с винды данные настроек браузера по умолчанию 2) многопоточность - указываем все CMS и в несколько потоков получаем глобальный результат, который потом разбираем. Исходя из этого стразу же целесообразно делать работу парсинга ПС через прокси. Небольшие мелочи, которые бьют глаз: - на выпадающий списк ПС всплывающей подсказке лучше разграничить инфу (выбор ПС и выбор кол-ва страниц), а не на два разных бокса делать одну подсказку. - тоже на запрос и CMS -------------------- Все для бизнесменов и менеджеров любого звена. Только самое актуальное! |
|
|
Content-Master
|
Сообщение
#5
|
|
что хотелось бы увидеть при работе с данной программой: 1) сижу через проксю (локальную), отсюда вывод - ошибка запроса ("Socket error")! Решение: например, брать данные с винды данные настроек браузера по умолчанию 2) многопоточность - указываем все CMS и в несколько потоков получаем глобальный результат, который потом разбираем. Исходя из этого стразу же целесообразно делать работу парсинга ПС через прокси. Небольшие мелочи, которые бьют глаз: - на выпадающий списк ПС всплывающей подсказке лучше разграничить инфу (выбор ПС и выбор кол-ва страниц), а не на два разных бокса делать одну подсказку. - тоже на запрос и CMS Ок, поддержку прокси и парсинг на все поддерживаемые csm сделаю в следующей версии. Подсказки поправлю. Спасибо. Подсказки поправил, прокси добавил, теперь умеет парсить на все поддерживаемые CMS. Работа продолжается! -------------------- |
|
|
gosware |
4.10.2012, 18:47;
Ответить: gosware
Сообщение
#6
|
|
что еще было бы эргономично в данной программе:
1) в сформированном списке ЦМС правой кнопкой мыши свойства: копировать в буфер, открыть в браузере, удалить 2) там же возможность выделения всего списка спарсенных ЦМС мышкой или комбинацией клавиш (ctrl+a) 3) строку поискового запроса сделать подлиннее 4) если запросы с ПС попадают под каптчу, то определяет блокировку и выплывает окно с капчей? 5) сделать работу программы через анонимные прокси-сервера (окошко со списком), если под каптчу запрос попадает -------------------- Все для бизнесменов и менеджеров любого звена. Только самое актуальное! |
|
|
Content-Master
|
Сообщение
#7
|
|
что еще было бы эргономично в данной программе: 1) в сформированном списке ЦМС правой кнопкой мыши свойства: копировать в буфер, открыть в браузере, удалить 2) там же возможность выделения всего списка спарсенных ЦМС мышкой или комбинацией клавиш (ctrl+a) 3) строку поискового запроса сделать подлиннее 4) если запросы с ПС попадают под каптчу, то определяет блокировку и выплывает окно с капчей? 5) сделать работу программы через анонимные прокси-сервера (окошко со списком), если под каптчу запрос попадает Много хороших идей, постараюсь реализовать. По поводу бана в ПС - в принципе, в программе перед открытием каждой новой страницы выдачи стоит двухсекундная задержка, пробовал парсить тридцать страниц - не банил яндекс. А на сайты которые будут спарсены с ПС делается вообще только один запрос. Но если будут возникать с этим проблемы - сделаю поддержку списка прокси. Обновление: Добавлена поддержка выпадающего меню для списка сайтов/cms и увеличен размер поля ввода поискового запроса (спасибо gosware). Добавлена поддержка CMS:
Если вы уверены, что сайт сделан, например, на CMS DLE, но программа не определяет его - просьба ссылки на такие сайты отправлять мне (в личку, почту, или в теме). Сообщение отредактировал Content-Master - 5.10.2012, 13:12 -------------------- |
|
|
Content-Master
|
Сообщение
#8
|
|
Вышла обновленная версия.
Обновления:
Скачать программу можно тут: Парсер CMS -------------------- |
|
|
Content-Master
|
Сообщение
#9
|
|
Обновление!
добавлена поддержка форумов:
Полный список поддерживаемых на данный момент CMS:
Забираем свежую версию. -------------------- |
|
|
batik |
10.10.2012, 17:36;
Ответить: batik
Сообщение
#10
|
|
|
ТС, оно ваще работает?
Судя по тому, что у меня показывает-это калькулятор трастлинка Либо я чего то не понял, что весьма вероятно, либо мой сайт (а на скрине обведен мой сайт) сделан не на джумле, имеет тиц википедии, пр богатый и еще и в яндекс каталоге. Конечно, очень бы этого хотелось мне в реале, но прога то с чего мои мечты мониторит? -------------------- |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров. | 353 | Forbidden | 279279 | 11.4.2024, 17:07 автор: AParser_Support |
|
Перенос сайта на CMS Wordpress | 8 | freeax | 4959 | 10.3.2024, 14:58 автор: freeax |
|
Бесплатный парсер бот в Телеграм - [Parser Pro] | 5 | Parser_Pro | 3350 | 27.1.2024, 16:12 автор: Parser_Pro |
|
Обновить сайт на CMS DLE | 1 | Sawich | 1662 | 2.9.2023, 10:10 автор: WoWeb |
|
[Продам] базы сайтов на CMS Wordpress/Joomla/Drupal/Magento/... | 14 | phosphoruss | 13765 | 16.8.2023, 15:27 автор: SmmPanelUS |
Текстовая версия | Сейчас: 20.4.2024, 3:02 |