X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Парсер Cms
Content-Master
Content-Master
Topic Starter сообщение 2.10.2012, 17:27; Ответить: Content-Master
Сообщение #1


Выкладываю свою новую софтину - YaGa.
Назначение - распознавание CMS.
Распространяется под лицензией Donationware, то-есть бесплатно, но кому понравилось - может отблагодарить автора пожертвованием любой суммы.

Пока поддерживается только три CMS - dle, joomla и drupal, но будет развиваться (в плане сейчас почти 20-ть различных CMS).

Просьба присылать свои замечания и пожелания (в программе есть кнопочка для отправки автору почты) или в этой теме.

скачать


--------------------


Поблагодарили: (1)
3
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Title
Title
сообщение 2.10.2012, 17:34; Ответить: Title
Сообщение #2


Это хорошо что есть стремление, но сервис уже есть 2ip. ru/cms/
Что ж, могу пожелать только успеховsmile.gif

Сообщение отредактировал Title - 2.10.2012, 17:35


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 2.10.2012, 17:47; Ответить: Content-Master
Сообщение #3


(Title @ 2.10.2012, 16:34) *
Это хорошо что есть стремление, но сервис уже есть 2ip. ru/cms/


Не совсем то, попробуйте с его помощью пропарсить пару сотен урлов.

Спасибо за пожелания!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gosware
gosware
сообщение 2.10.2012, 20:38; Ответить: gosware
Сообщение #4


(Content-Master @ 2.10.2012, 17:27) *
Просьба присылать свои замечания и пожелания (в программе есть кнопочка для отправки автору почты) или в этой теме

что хотелось бы увидеть при работе с данной программой:
1) сижу через проксю (локальную), отсюда вывод - ошибка запроса ("Socket error")!
Решение: например, брать данные с винды данные настроек браузера по умолчанию
2) многопоточность - указываем все CMS и в несколько потоков получаем глобальный результат, который потом разбираем. Исходя из этого стразу же целесообразно делать работу парсинга ПС через прокси.

Небольшие мелочи, которые бьют глаз:
- на выпадающий списк ПС всплывающей подсказке лучше разграничить инфу (выбор ПС и выбор кол-ва страниц), а не на два разных бокса делать одну подсказку.
- тоже на запрос и CMS


--------------------
Работаю только с WMR & WMZ (с протекцией). Все сделки через личку или постами на форуме.
Все для бизнесменов и менеджеров любого звена. Только самое актуальное!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 3.10.2012, 16:38; Ответить: Content-Master
Сообщение #5


(gosware @ 2.10.2012, 19:38) *
что хотелось бы увидеть при работе с данной программой:
1) сижу через проксю (локальную), отсюда вывод - ошибка запроса ("Socket error")!
Решение: например, брать данные с винды данные настроек браузера по умолчанию
2) многопоточность - указываем все CMS и в несколько потоков получаем глобальный результат, который потом разбираем. Исходя из этого стразу же целесообразно делать работу парсинга ПС через прокси.

Небольшие мелочи, которые бьют глаз:
- на выпадающий списк ПС всплывающей подсказке лучше разграничить инфу (выбор ПС и выбор кол-ва страниц), а не на два разных бокса делать одну подсказку.
- тоже на запрос и CMS


Ок, поддержку прокси и парсинг на все поддерживаемые csm сделаю в следующей версии.
Подсказки поправлю. Спасибо.

Подсказки поправил, прокси добавил, теперь умеет парсить на все поддерживаемые CMS.

Работа продолжается!


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gosware
gosware
сообщение 4.10.2012, 18:47; Ответить: gosware
Сообщение #6


что еще было бы эргономично в данной программе:
1) в сформированном списке ЦМС правой кнопкой мыши свойства: копировать в буфер, открыть в браузере, удалить
2) там же возможность выделения всего списка спарсенных ЦМС мышкой или комбинацией клавиш (ctrl+a)
3) строку поискового запроса сделать подлиннее
4) если запросы с ПС попадают под каптчу, то определяет блокировку и выплывает окно с капчей?
5) сделать работу программы через анонимные прокси-сервера (окошко со списком), если под каптчу запрос попадает


--------------------
Работаю только с WMR & WMZ (с протекцией). Все сделки через личку или постами на форуме.
Все для бизнесменов и менеджеров любого звена. Только самое актуальное!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 5.10.2012, 13:07; Ответить: Content-Master
Сообщение #7


(gosware @ 4.10.2012, 17:47) *
что еще было бы эргономично в данной программе:
1) в сформированном списке ЦМС правой кнопкой мыши свойства: копировать в буфер, открыть в браузере, удалить
2) там же возможность выделения всего списка спарсенных ЦМС мышкой или комбинацией клавиш (ctrl+a)
3) строку поискового запроса сделать подлиннее
4) если запросы с ПС попадают под каптчу, то определяет блокировку и выплывает окно с капчей?
5) сделать работу программы через анонимные прокси-сервера (окошко со списком), если под каптчу запрос попадает

Много хороших идей, постараюсь реализовать.
По поводу бана в ПС - в принципе, в программе перед открытием каждой новой страницы выдачи стоит двухсекундная задержка,
пробовал парсить тридцать страниц - не банил яндекс.
А на сайты которые будут спарсены с ПС делается вообще только один запрос. Но если будут возникать с этим проблемы - сделаю поддержку списка прокси.


Обновление:
Добавлена поддержка выпадающего меню для списка сайтов/cms и увеличен размер поля ввода поискового запроса (спасибо gosware).
Добавлена поддержка CMS:
  • WordPress
  • CMSimple
  • Twilight CMS


Если вы уверены, что сайт сделан, например, на CMS DLE, но программа не определяет его - просьба ссылки на такие сайты отправлять мне (в личку, почту, или в теме).

Сообщение отредактировал Content-Master - 5.10.2012, 13:12


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 9.10.2012, 15:08; Ответить: Content-Master
Сообщение #8


Вышла обновленная версия.

Обновления:
  • значительно переработан интерфейс - теперь гораздо удобнее.
  • добавил кнопки отмены заданий
  • появилась возможность определить кроме самой CMS еще и ТИЦ, Pr и наличие сайта в каталоге яндекс


Скачать программу можно тут: Парсер CMS


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 10.10.2012, 16:24; Ответить: Content-Master
Сообщение #9


Обновление!

добавлена поддержка форумов:

  • phpBB
  • vBulletin Forum
  • IP.Board


Полный список поддерживаемых на данный момент CMS:

  1. DLE
  2. Joomla
  3. Drupal
  4. WordPress
  5. CMSimple
  6. Twilight CMS
  7. phpBB
  8. vBulletin Forum
  9. IP.Board


Забираем свежую версию.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
batik
batik
сообщение 10.10.2012, 17:36; Ответить: batik
Сообщение #10


ТС, оно ваще работает?
Судя по тому, что у меня показывает-это калькулятор трастлинка evrika.gif
Прикрепленное изображение

Либо я чего то не понял, что весьма вероятно, либо мой сайт (а на скрине обведен мой сайт) сделан не на джумле, имеет тиц википедии, пр богатый и еще и в яндекс каталоге.
Конечно, очень бы этого хотелось мне в реале, но прога то с чего мои мечты мониторит?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыA-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
353 Forbidden 279279 11.4.2024, 17:07
автор: AParser_Support
Открытая тема (нет новых ответов) Перенос сайта на CMS Wordpress
8 freeax 4959 10.3.2024, 14:58
автор: freeax
Открытая тема (нет новых ответов) Бесплатный парсер бот в Телеграм - [Parser Pro]
5 Parser_Pro 3350 27.1.2024, 16:12
автор: Parser_Pro
Открытая тема (нет новых ответов) Обновить сайт на CMS DLE
1 Sawich 1662 2.9.2023, 10:10
автор: WoWeb
Открытая тема (нет новых ответов) [Продам] базы сайтов на CMS Wordpress/Joomla/Drupal/Magento/...
14 phosphoruss 13765 16.8.2023, 15:27
автор: SmmPanelUS


 



RSS Текстовая версия Сейчас: 20.4.2024, 3:02
Дизайн