X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Парсер Cms
Content-Master
Content-Master
Topic Starter сообщение 2.10.2012, 17:27; Ответить: Content-Master
Сообщение #1


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


Выкладываю свою новую софтину - YaGa.
Назначение - распознавание CMS.
Распространяется под лицензией Donationware, то-есть бесплатно, но кому понравилось - может отблагодарить автора пожертвованием любой суммы.

Пока поддерживается только три CMS - dle, joomla и drupal, но будет развиваться (в плане сейчас почти 20-ть различных CMS).

Просьба присылать свои замечания и пожелания (в программе есть кнопочка для отправки автору почты) или в этой теме.

скачать


--------------------


Поблагодарили: (1)
3
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Title
Title
сообщение 2.10.2012, 17:34; Ответить: Title
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 360
Регистрация: 5.5.2012
Из: Belarus
Поблагодарили: 95 раз
Репутация:   24  


Это хорошо что есть стремление, но сервис уже есть 2ip. ru/cms/
Что ж, могу пожелать только успеховsmile.gif

Сообщение отредактировал Title - 2.10.2012, 17:35


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 2.10.2012, 17:47; Ответить: Content-Master
Сообщение #3


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


(Title @ 2.10.2012, 16:34) *
Это хорошо что есть стремление, но сервис уже есть 2ip. ru/cms/


Не совсем то, попробуйте с его помощью пропарсить пару сотен урлов.

Спасибо за пожелания!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gosware
gosware
сообщение 2.10.2012, 20:38; Ответить: gosware
Сообщение #4


Участник
***

Группа: User
Сообщений: 218
Регистрация: 10.6.2011
Из: Ru
Поблагодарили: 64 раза
Репутация:   16  


(Content-Master @ 2.10.2012, 17:27) *
Просьба присылать свои замечания и пожелания (в программе есть кнопочка для отправки автору почты) или в этой теме

что хотелось бы увидеть при работе с данной программой:
1) сижу через проксю (локальную), отсюда вывод - ошибка запроса ("Socket error")!
Решение: например, брать данные с винды данные настроек браузера по умолчанию
2) многопоточность - указываем все CMS и в несколько потоков получаем глобальный результат, который потом разбираем. Исходя из этого стразу же целесообразно делать работу парсинга ПС через прокси.

Небольшие мелочи, которые бьют глаз:
- на выпадающий списк ПС всплывающей подсказке лучше разграничить инфу (выбор ПС и выбор кол-ва страниц), а не на два разных бокса делать одну подсказку.
- тоже на запрос и CMS


--------------------
Работаю только с WMR & WMZ (с протекцией). Все сделки через личку или постами на форуме.
Все для бизнесменов и менеджеров любого звена. Только самое актуальное!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 3.10.2012, 16:38; Ответить: Content-Master
Сообщение #5


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


(gosware @ 2.10.2012, 19:38) *
что хотелось бы увидеть при работе с данной программой:
1) сижу через проксю (локальную), отсюда вывод - ошибка запроса ("Socket error")!
Решение: например, брать данные с винды данные настроек браузера по умолчанию
2) многопоточность - указываем все CMS и в несколько потоков получаем глобальный результат, который потом разбираем. Исходя из этого стразу же целесообразно делать работу парсинга ПС через прокси.

Небольшие мелочи, которые бьют глаз:
- на выпадающий списк ПС всплывающей подсказке лучше разграничить инфу (выбор ПС и выбор кол-ва страниц), а не на два разных бокса делать одну подсказку.
- тоже на запрос и CMS


Ок, поддержку прокси и парсинг на все поддерживаемые csm сделаю в следующей версии.
Подсказки поправлю. Спасибо.

Подсказки поправил, прокси добавил, теперь умеет парсить на все поддерживаемые CMS.

Работа продолжается!


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gosware
gosware
сообщение 4.10.2012, 18:47; Ответить: gosware
Сообщение #6


Участник
***

Группа: User
Сообщений: 218
Регистрация: 10.6.2011
Из: Ru
Поблагодарили: 64 раза
Репутация:   16  


что еще было бы эргономично в данной программе:
1) в сформированном списке ЦМС правой кнопкой мыши свойства: копировать в буфер, открыть в браузере, удалить
2) там же возможность выделения всего списка спарсенных ЦМС мышкой или комбинацией клавиш (ctrl+a)
3) строку поискового запроса сделать подлиннее
4) если запросы с ПС попадают под каптчу, то определяет блокировку и выплывает окно с капчей?
5) сделать работу программы через анонимные прокси-сервера (окошко со списком), если под каптчу запрос попадает


--------------------
Работаю только с WMR & WMZ (с протекцией). Все сделки через личку или постами на форуме.
Все для бизнесменов и менеджеров любого звена. Только самое актуальное!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 5.10.2012, 13:07; Ответить: Content-Master
Сообщение #7


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


(gosware @ 4.10.2012, 17:47) *
что еще было бы эргономично в данной программе:
1) в сформированном списке ЦМС правой кнопкой мыши свойства: копировать в буфер, открыть в браузере, удалить
2) там же возможность выделения всего списка спарсенных ЦМС мышкой или комбинацией клавиш (ctrl+a)
3) строку поискового запроса сделать подлиннее
4) если запросы с ПС попадают под каптчу, то определяет блокировку и выплывает окно с капчей?
5) сделать работу программы через анонимные прокси-сервера (окошко со списком), если под каптчу запрос попадает

Много хороших идей, постараюсь реализовать.
По поводу бана в ПС - в принципе, в программе перед открытием каждой новой страницы выдачи стоит двухсекундная задержка,
пробовал парсить тридцать страниц - не банил яндекс.
А на сайты которые будут спарсены с ПС делается вообще только один запрос. Но если будут возникать с этим проблемы - сделаю поддержку списка прокси.


Обновление:
Добавлена поддержка выпадающего меню для списка сайтов/cms и увеличен размер поля ввода поискового запроса (спасибо gosware).
Добавлена поддержка CMS:
  • WordPress
  • CMSimple
  • Twilight CMS


Если вы уверены, что сайт сделан, например, на CMS DLE, но программа не определяет его - просьба ссылки на такие сайты отправлять мне (в личку, почту, или в теме).

Сообщение отредактировал Content-Master - 5.10.2012, 13:12


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 9.10.2012, 15:08; Ответить: Content-Master
Сообщение #8


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


Вышла обновленная версия.

Обновления:
  • значительно переработан интерфейс - теперь гораздо удобнее.
  • добавил кнопки отмены заданий
  • появилась возможность определить кроме самой CMS еще и ТИЦ, Pr и наличие сайта в каталоге яндекс


Скачать программу можно тут: Парсер CMS


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 10.10.2012, 16:24; Ответить: Content-Master
Сообщение #9


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


Обновление!

добавлена поддержка форумов:

  • phpBB
  • vBulletin Forum
  • IP.Board


Полный список поддерживаемых на данный момент CMS:

  1. DLE
  2. Joomla
  3. Drupal
  4. WordPress
  5. CMSimple
  6. Twilight CMS
  7. phpBB
  8. vBulletin Forum
  9. IP.Board


Забираем свежую версию.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
batik
batik
сообщение 10.10.2012, 17:36; Ответить: batik
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 495
Регистрация: 23.9.2010
Из: Лесной
Поблагодарили: 290 раз
Репутация:   41  


ТС, оно ваще работает?
Судя по тому, что у меня показывает-это калькулятор трастлинка evrika.gif
Прикрепленное изображение

Либо я чего то не понял, что весьма вероятно, либо мой сайт (а на скрине обведен мой сайт) сделан не на джумле, имеет тиц википедии, пр богатый и еще и в яндекс каталоге.
Конечно, очень бы этого хотелось мне в реале, но прога то с чего мои мечты мониторит?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Верстка + натяжка на CMS WordPress, OpenCart
2 Chezarius 291 Сегодня, 19:38
автор: k_artem
Открытая тема (нет новых ответов) CMS для соцсети с фотогалереями.
4 Gariks 946 Вчера, 21:55
автор: BeeBa
Открытая тема (нет новых ответов) Flextype - маленькая и быстрая CMS на файлах!
7 Awilum 1241 22.5.2018, 13:41
автор: Awilum
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
156 contex1 70821 22.5.2018, 0:06
автор: AnnaProf
Открытая тема (нет новых ответов) Удаляю вирусы на CMS WordPress. Чищу качественно и быстро, даю гарантию.
10 maxix 1155 21.5.2018, 16:59
автор: maxix


 



RSS Текстовая версия Сейчас: 24.5.2018, 23:21
Дизайн