X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Парсер Cms
Content-Master
Content-Master
Topic Starter сообщение 2.10.2012, 17:27; Ответить: Content-Master
Сообщение #1


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


Выкладываю свою новую софтину - YaGa.
Назначение - распознавание CMS.
Распространяется под лицензией Donationware, то-есть бесплатно, но кому понравилось - может отблагодарить автора пожертвованием любой суммы.

Пока поддерживается только три CMS - dle, joomla и drupal, но будет развиваться (в плане сейчас почти 20-ть различных CMS).

Просьба присылать свои замечания и пожелания (в программе есть кнопочка для отправки автору почты) или в этой теме.

скачать


--------------------


Поблагодарили: (1)
3
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Title
Title
сообщение 2.10.2012, 17:34; Ответить: Title
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 360
Регистрация: 5.5.2012
Из: Belarus
Поблагодарили: 95 раз
Репутация:   24  


Это хорошо что есть стремление, но сервис уже есть 2ip. ru/cms/
Что ж, могу пожелать только успеховsmile.gif

Сообщение отредактировал Title - 2.10.2012, 17:35


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 2.10.2012, 17:47; Ответить: Content-Master
Сообщение #3


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


(Title @ 2.10.2012, 16:34) *
Это хорошо что есть стремление, но сервис уже есть 2ip. ru/cms/


Не совсем то, попробуйте с его помощью пропарсить пару сотен урлов.

Спасибо за пожелания!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gosware
gosware
сообщение 2.10.2012, 20:38; Ответить: gosware
Сообщение #4


Участник
***

Группа: User
Сообщений: 218
Регистрация: 10.6.2011
Из: Ru
Поблагодарили: 64 раза
Репутация:   16  


(Content-Master @ 2.10.2012, 17:27) *
Просьба присылать свои замечания и пожелания (в программе есть кнопочка для отправки автору почты) или в этой теме

что хотелось бы увидеть при работе с данной программой:
1) сижу через проксю (локальную), отсюда вывод - ошибка запроса ("Socket error")!
Решение: например, брать данные с винды данные настроек браузера по умолчанию
2) многопоточность - указываем все CMS и в несколько потоков получаем глобальный результат, который потом разбираем. Исходя из этого стразу же целесообразно делать работу парсинга ПС через прокси.

Небольшие мелочи, которые бьют глаз:
- на выпадающий списк ПС всплывающей подсказке лучше разграничить инфу (выбор ПС и выбор кол-ва страниц), а не на два разных бокса делать одну подсказку.
- тоже на запрос и CMS


--------------------
Работаю только с WMR & WMZ (с протекцией). Все сделки через личку или постами на форуме.
Все для бизнесменов и менеджеров любого звена. Только самое актуальное!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 3.10.2012, 16:38; Ответить: Content-Master
Сообщение #5


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


(gosware @ 2.10.2012, 19:38) *
что хотелось бы увидеть при работе с данной программой:
1) сижу через проксю (локальную), отсюда вывод - ошибка запроса ("Socket error")!
Решение: например, брать данные с винды данные настроек браузера по умолчанию
2) многопоточность - указываем все CMS и в несколько потоков получаем глобальный результат, который потом разбираем. Исходя из этого стразу же целесообразно делать работу парсинга ПС через прокси.

Небольшие мелочи, которые бьют глаз:
- на выпадающий списк ПС всплывающей подсказке лучше разграничить инфу (выбор ПС и выбор кол-ва страниц), а не на два разных бокса делать одну подсказку.
- тоже на запрос и CMS


Ок, поддержку прокси и парсинг на все поддерживаемые csm сделаю в следующей версии.
Подсказки поправлю. Спасибо.

Подсказки поправил, прокси добавил, теперь умеет парсить на все поддерживаемые CMS.

Работа продолжается!


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gosware
gosware
сообщение 4.10.2012, 18:47; Ответить: gosware
Сообщение #6


Участник
***

Группа: User
Сообщений: 218
Регистрация: 10.6.2011
Из: Ru
Поблагодарили: 64 раза
Репутация:   16  


что еще было бы эргономично в данной программе:
1) в сформированном списке ЦМС правой кнопкой мыши свойства: копировать в буфер, открыть в браузере, удалить
2) там же возможность выделения всего списка спарсенных ЦМС мышкой или комбинацией клавиш (ctrl+a)
3) строку поискового запроса сделать подлиннее
4) если запросы с ПС попадают под каптчу, то определяет блокировку и выплывает окно с капчей?
5) сделать работу программы через анонимные прокси-сервера (окошко со списком), если под каптчу запрос попадает


--------------------
Работаю только с WMR & WMZ (с протекцией). Все сделки через личку или постами на форуме.
Все для бизнесменов и менеджеров любого звена. Только самое актуальное!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 5.10.2012, 13:07; Ответить: Content-Master
Сообщение #7


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


(gosware @ 4.10.2012, 17:47) *
что еще было бы эргономично в данной программе:
1) в сформированном списке ЦМС правой кнопкой мыши свойства: копировать в буфер, открыть в браузере, удалить
2) там же возможность выделения всего списка спарсенных ЦМС мышкой или комбинацией клавиш (ctrl+a)
3) строку поискового запроса сделать подлиннее
4) если запросы с ПС попадают под каптчу, то определяет блокировку и выплывает окно с капчей?
5) сделать работу программы через анонимные прокси-сервера (окошко со списком), если под каптчу запрос попадает

Много хороших идей, постараюсь реализовать.
По поводу бана в ПС - в принципе, в программе перед открытием каждой новой страницы выдачи стоит двухсекундная задержка,
пробовал парсить тридцать страниц - не банил яндекс.
А на сайты которые будут спарсены с ПС делается вообще только один запрос. Но если будут возникать с этим проблемы - сделаю поддержку списка прокси.


Обновление:
Добавлена поддержка выпадающего меню для списка сайтов/cms и увеличен размер поля ввода поискового запроса (спасибо gosware).
Добавлена поддержка CMS:
  • WordPress
  • CMSimple
  • Twilight CMS


Если вы уверены, что сайт сделан, например, на CMS DLE, но программа не определяет его - просьба ссылки на такие сайты отправлять мне (в личку, почту, или в теме).

Сообщение отредактировал Content-Master - 5.10.2012, 13:12


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 9.10.2012, 15:08; Ответить: Content-Master
Сообщение #8


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


Вышла обновленная версия.

Обновления:
  • значительно переработан интерфейс - теперь гораздо удобнее.
  • добавил кнопки отмены заданий
  • появилась возможность определить кроме самой CMS еще и ТИЦ, Pr и наличие сайта в каталоге яндекс


Скачать программу можно тут: Парсер CMS


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Content-Master
Content-Master
Topic Starter сообщение 10.10.2012, 16:24; Ответить: Content-Master
Сообщение #9


Участник
***

Группа: User
Сообщений: 140
Регистрация: 28.8.2008
Из: Украина
Поблагодарили: 25 раз
Репутация:   3  


Обновление!

добавлена поддержка форумов:

  • phpBB
  • vBulletin Forum
  • IP.Board


Полный список поддерживаемых на данный момент CMS:

  1. DLE
  2. Joomla
  3. Drupal
  4. WordPress
  5. CMSimple
  6. Twilight CMS
  7. phpBB
  8. vBulletin Forum
  9. IP.Board


Забираем свежую версию.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
batik
batik
сообщение 10.10.2012, 17:36; Ответить: batik
Сообщение #10


Бывалый
****

Группа: User
Сообщений: 495
Регистрация: 23.9.2010
Из: Лесной
Поблагодарили: 290 раз
Репутация:   41  


ТС, оно ваще работает?
Судя по тому, что у меня показывает-это калькулятор трастлинка evrika.gif
Прикрепленное изображение

Либо я чего то не понял, что весьма вероятно, либо мой сайт (а на скрине обведен мой сайт) сделан не на джумле, имеет тиц википедии, пр богатый и еще и в яндекс каталоге.
Конечно, очень бы этого хотелось мне в реале, но прога то с чего мои мечты мониторит?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКачественный прогон сайтов, по профилям и статьям. Множество cms. Цены от 250 рублей.!
Комплексная услуга! Прогон по базе более 600 сайтов
325 Nonsys 300864 13.12.2017, 13:58
автор: Porsche
Открытая тема (нет новых ответов) Нужно перенести действующий интернет-магазин на CMS
Возможные CMS: PrestaShop, Битрикс, Magento, OpenCart
2 4aa19 311 8.12.2017, 17:59
автор: 4aa19
Открытая тема (нет новых ответов) Продажа баз доменов на различных эксклюзивных CMS.
Очень доступные цены. Более 300 cms
7 Nonsys 2200 7.12.2017, 20:05
автор: Nonsys
Горячая тема (нет новых ответов) Услуги по CMS Wordpress, DLE, Joomla!. Правки, ремонт, настройка.
Редактирование и правки. Низкие цены.
142 contex1 65123 5.12.2017, 12:13
автор: contex1
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыОказываю услуги по CMS Datalife Engine
Большой спектр услуг
276 bobur 96343 4.12.2017, 18:41
автор: bobur


 



RSS Текстовая версия Сейчас: 15.12.2017, 7:03
Дизайн