X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Чем спарсить страницы сайта?
REGNET
REGNET
Topic Starter сообщение 12.7.2016, 21:10; Ответить: REGNET
Сообщение #1


Старожил
******


Группа: Active User
Сообщений: 2378
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 928 раз
Репутация:   149  


Вечер добрый, подскажите, пожалуйста, чем спарсить страницы сайта ( более 1 млн), sitemap отсутствует, ScreamingFrog не выдерживает парсинга(PRO версия).
Через аналитику тоже не вариант, нужные все страницы сайта ( не только те что в индексе )
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Palundra
Palundra
сообщение 12.7.2016, 22:38; Ответить: Palundra
Сообщение #2


Старожил
******

Группа: Active User
Сообщений: 1585
Регистрация: 21.2.2011
Из: Россия
Поблагодарили: 295 раз
Репутация:   58  


В каком формате нужно спарсить? Могу попробовать. Какой бюджет?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 12.7.2016, 23:12; Ответить: REGNET
Сообщение #3


Старожил
******


Группа: Active User
Сообщений: 2378
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 928 раз
Репутация:   149  


Palundra, формат в идеале категория + товары к ней ( чисто урлы ).

п.с. по цене не соориентирую
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
chernobog
chernobog
сообщение 6.8.2016, 20:34; Ответить: chernobog
Сообщение #4


Завсегдатай
*****


Группа: Active User
Сообщений: 688
Регистрация: 8.7.2010
Поблагодарили: 348 раз
Репутация:   57  


Content Downloader X1 — если нужно спарсить контент, HTTrack Website Copier — если спарсить весь сайт. CD отлично парсит контент, любые объемы. HTTrack Website Copier — тоже отличная штука, как-то парсил сайт 9 млн. страниц, 140 гб. данных, парсил около ~150 часов, потом остановил - надоело.

Сообщение отредактировал chernobog - 6.8.2016, 20:35
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Почему люди несут деньги организаторам тренингов, которые учат тому, чем сами никогда не занимались
74 Room 6789 Вчера, 15:01
автор: Mikki
Открытая тема (нет новых ответов) Увеличение посещаемости сайта (яндекс, гугл, соц сети) - реальные люди
16 SANR 1159 Вчера, 13:03
автор: kukla
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
8 komarik_vlad 958 12.12.2017, 23:24
автор: komarik_vlad
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыпрошу оценить юзабилити сайта
17 ДаниилЯ 1911 12.12.2017, 20:33
автор: alexandrrr
Открытая тема (нет новых ответов) Требуются рерайтеры для медицинского сайта
30 руб за 1000 рерайта
14 Lisel85 2738 12.12.2017, 19:38
автор: Lisel85


 



RSS Текстовая версия Сейчас: 14.12.2017, 2:51
Дизайн