X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Чем спарсить страницы сайта?
REGNET
REGNET
Topic Starter сообщение 12.7.2016, 21:10; Ответить: REGNET
Сообщение #1


Старожил
******


Группа: Active User
Сообщений: 2378
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 928 раз
Репутация:   149  


Вечер добрый, подскажите, пожалуйста, чем спарсить страницы сайта ( более 1 млн), sitemap отсутствует, ScreamingFrog не выдерживает парсинга(PRO версия).
Через аналитику тоже не вариант, нужные все страницы сайта ( не только те что в индексе )
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Palundra
Palundra
сообщение 12.7.2016, 22:38; Ответить: Palundra
Сообщение #2


Старожил
******


Группа: Active User
Сообщений: 1689
Регистрация: 21.2.2011
Из: Россия
Поблагодарили: 320 раз
Репутация:   63  


В каком формате нужно спарсить? Могу попробовать. Какой бюджет?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 12.7.2016, 23:12; Ответить: REGNET
Сообщение #3


Старожил
******


Группа: Active User
Сообщений: 2378
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 928 раз
Репутация:   149  


Palundra, формат в идеале категория + товары к ней ( чисто урлы ).

п.с. по цене не соориентирую
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
chernobog
chernobog
сообщение 6.8.2016, 20:34; Ответить: chernobog
Сообщение #4


Завсегдатай
*****


Группа: Active User
Сообщений: 688
Регистрация: 8.7.2010
Поблагодарили: 348 раз
Репутация:   57  


Content Downloader X1 — если нужно спарсить контент, HTTrack Website Copier — если спарсить весь сайт. CD отлично парсит контент, любые объемы. HTTrack Website Copier — тоже отличная штука, как-то парсил сайт 9 млн. страниц, 140 гб. данных, парсил около ~150 часов, потом остановил - надоело.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал chernobog - 6.8.2016, 20:35
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Продвижение сайта в ТОП выдачи с оплатой за позиции
4 Barselona 331 Сегодня, 14:51
автор: Barselona
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыОцените сайт "бизнес, новости, право". В чем проблема?
22 Merzuka 3136 Сегодня, 12:15
автор: nikolay_web
Открытая тема (нет новых ответов) Ваши первые действия после создания сайта
представьте что вы создали новый сайт
10 HavingingWorld 408 Сегодня, 0:05
автор: JOHNY
Открытая тема (нет новых ответов) Ссылки с сайта по ремонту квартир
Только Москва
1 serb000 869 Вчера, 14:48
автор: Olopopscalius
Открытая тема (нет новых ответов) 90 статейных ссылок. Хорошие доноры для вашего сайта.
7 blogprogon 479 Вчера, 12:27
автор: blogprogon


 



RSS Текстовая версия Сейчас: 23.5.2018, 19:31
Дизайн