X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Как спарсить контент которого нет в html коде?
gold15
gold15
Topic Starter сообщение 2.2.2018, 15:32; Ответить: gold15
Сообщение #1


Страница https://yobit.net/ru/investbox/

Нужно спарсить блок с инвест планами



Этот блок не выводится в коде html
file_get_contents и curl его не видят

Как такое можно спарсить? Если можно то расскажите по подробнее, уже обыскался, не нашел решения.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
qpPeW
qpPeW
сообщение 2.2.2018, 15:34; Ответить: qpPeW
Сообщение #2


gold15, simple_html_dom в помощь...


--------------------
Веб-разработка (HTML5, CSS3, JavaScript, jQuery, Ajax, PHP) :: БЫСТРО :: КАЧЕСТВЕННО :: ДОСТУПНО
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gold15
gold15
Topic Starter сообщение 2.2.2018, 15:37; Ответить: gold15
Сообщение #3


qpPeW,
Цитата(qpPeW @ 2.2.2018, 15:34) *
Если можно то расскажите по подробнее
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
qpPeW
qpPeW
сообщение 2.2.2018, 15:46; Ответить: qpPeW
Сообщение #4


gold15, почитайте документацию, а то совсем обленились...


--------------------
Веб-разработка (HTML5, CSS3, JavaScript, jQuery, Ajax, PHP) :: БЫСТРО :: КАЧЕСТВЕННО :: ДОСТУПНО
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
WoWeb
WoWeb
сообщение 2.2.2018, 16:07; Ответить: WoWeb
Сообщение #5


Блок есть в html просто он подгружается с помощью ajax а если конкретнее то этой частью:
Код
              "ajax": $.fn.dataTable.pipeline({
                  url: '/ajax/system_investbox.php',
                  action: 'list_boxes',
                  pages: 5 // number of pages to cache
              }),


Сообщение отредактировал WoWeb - 2.2.2018, 16:07


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mmkulikov
mmkulikov
сообщение 2.2.2018, 16:56; Ответить: mmkulikov
Сообщение #6


Цитата(WoWeb @ 2.2.2018, 14:07) *
с помощью ajax

И если корректно написан обработчик - то "чужому" контент не отдаст :)


--------------------
Сдается, обращаться скайп avdesk-it-kmm
VPS от 5€
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ivan1985kiev
ivan1985kiev
сообщение 2.2.2018, 16:56; Ответить: ivan1985kiev
Сообщение #7


Да, блок подгружается ajax-ом, поэтому file_get_contents и curl скачают страницу без этого контента, а значит и simple_html_dom ничего из него не возьмет. Есть два выхода:
1. использовать браузерный парсер (есть такие в виде плагинов, названия не помню)
2. посмотреть через файрбаг по какому урлу и с какими параметрами обращается ajax, и скачивать этот урл напрямую
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
qpPeW
qpPeW
сообщение 2.2.2018, 17:52; Ответить: qpPeW
Сообщение #8


mmkulikov, все верно... :da:


--------------------
Веб-разработка (HTML5, CSS3, JavaScript, jQuery, Ajax, PHP) :: БЫСТРО :: КАЧЕСТВЕННО :: ДОСТУПНО
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TaraZZZ
TaraZZZ
сообщение 9.2.2018, 4:02; Ответить: TaraZZZ
Сообщение #9


Цитата(mmkulikov @ 2.2.2018, 15:56) *
И если корректно написан обработчик - то "чужому" контент не отдаст


Что очень легко обойти с помощью например того же phantomjs.
Но в данном случае это сродни стрельбе из пушек по воробьям.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SergeiVL
SergeiVL
сообщение 10.2.2018, 11:21; Ответить: SergeiVL
Сообщение #10


Вам нужно слать POST запрос на адрес:
https://yobit.net/ajax/system_investbox.php
с данными:
Код
draw:1
columns[0][data]:0
columns[0][name]:
columns[0][searchable]:true
columns[0][orderable]:false
columns[0][search][value]:
columns[0][search][regex]:false
columns[1][data]:1
columns[1][name]:
columns[1][searchable]:true
columns[1][orderable]:false
columns[1][search][value]:
columns[1][search][regex]:false
columns[2][data]:2
columns[2][name]:
columns[2][searchable]:true
columns[2][orderable]:false
columns[2][search][value]:
columns[2][search][regex]:false
columns[3][data]:3
columns[3][name]:
columns[3][searchable]:true
columns[3][orderable]:false
columns[3][search][value]:
columns[3][search][regex]:false
columns[4][data]:4
columns[4][name]:
columns[4][searchable]:true
columns[4][orderable]:false
columns[4][search][value]:
columns[4][search][regex]:false
columns[5][data]:5
columns[5][name]:
columns[5][searchable]:true
columns[5][orderable]:false
columns[5][search][value]:
columns[5][search][regex]:false
start:0
length:35
search[value]:
search[regex]:false
action:list_boxes
csrf_token:


В ответ получать json, парсить его. И формировать свою таблицу по данным

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Арбитражники, как ведете учет расходов и доходов?
12 Boymaster 1814 Сегодня, 21:03
автор: MisterBit
Горячая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
29 freeax 4811 17.4.2024, 1:19
автор: sergio11
Горячая тема (нет новых ответов) Как вы отдыхаете от работы за компом
148 adw-kupon.ru 19710 8.4.2024, 10:37
автор: Skyworker
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
18 uahomka 3102 5.4.2024, 5:53
автор: Skyworker
Открытая тема (нет новых ответов) Если статья не в индексе Google - она уникальна или нет?
5 uahomka 1435 3.4.2024, 23:56
автор: Liudmila


 



RSS Текстовая версия Сейчас: 19.4.2024, 21:05
Дизайн