X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Curl обрезает текст
winex
winex
Topic Starter сообщение 13.2.2013, 9:51; Ответить: winex
Сообщение #1


Здравствуйте.
Столкнулся с такой проблемой. Припарсинге сайта curl обрезает часть страницы. Через браузер, естественно все нормально.
ответ сайта
CODE
Connection Keep-Alive
Content-Type text/html; charset=utf-8
Date Wed, 13 Feb 2013 05:41:27 GMT
Keep-Alive timeout=20
Proxy-Connection Keep-Alive
Server nginx/1.2.0
Set-Cookie ngs_uid=expire; expires=Tue, 12-Feb-2013 17:41:27 GMT mainTab=resume; expires=Sat, 11-Feb-2023 05:41:27 GMT; path=/; domain=.rabota.ngs.ru avc=...; domain=ngs.ru; path=/
Transfer-Encoding chunked
Via 1.1 0C607A6BE5B1484
X-Request-ID efa1bb1311a62456b5ad0c7bc849ecbd

подскажите в чем может быть дело?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Archil
Archil
сообщение 13.2.2013, 12:31; Ответить: Archil
Сообщение #2


Код покажите.


--------------------
CrowdLinks.ru - крауд-маркетинг для вас. Отзывы на мауле.
Работаю за Вас в Gogetlinks - быстро и качественно, стабильный заработок без напряга.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
winex
winex
Topic Starter сообщение 13.2.2013, 12:59; Ответить: winex
Сообщение #3


Archil,
CODE
function get_url($url){
global $user_cookie_file;
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Accept-Encoding: gzip, deflate'));
curl_setopt($ch, CURLOPT_ENCODING , "gzip, deflate");
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)");
curl_setopt($ch, CURLOPT_COOKIEFILE, $user_cookie_file);
curl_setopt($ch, CURLOPT_COOKIEJAR, $user_cookie_file);
$headers_enabled = 1;
curl_setopt($ch, CURLOPT_HEADER, $headers_enabled);
$html = curl_exec($ch);

curl_close($ch);

return $html;
}


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Archil
Archil
сообщение 13.2.2013, 13:04; Ответить: Archil
Сообщение #4


Ну и страницу покажи.


--------------------
CrowdLinks.ru - крауд-маркетинг для вас. Отзывы на мауле.
Работаю за Вас в Gogetlinks - быстро и качественно, стабильный заработок без напряга.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
winex
winex
Topic Starter сообщение 13.2.2013, 13:33; Ответить: winex
Сообщение #5


Archil, которую загружаю? вот http://rabota.ngs.ru/resume

Сообщение отредактировал winex - 13.2.2013, 13:34


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Archil
Archil
сообщение 13.2.2013, 15:36; Ответить: Archil
Сообщение #6


На каком месте обрезается?

Сообщение отредактировал Archil - 13.2.2013, 15:36


--------------------
CrowdLinks.ru - крауд-маркетинг для вас. Отзывы на мауле.
Работаю за Вас в Gogetlinks - быстро и качественно, стабильный заработок без напряга.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 13.2.2013, 15:44; Ответить: devuser
Сообщение #7


Может дело в юзер-агенте ( IE 6 ) ?
Такой код отработал нормально, только что проверил

function _curl($url) {
        $user_agent = array();
        $user_agent[] = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_7; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.205 Safari/534.16';
        $user_agent[] = 'Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-US; rv:1.8.1.6) Gecko/2007072300 Iceweasel/2.0.0.6 (Debian-2.0.0.6-0etch1+lenny1)';
        $user_agent[] = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)';
        $user_agent[] = 'Mozilla/5.0 (X11; U; Linux i686; cs-CZ; rv:1.7.12) Gecko/20050929';
        $user_agent[] = 'Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51';
        $user_agent[] = 'Mozilla/5.0 (Windows; I; Windows NT 5.1; ru; rv:1.9.2.13) Gecko/20100101 Firefox/4.0';
        $user_agent[] = 'Opera/9.80 (Windows NT 6.1; U; ru) Presto/2.8.131 Version/11.10';
        $user_agent[] = 'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.7; U; ru) Presto/2.8.131 Version/11.10';
        $user_agent[] = 'Mozilla/5.0 (Macintosh; I; Intel Mac OS X 10_6_7; ru-ru) AppleWebKit/534.31+ (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1';

        $ch = curl_init($url);
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_USERAGENT, $user_agent[array_rand($user_agent)]);

        $html = curl_exec($ch);

        curl_close($ch);
        return $html;
}


UPD.
Хотя у меня и ваша функция нормально отрабатывает, правда без сохранения кук.

Сообщение отредактировал devuser - 13.2.2013, 15:58


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
winex
winex
Topic Starter сообщение 13.2.2013, 16:09; Ответить: winex
Сообщение #8


Archil, конкретного места нет. делаю просто echo get_url('юрл') и не выводит до конца страницу, обрывает в произвольном месте, примерно на середине.

Спасибо за участие в проблеме! Косяк оказался в том что я делал вот так $html = iconv( "utf-8", "cp1251",get_url($url));


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Archil
Archil
сообщение 13.2.2013, 16:34; Ответить: Archil
Сообщение #9


winex, так а почему там косяк?


--------------------
CrowdLinks.ru - крауд-маркетинг для вас. Отзывы на мауле.
Работаю за Вас в Gogetlinks - быстро и качественно, стабильный заработок без напряга.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 13.2.2013, 16:44; Ответить: devuser
Сообщение #10


Наверное, потому что лучше писать windows-1251, а не cp1251


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) SEO-текст на главной странице сайта и в категориях
5 boltuk 1354 26.3.2024, 21:43
автор: c4p1t4l15t
Открытая тема (нет новых ответов) Можно ли в старый SEO текст вместо старого домена поставить новый?
3 Tutich 1151 22.3.2024, 14:47
автор: Tutich
Горячая тема (нет новых ответов) Текст для сайта на английском языке
33 D007user 17912 26.1.2022, 17:16
автор: D007
Горячая тема (нет новых ответов) Копирайтинг и рерайт: качественный сео-текст по доступной цене!
374 Sostavitel 196494 18.1.2022, 23:46
автор: Sostavitel
Открытая тема (нет новых ответов) Эффективный копирайтинг. Продающие и инфостатьи, лэндинги. Текст для презентации и видео. Студенческие работы. Наполнение сайтов с нуля
7 лет в сфере, более 77 млн знаков за спиной
1 ELECTROKATZE 3579 11.6.2021, 18:48
автор: icoder


 



RSS Текстовая версия Сейчас: 29.3.2024, 1:50
Дизайн