X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Curl обрезает текст
winex
winex
Topic Starter сообщение 13.2.2013, 9:51; Ответить: winex
Сообщение #1


Новичок
*

Группа: User
Сообщений: 49
Регистрация: 3.9.2012
Поблагодарили: 5 раз
Репутация:   0  


Здравствуйте.
Столкнулся с такой проблемой. Припарсинге сайта curl обрезает часть страницы. Через браузер, естественно все нормально.
ответ сайта
CODE
Connection Keep-Alive
Content-Type text/html; charset=utf-8
Date Wed, 13 Feb 2013 05:41:27 GMT
Keep-Alive timeout=20
Proxy-Connection Keep-Alive
Server nginx/1.2.0
Set-Cookie ngs_uid=expire; expires=Tue, 12-Feb-2013 17:41:27 GMT mainTab=resume; expires=Sat, 11-Feb-2023 05:41:27 GMT; path=/; domain=.rabota.ngs.ru avc=...; domain=ngs.ru; path=/
Transfer-Encoding chunked
Via 1.1 0C607A6BE5B1484
X-Request-ID efa1bb1311a62456b5ad0c7bc849ecbd

подскажите в чем может быть дело?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Archil
Archil
сообщение 13.2.2013, 12:31; Ответить: Archil
Сообщение #2


Завсегдатай
*****


Группа: Active User
Сообщений: 645
Регистрация: 13.1.2010
Из: Харьков
Поблагодарили: 79 раз
Репутация:   26  


Код покажите.


--------------------
CrowdLinks.ru - крауд-маркетинг для вас. Отзывы на мауле.
Работаю за Вас в Gogetlinks - быстро и качественно, стабильный заработок без напряга.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
winex
winex
Topic Starter сообщение 13.2.2013, 12:59; Ответить: winex
Сообщение #3


Новичок
*

Группа: User
Сообщений: 49
Регистрация: 3.9.2012
Поблагодарили: 5 раз
Репутация:   0  


Archil,
CODE
function get_url($url){
global $user_cookie_file;
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Accept-Encoding: gzip, deflate'));
curl_setopt($ch, CURLOPT_ENCODING , "gzip, deflate");
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)");
curl_setopt($ch, CURLOPT_COOKIEFILE, $user_cookie_file);
curl_setopt($ch, CURLOPT_COOKIEJAR, $user_cookie_file);
$headers_enabled = 1;
curl_setopt($ch, CURLOPT_HEADER, $headers_enabled);
$html = curl_exec($ch);

curl_close($ch);

return $html;
}


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Archil
Archil
сообщение 13.2.2013, 13:04; Ответить: Archil
Сообщение #4


Завсегдатай
*****


Группа: Active User
Сообщений: 645
Регистрация: 13.1.2010
Из: Харьков
Поблагодарили: 79 раз
Репутация:   26  


Ну и страницу покажи.


--------------------
CrowdLinks.ru - крауд-маркетинг для вас. Отзывы на мауле.
Работаю за Вас в Gogetlinks - быстро и качественно, стабильный заработок без напряга.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
winex
winex
Topic Starter сообщение 13.2.2013, 13:33; Ответить: winex
Сообщение #5


Новичок
*

Группа: User
Сообщений: 49
Регистрация: 3.9.2012
Поблагодарили: 5 раз
Репутация:   0  


Archil, которую загружаю? вот http://rabota.ngs.ru/resume

Сообщение отредактировал winex - 13.2.2013, 13:34


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Archil
Archil
сообщение 13.2.2013, 15:36; Ответить: Archil
Сообщение #6


Завсегдатай
*****


Группа: Active User
Сообщений: 645
Регистрация: 13.1.2010
Из: Харьков
Поблагодарили: 79 раз
Репутация:   26  


На каком месте обрезается?

Сообщение отредактировал Archil - 13.2.2013, 15:36


--------------------
CrowdLinks.ru - крауд-маркетинг для вас. Отзывы на мауле.
Работаю за Вас в Gogetlinks - быстро и качественно, стабильный заработок без напряга.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 13.2.2013, 15:44; Ответить: devuser
Сообщение #7


Все будет тип-топ
*****

Группа: Active User
Сообщений: 713
Регистрация: 5.12.2012
Из: Online
Поблагодарили: 342 раза
Репутация:   52  


Может дело в юзер-агенте ( IE 6 ) ?
Такой код отработал нормально, только что проверил

function _curl($url) {
        $user_agent = array();
        $user_agent[] = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_7; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.205 Safari/534.16';
        $user_agent[] = 'Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-US; rv:1.8.1.6) Gecko/2007072300 Iceweasel/2.0.0.6 (Debian-2.0.0.6-0etch1+lenny1)';
        $user_agent[] = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)';
        $user_agent[] = 'Mozilla/5.0 (X11; U; Linux i686; cs-CZ; rv:1.7.12) Gecko/20050929';
        $user_agent[] = 'Opera/9.80 (Windows NT 5.1; U; ru) Presto/2.9.168 Version/11.51';
        $user_agent[] = 'Mozilla/5.0 (Windows; I; Windows NT 5.1; ru; rv:1.9.2.13) Gecko/20100101 Firefox/4.0';
        $user_agent[] = 'Opera/9.80 (Windows NT 6.1; U; ru) Presto/2.8.131 Version/11.10';
        $user_agent[] = 'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.7; U; ru) Presto/2.8.131 Version/11.10';
        $user_agent[] = 'Mozilla/5.0 (Macintosh; I; Intel Mac OS X 10_6_7; ru-ru) AppleWebKit/534.31+ (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1';

        $ch = curl_init($url);
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_USERAGENT, $user_agent[array_rand($user_agent)]);

        $html = curl_exec($ch);

        curl_close($ch);
        return $html;
}


UPD.
Хотя у меня и ваша функция нормально отрабатывает, правда без сохранения кук.

Сообщение отредактировал devuser - 13.2.2013, 15:58


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
winex
winex
Topic Starter сообщение 13.2.2013, 16:09; Ответить: winex
Сообщение #8


Новичок
*

Группа: User
Сообщений: 49
Регистрация: 3.9.2012
Поблагодарили: 5 раз
Репутация:   0  


Archil, конкретного места нет. делаю просто echo get_url('юрл') и не выводит до конца страницу, обрывает в произвольном месте, примерно на середине.

Спасибо за участие в проблеме! Косяк оказался в том что я делал вот так $html = iconv( "utf-8", "cp1251",get_url($url));


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Archil
Archil
сообщение 13.2.2013, 16:34; Ответить: Archil
Сообщение #9


Завсегдатай
*****


Группа: Active User
Сообщений: 645
Регистрация: 13.1.2010
Из: Харьков
Поблагодарили: 79 раз
Репутация:   26  


winex, так а почему там косяк?


--------------------
CrowdLinks.ru - крауд-маркетинг для вас. Отзывы на мауле.
Работаю за Вас в Gogetlinks - быстро и качественно, стабильный заработок без напряга.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 13.2.2013, 16:44; Ответить: devuser
Сообщение #10


Все будет тип-топ
*****

Группа: Active User
Сообщений: 713
Регистрация: 5.12.2012
Из: Online
Поблагодарили: 342 раза
Репутация:   52  


Наверное, потому что лучше писать windows-1251, а не cp1251


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Копирайтинг и рерайт: качественный сео-текст по доступной цене!
312 Sostavitel 91072 8.12.2017, 12:30
автор: Sostavitel
Открытая тема (нет новых ответов) Размножить текст
4 azos 367 2.12.2017, 23:37
автор: Emtec
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыМожет, хватит терять клиентов? Текст – продавец, который будет работать на вас 24 часа в сутки.
39 Писатель 18338 7.11.2017, 13:22
автор: Писатель
Открытая тема (нет новых ответов) Отличный текст от 40р за 1000 сим
Готова потрудиться на благо рунета!
16 LiteText 2890 30.8.2017, 19:41
автор: LiteText
Открытая тема (нет новых ответов) Продам парсер авито (с номерами+поддержка прокси) php+curl+php-simple_html_dom
Продам парсер авито (с номерами+поддержка прокси) php+curl+php-simple_
0 don_java 828 14.5.2017, 22:12
автор: don_java


 



RSS Текстовая версия Сейчас: 15.12.2017, 16:05
Дизайн