X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Простенький парсер кинопоиска, пока не очень удачно
ramnek
ramnek
Topic Starter сообщение 8.11.2011, 10:29; Ответить: ramnek
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 575
Регистрация: 29.11.2008
Поблагодарили: 110 раз
Репутация:   14  


Доброго времени суток.
Пытаюсь написать простенький парсер для кинопоиска, чтобы считывал только некоторые поля (год, страна, жанр, бюджет и актеры)... И преобразовывал их в BB-коде.. ну это уже легко сделать...
Это бы облегчило работу ручного копирования этих данных. Однако, я столкнулся с такой проблемой:

Проблема в том, что каждый раз, когда я пытаюсь загрузить страницу из кинопоиска, то вместо страницы, он выдает:

Если вы видите эту страницу, значит с вашего IP-адреса поступило необычно много запросов. Система защиты от роботов (СЗоР) решила, что вместо вас действует программа, и ограничила доступ.

Если вы парсите сайт ради рейтинга, пожалуйста используйте xml версию рейтинга.

Отправьте письмо на адрес: info@kinopoisk.ru, с указанием этих данных:

IP адрес: 95.131.29.1
UserAgent: Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6 GTB7.1 sputnik 2.3.0.96
Referer:
Ht: 4

2011 © КиноПоиск.ru


Хотя если зайти на прямую с браузера, то кинопоиск отрывается... Пробовал авторизироваться, все равно выдает то же сообщение... При этом если ввести какой-нибудь другой URL, то все работает...

Вот кусок кода, где я хочу для начала просто скачать html код:

$url=substr(htmlspecialchars(trim($_POST['id'])), 0, 1000); // ну здесь URL ещё сверху прописывается это все верно
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6 GTB7.1 sputnik 2.3.0.96 ");
curl_setopt ($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, $refer);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result  = curl_exec($ch);
echo $result;


В чем проблема? кинопоиск стал таким умным, что даже код страницы нельзя получить?)


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыA-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
168 Forbidden 103010 4.12.2017, 13:55
автор: AParser_Support
Открытая тема (нет новых ответов) Нужен парсер контента
Уважаемые знатоки, требуется ваш совет или рекомендация.
4 m1h3y 1041 20.11.2017, 6:56
автор: Strellok
Горячая тема (нет новых ответов) Tubes Clip One - парсер тубов
32 xoopw 17466 29.10.2017, 3:02
автор: xoopw
Открытая тема (нет новых ответов) WebArchiveMaster - парсер Вебархива
Добыча контента из ВебАрхива
8 footashes 1211 25.10.2017, 22:02
автор: footashes
Открытая тема (нет новых ответов) Возможно ли создать парсер Кинопоиска по рецензиям?
1 MoreVi 422 24.10.2017, 21:47
автор: dimaprog


 



RSS Текстовая версия Сейчас: 13.12.2017, 11:36
Дизайн