X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Простенький парсер кинопоиска, пока не очень удачно
ramnek
ramnek
Topic Starter сообщение 8.11.2011, 10:29; Ответить: ramnek
Сообщение #1


Доброго времени суток.
Пытаюсь написать простенький парсер для кинопоиска, чтобы считывал только некоторые поля (год, страна, жанр, бюджет и актеры)... И преобразовывал их в BB-коде.. ну это уже легко сделать...
Это бы облегчило работу ручного копирования этих данных. Однако, я столкнулся с такой проблемой:

Проблема в том, что каждый раз, когда я пытаюсь загрузить страницу из кинопоиска, то вместо страницы, он выдает:

Если вы видите эту страницу, значит с вашего IP-адреса поступило необычно много запросов. Система защиты от роботов (СЗоР) решила, что вместо вас действует программа, и ограничила доступ.

Если вы парсите сайт ради рейтинга, пожалуйста используйте xml версию рейтинга.

Отправьте письмо на адрес: info@kinopoisk.ru, с указанием этих данных:

IP адрес: 95.131.29.1
UserAgent: Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6 GTB7.1 sputnik 2.3.0.96
Referer:
Ht: 4

2011 © КиноПоиск.ru


Хотя если зайти на прямую с браузера, то кинопоиск отрывается... Пробовал авторизироваться, все равно выдает то же сообщение... При этом если ввести какой-нибудь другой URL, то все работает...

Вот кусок кода, где я хочу для начала просто скачать html код:

$url=substr(htmlspecialchars(trim($_POST['id'])), 0, 1000); // ну здесь URL ещё сверху прописывается это все верно
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6 GTB7.1 sputnik 2.3.0.96 ");
curl_setopt ($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_REFERER, $refer);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result  = curl_exec($ch);
echo $result;


В чем проблема? кинопоиск стал таким умным, что даже код страницы нельзя получить?)

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
1
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыA-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
354 Forbidden 279504 22.4.2024, 16:05
автор: AParser_Support
Открытая тема (нет новых ответов) Бесплатный парсер бот в Телеграм - [Parser Pro]
5 Parser_Pro 3354 27.1.2024, 16:12
автор: Parser_Pro
Открытая тема (нет новых ответов) WebArchiveMaster - парсер Вебархива
Добыча контента из ВебАрхива
16 footashes 12323 23.11.2022, 16:36
автор: kuz999
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлы⚡ AvitoSmart - быстрый парсер новых объявлений на Авито на запросах
Представляю парсер для [b]Zennoposter[/b]'a или [b]Zennobox[/b]
0 akcium 1272 19.11.2022, 13:05
автор: akcium
Открытая тема (нет новых ответов) Tubes Clip One - парсер тубов
21 xoopw 20847 16.4.2021, 17:30
автор: xoopw


 



RSS Текстовая версия Сейчас: 25.4.2024, 17:43
Дизайн