X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Новая система-блокировки от Яндекса?
FlashBlack
FlashBlack
Topic Starter сообщение 19.11.2010, 20:00; Ответить: FlashBlack
Сообщение #1


Участник
***

Группа: User
Сообщений: 192
Регистрация: 13.8.2008
Из: MINSK
Поблагодарили: 39 раз
Репутация:   10  


Доброе всем время!

Пишу с такой целью.
Яндекс начал очень усердно блокировать получение страниц через прокси.
Из запросов 20, только пару имеют не 404 статус.

Прокси элитные, приватные (awmproxy), на других проектах, не связанных с Яндексом, работаю что ошарашенные!

Кто с таким встречался?? Есть ли решение проблемы?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
asAlbert
asAlbert
сообщение 19.11.2010, 20:06; Ответить: asAlbert
Сообщение #2


http://http://http://http
*****

Группа: Active User
Сообщений: 992
Регистрация: 15.12.2009
Из: /dev/null
Поблагодарили: 221 раз
Репутация:   62  


Простите меня за мою необразованность, а что значит "получить страницу через прокси"?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FlashBlack
FlashBlack
Topic Starter сообщение 19.11.2010, 20:12; Ответить: FlashBlack
Сообщение #3


Участник
***

Группа: User
Сообщений: 192
Регистрация: 13.8.2008
Из: MINSK
Поблагодарили: 39 раз
Репутация:   10  


(asAlbert @ 19.11.2010, 18:06) *
Простите меня за мою необразованность, а что значит "получить страницу через прокси"?

"Выполнить HTTP соединение через прокси-сервер", "Открыть любую страницу яндекса через прокси", http://ru.wikipedia.org/wiki/%D0%9F%D1%80%...%B2%D0%B5%D1%80


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FreeBird
FreeBird
сообщение 20.11.2010, 12:32; Ответить: FreeBird
Сообщение #4


Частый гость
**


Группа: User
Сообщений: 79
Регистрация: 31.8.2010
Поблагодарили: 16 раз
Репутация:   2  


Увеличьте таймаут между запросами.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FlashBlack
FlashBlack
Topic Starter сообщение 20.11.2010, 13:23; Ответить: FlashBlack
Сообщение #5


Участник
***

Группа: User
Сообщений: 192
Регистрация: 13.8.2008
Из: MINSK
Поблагодарили: 39 раз
Репутация:   10  


(FreeBird @ 20.11.2010, 10:32) *
Увеличьте таймаут между запросами.

Это не вариант, т.к. элитные прокси на каждый запрос дают новый ip адрес.
Да и если внедрить таймаут, то многопоточная система полетит побоку.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lastop
lastop
сообщение 25.11.2010, 8:08; Ответить: lastop
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 54
Регистрация: 15.12.2009
Из: Рудники Сибири
Поблагодарили: 5 раз
Репутация:   2  


Вы как первый раз с яндексом работаете, смотрите КУКИ, проверьте таймауты, проверьте не дублируются ли IP?
У яндекса всегда самая свежая база элитных аном прокси, поэтому если ктонить такой же как вы веселиться с яндексом он мог IP уже эти побанить.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Anatol
Anatol
сообщение 25.11.2010, 22:40; Ответить: Anatol
Сообщение #7


Участник
***

Группа: Banned
Сообщений: 239
Регистрация: 18.10.2010
Из: Минск
Поблагодарили: 21 раз
Репутация:   5  


Попробуйте через аномайзеры


--------------------
Забанен за клоноводство
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Irinachange
Irinachange
сообщение 26.11.2010, 10:04; Ответить: Irinachange
Сообщение #8


Новичок
*

Группа: Viewer
Сообщений: 5
Регистрация: 24.11.2010
Поблагодарили: 0 раз
Репутация:   -5  


ребята не стоят на месте
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gr3y
gr3y
сообщение 26.11.2010, 10:35; Ответить: gr3y
Сообщение #9


Участник
***

Группа: User
Сообщений: 104
Регистрация: 30.6.2010
Из: Хабаровск
Поблагодарили: 31 раз
Репутация:   5  


FlashBlack
Прокси элитные, приватные (awmproxy), на других проектах, не связанных с Яндексом, работаю что ошарашенные!

Кто с таким встречался?? Есть ли решение проблемы?

Не могу понять зачем вы используете прокси. Я только что с одного IP замечательно спарсил собственным софтом 20 страниц во многопоточном режиме.
Надо смотреть не в сторону прокси, а в сторону подражания браузеру. Как вам уже сказали - смотрите куки.
Да и если внедрить таймаут, то многопоточная система полетит побоку.

Правда что ли? С чего вдруг?

Сообщение отредактировал gr3y - 26.11.2010, 10:36
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
1807
1807
сообщение 26.11.2010, 10:50; Ответить: 1807
Сообщение #10


Участник
***


Группа: User
Сообщений: 160
Регистрация: 27.8.2010
Поблагодарили: 14 раз
Репутация:   3  


(FlashBlack @ 20.11.2010, 12:23) *
элитные прокси на каждый запрос дают новый ip адрес.

в этом и вся проблема, вычислить прокси в данной ситуации проще простого..


--------------------
Куплю подписи, дорого
Помогу с установкой сапы бесплатно ICQ 9886806
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Сайту не хвататет любви яндекса
9 HavingingWorld 1289 Вчера, 14:25
автор: про100та
Открытая тема (нет новых ответов) Кнопка в сниппете в результатах выдачи Яндекса
Чат с компанией
7 falken 874 8.5.2018, 12:01
автор: genjnat
Открытая тема (нет новых ответов) Обзор: Эксперимент Яндекса с видео в сниппете
itb-company.com - seo и интернет маркетинг
3 slavyan 1480 1.5.2018, 21:32
автор: vvovvo
Открытая тема (нет новых ответов) Новая разработка Google сможет заменить SMS
2 seostock 997 1.5.2018, 1:49
автор: BuxarNET
Открытая тема (нет новых ответов) Есть постравшие от сегодняшнего обновления поисковой базы от Яндекса
28 Postdanke 3498 29.4.2018, 22:48
автор: rom_4


 



RSS Текстовая версия Сейчас: 25.5.2018, 1:41
Дизайн