X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Новая система-блокировки от Яндекса?
FlashBlack
FlashBlack
Topic Starter сообщение 19.11.2010, 20:00; Ответить: FlashBlack
Сообщение #1


Участник
***

Группа: User
Сообщений: 192
Регистрация: 13.8.2008
Из: MINSK
Поблагодарили: 39 раз
Репутация:   10  


Доброе всем время!

Пишу с такой целью.
Яндекс начал очень усердно блокировать получение страниц через прокси.
Из запросов 20, только пару имеют не 404 статус.

Прокси элитные, приватные (awmproxy), на других проектах, не связанных с Яндексом, работаю что ошарашенные!

Кто с таким встречался?? Есть ли решение проблемы?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
asAlbert
asAlbert
сообщение 19.11.2010, 20:06; Ответить: asAlbert
Сообщение #2


http://http://http://http
*****

Группа: Active User
Сообщений: 992
Регистрация: 15.12.2009
Из: /dev/null
Поблагодарили: 221 раз
Репутация:   62  


Простите меня за мою необразованность, а что значит "получить страницу через прокси"?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FlashBlack
FlashBlack
Topic Starter сообщение 19.11.2010, 20:12; Ответить: FlashBlack
Сообщение #3


Участник
***

Группа: User
Сообщений: 192
Регистрация: 13.8.2008
Из: MINSK
Поблагодарили: 39 раз
Репутация:   10  


(asAlbert @ 19.11.2010, 18:06) *
Простите меня за мою необразованность, а что значит "получить страницу через прокси"?

"Выполнить HTTP соединение через прокси-сервер", "Открыть любую страницу яндекса через прокси", http://ru.wikipedia.org/wiki/%D0%9F%D1%80%...%B2%D0%B5%D1%80


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FreeBird
FreeBird
сообщение 20.11.2010, 12:32; Ответить: FreeBird
Сообщение #4


Частый гость
**


Группа: User
Сообщений: 79
Регистрация: 31.8.2010
Поблагодарили: 16 раз
Репутация:   2  


Увеличьте таймаут между запросами.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
FlashBlack
FlashBlack
Topic Starter сообщение 20.11.2010, 13:23; Ответить: FlashBlack
Сообщение #5


Участник
***

Группа: User
Сообщений: 192
Регистрация: 13.8.2008
Из: MINSK
Поблагодарили: 39 раз
Репутация:   10  


(FreeBird @ 20.11.2010, 10:32) *
Увеличьте таймаут между запросами.

Это не вариант, т.к. элитные прокси на каждый запрос дают новый ip адрес.
Да и если внедрить таймаут, то многопоточная система полетит побоку.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lastop
lastop
сообщение 25.11.2010, 8:08; Ответить: lastop
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 54
Регистрация: 15.12.2009
Из: Рудники Сибири
Поблагодарили: 5 раз
Репутация:   2  


Вы как первый раз с яндексом работаете, смотрите КУКИ, проверьте таймауты, проверьте не дублируются ли IP?
У яндекса всегда самая свежая база элитных аном прокси, поэтому если ктонить такой же как вы веселиться с яндексом он мог IP уже эти побанить.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Anatol
Anatol
сообщение 25.11.2010, 22:40; Ответить: Anatol
Сообщение #7


Участник
***

Группа: Banned
Сообщений: 239
Регистрация: 18.10.2010
Из: Минск
Поблагодарили: 21 раз
Репутация:   5  


Попробуйте через аномайзеры


--------------------
Забанен за клоноводство
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Irinachange
Irinachange
сообщение 26.11.2010, 10:04; Ответить: Irinachange
Сообщение #8


Новичок
*

Группа: Viewer
Сообщений: 5
Регистрация: 24.11.2010
Поблагодарили: 0 раз
Репутация:   -5  


ребята не стоят на месте
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gr3y
gr3y
сообщение 26.11.2010, 10:35; Ответить: gr3y
Сообщение #9


Участник
***

Группа: User
Сообщений: 104
Регистрация: 30.6.2010
Из: Хабаровск
Поблагодарили: 31 раз
Репутация:   5  


FlashBlack
Прокси элитные, приватные (awmproxy), на других проектах, не связанных с Яндексом, работаю что ошарашенные!

Кто с таким встречался?? Есть ли решение проблемы?

Не могу понять зачем вы используете прокси. Я только что с одного IP замечательно спарсил собственным софтом 20 страниц во многопоточном режиме.
Надо смотреть не в сторону прокси, а в сторону подражания браузеру. Как вам уже сказали - смотрите куки.
Да и если внедрить таймаут, то многопоточная система полетит побоку.

Правда что ли? С чего вдруг?

Сообщение отредактировал gr3y - 26.11.2010, 10:36
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
1807
1807
сообщение 26.11.2010, 10:50; Ответить: 1807
Сообщение #10


Участник
***


Группа: User
Сообщений: 160
Регистрация: 27.8.2010
Поблагодарили: 14 раз
Репутация:   3  


(FlashBlack @ 20.11.2010, 12:23) *
элитные прокси на каждый запрос дают новый ip адрес.

в этом и вся проблема, вычислить прокси в данной ситуации проще простого..


--------------------
Куплю подписи, дорого
Помогу с установкой сапы бесплатно ICQ 9886806
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПоисковая система SEZNAM.CZ
SEO оптимизация в Чехии. Кто что посоветует, как работает поисковик?
14 DocTor 2890 Сегодня, 1:16
автор: Ley
Открытая тема (нет новых ответов) Вебмастер яндекса показывает большое количество левых страниц с сайта
3 AlexsBloger 1000 4.12.2017, 22:10
автор: Pavel85
Горячая тема (нет новых ответов) ZennoPoster MP - новая эра в SEO автоматизации! Зарабатывай более $1000 не напрягаясь!
192 nuaru_ 94717 4.12.2017, 17:11
автор: nuaru_
Открытая тема (нет новых ответов) Быстроробот яндекса принципиальный
2 Virus_07 684 4.12.2017, 11:06
автор: Virus_07
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыShopsHunter – новая платформа для монетизации целевого трафика
0 Majevsky 459 1.12.2017, 16:26
автор: Majevsky


 



RSS Текстовая версия Сейчас: 14.12.2017, 5:01
Дизайн