X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Обход роботами
GC_
GC_
Topic Starter сообщение 15.12.2011, 3:17; Ответить: GC_
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 902
Регистрация: 14.1.2008
Из: Red-Ярск
Поблагодарили: 364 раза
Репутация:   78  


Здравствуйте!

Такой вопрос. С какой скоростью поисковые роботы (Яндекс, Гугл) пожирают страницы на сайте? Т.е. с какой периодичностью поступают запросы? Если выставить на сервере ограничение на один-два запроса в секунду с одного ip проблем не будет с роботами?


--------------------
В чем сила, Брат?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
simply_sash
simply_sash
сообщение 15.12.2011, 9:11; Ответить: simply_sash
Сообщение #2


Участник
***

Группа: User
Сообщений: 228
Регистрация: 26.8.2011
Поблагодарили: 94 раза
Репутация:   21  


Только не понятно зачем вам это. Вы хотите только для роботов установить ограничение или для всех? Если для всех, то проблемы будут у посетителей сайта, поскольку страница, как правило, состоит не только с одной html-ки, а также из css, js, файлов изображений. Для каждого файла идет отдельный запрос. Поставив ограничение вы увеличите время загрузки страниц.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
redpartizanka
redpartizanka
сообщение 16.12.2011, 0:52; Ответить: redpartizanka
Сообщение #3


Новичок
*

Группа: User
Сообщений: 49
Регистрация: 8.12.2011
Поблагодарили: 4 раза
Репутация:   1  


Да и для роботов нежелательно такое делать. Могут потом возникнуть проблемы с индексацией
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Sead
Sead
сообщение 17.1.2012, 14:33; Ответить: Sead
Сообщение #4


Новичок
*

Группа: User
Сообщений: 19
Регистрация: 16.11.2011
Поблагодарили: 1 раз
Репутация:   0  


(redpartizanka @ 15.12.2011, 23:52) *
Да и для роботов нежелательно такое делать. Могут потом возникнуть проблемы с индексацией

А вообще,как узнать когда икакой робот ходил на сайт?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fobos
fobos
сообщение 17.1.2012, 14:48; Ответить: fobos
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 341
Регистрация: 22.2.2008
Из: СССР
Поблагодарили: 56 раз
Репутация:   7  


В панели вебмастеров гоши и яши (недавно появилось) есть графики отображающие сканирование страниц сайта. Гоша показывает скорость, количество и время на загрузку страниц. Яша показывает только количество загруженных страниц.
Так же в панели гоши можно задать скорость сканирования сайта, а для яши нужно прописывать в робот.тхт


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Trotil
Trotil
сообщение 15.2.2012, 16:04; Ответить: Trotil
Сообщение #6


Новичок
*

Группа: User
Сообщений: 16
Регистрация: 15.2.2012
Из: Санкт-Петербург
Поблагодарили: 0 раз
Репутация:   0  


Роботов лучше заманит посредством покупки ссылок с трастовых ресурсов. Когда роботы начнут ходить на сайт, необходимо наполнять сайт новым уникальным материалом. Чем чаще Вы это будете делать тем чаще будут заходить роботы


--------------------
Если ты можешь что то представить, значит ты можешь этого добиться!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
walkworld
walkworld
сообщение 15.2.2012, 18:26; Ответить: walkworld
Сообщение #7


Частый гость
**

Группа: User
Сообщений: 54
Регистрация: 12.2.2012
Из: Нижний Новгород
Поблагодарили: 10 раз
Репутация:   3  


(Sead @ 17.1.2012, 14:33) *
А вообще,как узнать когда икакой робот ходил на сайт?

В панели яндекс вебмастера в общей информации о сате есть такая строчка: Дата последнего посещения сайта роботом
У гугла в панели не знаю где. Можно еще если лента через feedburner посмотреть в информаци о подписчиках. Там тоже часто боты сидят.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


 



RSS Текстовая версия Сейчас: 16.12.2017, 21:14
Дизайн