X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Будет ли робот яндекса загружать страницы из запрещенного раздела
v0233
v0233
Topic Starter сообщение 4.3.2012, 12:06; Ответить: v0233
Сообщение #1


Добрый день.
Подскажите пожалуйста такой вопрос?
У меня раздел "новости" закрыт от индекса в robots.txt
Будет ли яндекс их загружать в раздел "Загружено роботом"
Если да. То зачем он это делает, и туда лезет если ему запрещено?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
leshii_sf
leshii_sf
сообщение 4.3.2012, 14:10; Ответить: leshii_sf
Сообщение #2


Будет ли он туда лезть и качать закрытые страницы скорее всего можно узнать в логах сервера. robots.txt предназначен дл управления индексацией, поэтому "новости" просто не будут проиндексированы. А вот зачем ему лезть в закрытый раздел... из любопытства)

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Почему биткоин никогда не будет популярным платежным средством
с экономической точки зрения
167 GlazAlmaz 15576 15.9.2021, 11:54
автор: Стэнли
Открытая тема (нет новых ответов) ВКОНТАКТЕ - ТОП 4 проверенных сервиса для раскрутки магазина, компании, блога, личной страницы
0 Tanluck 2107 9.9.2021, 15:43
автор: Tanluck
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыСайты с доходом на продажу. Будет ли спрос?
35 Telnor 8913 8.9.2021, 10:13
автор: Telnor
Открытая тема (нет новых ответов) Подобрать группы и страницы и разместить ссылку
1 Lacomka 452 7.9.2021, 21:18
автор: xDanielx
Открытая тема (нет новых ответов) Продвижение в ТОП Яндекса поведенческими
19 denniseds 17973 2.9.2021, 8:46
автор: denniseds


 



RSS Текстовая версия Сейчас: 19.9.2021, 12:15
Дизайн