X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Будет ли робот яндекса загружать страницы из запрещенного раздела
v0233
v0233
Topic Starter сообщение 4.3.2012, 12:06; Ответить: v0233
Сообщение #1


Новичок
*

Группа: User
Сообщений: 28
Регистрация: 27.12.2011
Поблагодарили: 0 раз
Репутация:   0  


Добрый день.
Подскажите пожалуйста такой вопрос?
У меня раздел "новости" закрыт от индекса в robots.txt
Будет ли яндекс их загружать в раздел "Загружено роботом"
Если да. То зачем он это делает, и туда лезет если ему запрещено?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
leshii_sf
leshii_sf
сообщение 4.3.2012, 14:10; Ответить: leshii_sf
Сообщение #2


Топовый постер
*******

Группа: Active User
Сообщений: 2589
Регистрация: 4.9.2011
Поблагодарили: 6 раз
Репутация:   1  


Будет ли он туда лезть и качать закрытые страницы скорее всего можно узнать в логах сервера. robots.txt предназначен дл управления индексацией, поэтому "новости" просто не будут проиндексированы. А вот зачем ему лезть в закрытый раздел... из любопытства)

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Что теперь будет с накрутчиками ПФ?
35 DUbiev 2727 22.10.2020, 2:56
автор: JOHNY
Открытая тема (нет новых ответов) Требуется человек, который будет искать новости на ин.сайтах и переводить
6 Zoya83 420 21.10.2020, 18:00
автор: Winstrol
Горячая тема (нет новых ответов) тИЦ отменили! Новый показатель Яндекса ИКС! Лучшие площадки под размещение. Бесплатное написание статей при любом заказе.
Эксклюзивное предложение. Успей получить написание статей БЕСПЛАТНО
59 VIMstat 52308 19.10.2020, 18:39
автор: VIMstat
Открытая тема (нет новых ответов) Что будет с поисковым трафиком если закрыть от индексации изображения на сайте?
10 A_Pilot 448 19.10.2020, 16:50
автор: ProfitPixels
Открытая тема (нет новых ответов) Горячая линия «Почты России» подключила голосового помощника на базе технологий «Яндекса»
4 VinogradOFF 206 12.10.2020, 22:33
автор: VinogradOFF


 



RSS Текстовая версия Сейчас: 25.10.2020, 0:32
Дизайн