Она говорит читать нужно больше внимательней и чаще

http://help.yandex.ru/webmaster/controllin.../robots-txt.xml

запретить всем ботам индексировать информацию из папок, указанных в Disallow.
учитывайте, что это лишь указание; использовать данную информацию или нет, решаете уже не вы

arturios, Спасибо за ссылку.
Но у меня просто долго соображалка работает)) Вот ни как и не могла понять
User-agent: * Это ВСЕ разрешает или запрещает ?
а это:



надеюсь вы не со зла..

Сообщение отредактировал EvaGolyb - 10.12.2013, 13:11

это указание конкретному боту, либо, как в вашем случае, для всех ботов вообще.
Disallow — запрещение индексации
Allow — разрешение индексации

по умолчанию, всё разрешено, что явно не запрещено

x64, Спасибо огромное) Теперь понятно)

Только теперь не понятно, зачем администратор сайта закрыл от индексации эти папки?

некоторые вещи более очевидны, другие — менее. например:
/administrator/ — админке индексироваться не нужно, доступ туда лишь по логину
/cache/ — кеш, используется движком сайта
/plugins/ — плагины, используется движком сайта
/templates/ — шаблоны, используется движком сайта
/tmp/ — временные файлы, используется движком сайта

возможно, владелец решил запретить индексацию всех папок, не участвующих в навигационной системе сайта (хотя на большинство из них ссылок из html быть не должно).
не страшно закрыть для индексации несуществующие пути, страшно закрыть страницы, что успешно сидят в выдаче

x64, Спасибо за полный ответ.
Теперь все понятно)

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.