X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Анализ файла robots.txt
EvaGolyb
EvaGolyb
Topic Starter сообщение 10.12.2013, 12:55; Ответить: EvaGolyb
Сообщение #1


Новичок
*

Группа: User
Сообщений: 33
Регистрация: 4.12.2013
Поблагодарили: 3 раза
Репутация:   0  


Здравствуйте.
Помогите понять что говорит эта информация в файле robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

??

Заранее спасибо)
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
arturios
arturios
сообщение 10.12.2013, 12:58; Ответить: arturios
Сообщение #2


JavaSE
******

Группа: Super Moderator
Сообщений: 1803
Регистрация: 16.10.2012
Из: Москва
Поблагодарили: 1294 раза
Репутация:   78  


Она говорит читать нужно больше внимательней и чаще

http://help.yandex.ru/webmaster/controllin.../robots-txt.xml


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 10.12.2013, 12:58; Ответить: x64
Сообщение #3


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3424
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2746 раз
Репутация:   289  


запретить всем ботам индексировать информацию из папок, указанных в Disallow.
учитывайте, что это лишь указание; использовать данную информацию или нет, решаете уже не вы wink.gif


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
EvaGolyb
EvaGolyb
Topic Starter сообщение 10.12.2013, 13:10; Ответить: EvaGolyb
Сообщение #4


Новичок
*

Группа: User
Сообщений: 33
Регистрация: 4.12.2013
Поблагодарили: 3 раза
Репутация:   0  


arturios, Спасибо за ссылку.
Но у меня просто долго соображалка работает)) Вот ни как и не могла понять
User-agent: * Это ВСЕ разрешает или запрещает ?
а это:

Она говорит читать нужно больше внимательней и чаще


надеюсь вы не со зла..

Сообщение отредактировал EvaGolyb - 10.12.2013, 13:11
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 10.12.2013, 13:13; Ответить: x64
Сообщение #5


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3424
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2746 раз
Репутация:   289  


(EvaGolyb @ 10.12.2013, 13:10) *
User-agent: *

это указание конкретному боту, либо, как в вашем случае, для всех ботов вообще.
Disallow — запрещение индексации
Allow — разрешение индексации

по умолчанию, всё разрешено, что явно не запрещено


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
EvaGolyb
EvaGolyb
Topic Starter сообщение 10.12.2013, 13:17; Ответить: EvaGolyb
Сообщение #6


Новичок
*

Группа: User
Сообщений: 33
Регистрация: 4.12.2013
Поблагодарили: 3 раза
Репутация:   0  


x64, Спасибо огромное) Теперь понятно)

Только теперь не понятно, зачем администратор сайта закрыл от индексации эти папки?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 10.12.2013, 13:43; Ответить: x64
Сообщение #7


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3424
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2746 раз
Репутация:   289  


некоторые вещи более очевидны, другие — менее. например:
/administrator/ — админке индексироваться не нужно, доступ туда лишь по логину
/cache/ — кеш, используется движком сайта
/plugins/ — плагины, используется движком сайта
/templates/ — шаблоны, используется движком сайта
/tmp/ — временные файлы, используется движком сайта

возможно, владелец решил запретить индексацию всех папок, не участвующих в навигационной системе сайта (хотя на большинство из них ссылок из html быть не должно).
не страшно закрыть для индексации несуществующие пути, страшно закрыть страницы, что успешно сидят в выдаче pardon.gif


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
EvaGolyb
EvaGolyb
Topic Starter сообщение 10.12.2013, 13:48; Ответить: EvaGolyb
Сообщение #8


Новичок
*

Группа: User
Сообщений: 33
Регистрация: 4.12.2013
Поблагодарили: 3 раза
Репутация:   0  


x64, Спасибо за полный ответ.
Теперь все понятно)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47461 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 484 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1189 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Качественный анализ Юзабилити ваших сайтов
Юзабилити
14 rononov 2564 25.9.2017, 10:57
автор: rononov
Открытая тема (нет новых ответов) Сравнительный анализ 15-ти SEO краулеров интернета
staurus.net
5 Staurus 965 21.9.2017, 19:05
автор: Levizar


 



RSS Текстовая версия Сейчас: 14.12.2017, 10:28
Дизайн