Помощник
Анализ файла robots.txt |
EvaGolyb
|
Сообщение
#1
|
||
|
|
||
|
|||
arturios |
10.12.2013, 12:58;
Ответить: arturios
Сообщение
#2
|
|
Она говорит читать нужно больше внимательней и чаще
http://help.yandex.ru/webmaster/controllin.../robots-txt.xml |
|
|
x64 |
10.12.2013, 12:58;
Ответить: x64
Сообщение
#3
|
|
запретить всем ботам индексировать информацию из папок, указанных в Disallow.
учитывайте, что это лишь указание; использовать данную информацию или нет, решаете уже не вы |
|
|
EvaGolyb
|
Сообщение
#4
|
|
arturios, Спасибо за ссылку.
Но у меня просто долго соображалка работает)) Вот ни как и не могла понять User-agent: * Это ВСЕ разрешает или запрещает ? а это: Она говорит читать нужно больше внимательней и чаще надеюсь вы не со зла.. Сообщение отредактировал EvaGolyb - 10.12.2013, 13:11 |
|
|
x64 |
10.12.2013, 13:13;
Ответить: x64
Сообщение
#5
|
|
User-agent: * это указание конкретному боту, либо, как в вашем случае, для всех ботов вообще. Disallow — запрещение индексации Allow — разрешение индексации по умолчанию, всё разрешено, что явно не запрещено |
|
|
EvaGolyb
|
Сообщение
#6
|
|
x64, Спасибо огромное) Теперь понятно)
Только теперь не понятно, зачем администратор сайта закрыл от индексации эти папки? |
|
|
x64 |
10.12.2013, 13:43;
Ответить: x64
Сообщение
#7
|
|
некоторые вещи более очевидны, другие — менее. например:
/administrator/ — админке индексироваться не нужно, доступ туда лишь по логину /cache/ — кеш, используется движком сайта /plugins/ — плагины, используется движком сайта /templates/ — шаблоны, используется движком сайта /tmp/ — временные файлы, используется движком сайта возможно, владелец решил запретить индексацию всех папок, не участвующих в навигационной системе сайта (хотя на большинство из них ссылок из html быть не должно). не страшно закрыть для индексации несуществующие пути, страшно закрыть страницы, что успешно сидят в выдаче |
|
|
EvaGolyb
|
Сообщение
#8
|
|
|
x64, Спасибо за полный ответ.
Теперь все понятно)
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Бесплатный SEO анализ сайта по 26 параметрам! Программный анализ вашего сайта |
49 | wp01 | 25247 | 20.3.2023, 15:35 автор: wp01 |
|
Бесплатный SEO анализ сайта по 26 параметрам! | 48 | wp01 | 22298 | 20.3.2023, 15:34 автор: wp01 |
|
Аудит сайта от 1900 руб, технический, юзабилити, анализ конкурентов, другие seo услуги | 0 | про100та | 1152 | 22.7.2022, 23:26 автор: про100та |
|
Анализ конкурентов, помощь в семантике. Данные из Spywords Выгрузки по вашим пожеланиям |
0 | Infra | 7210 | 7.6.2020, 18:39 автор: Infra |
|
Нужен анализ конкурентов И выгрузка статей |
1 | Kiloan_Frost | 7516 | 5.4.2020, 14:49 автор: WebSniper |
Текстовая версия | Сейчас: 20.4.2024, 5:24 |