Помощник
|
Новые правила обработки директив Allow и Disallow в файлах robots.txt, важно |
GreenMan
|
Сообщение
#1
|
||
|
|
||
|
|||
Fallup |
8.3.2012, 15:04;
Ответить: Fallup
Сообщение
#2
|
|
Глазами пробежался, вроде все по старому.
Сообщения в панели нет. -------------------- |
|
|
Silverspam |
8.3.2012, 15:14;
Ответить: Silverspam
Сообщение
#3
|
|
как было:
Развернуть/Свернуть
Использование директив Disallow и Allow
Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры: User-agent: Yandex Disallow: / # блокирует доступ ко всему сайту User-agent: Yandex Disallow: /cgi-bin # блокирует доступ к страницам #начинающимся с '/cgi-bin' Примечание: Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами. Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки. Символ '#' предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается. Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'. Примеры: User-agent: Yandex Allow: /cgi-bin Disallow: / # запрещает скачивать все, кроме страниц # начинающихся с '/cgi-bin' Совместное использование директив. Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры: User-agent: Yandex Allow: /cgi-bin Disallow: / # запрещает скачивать все, кроме страниц # начинающихся с '/cgi-bin' User-agent: Yandex Disallow: / Allow: /cgi-bin # запрещает скачивать весь сайт Директивы Allow-Disallow без параметров. Отсутствие параметров у директивы трактуется следующим образом: User-agent: Yandex Disallow: # то же, что и Allow: / User-agent: Yandex Allow: # то же, что и Disallow: / как стало: Развернуть/Свернуть
Использование директив Disallow и Allow
Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры: User-agent: Yandex Disallow: / # блокирует доступ ко всему сайту User-agent: Yandex Disallow: /cgi-bin # блокирует доступ к страницам #начинающимся с '/cgi-bin' Примечание: Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами. Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки. Символ '#' предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается. Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'. Примеры: User-agent: Yandex Allow: /cgi-bin Disallow: / # запрещает скачивать все, кроме страниц # начинающихся с '/cgi-bin' Совместное использование директив. Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Таким образом порядок следования директив в файле robots.txt не влияет на использование их роботом. Примеры: # Исходный robots.txt: User-agent: Yandex Allow: /catalog Disallow: / # Сортированный robots.txt: User-agent: Yandex Disallow: / Allow: /catalog # разрешает скачивать только страницы, # начинающиеся с '/catalog' # Исходный robots.txt: User-agent: Yandex Allow: / Allow: /catalog/auto Disallow: /catalog # Сортированный robots.txt: User-agent: Yandex Allow: / Disallow: /catalog Allow: /catalog/auto # запрещает скачивать страницы, начинающиеся с '/catalog', # но разрешает скачивать страницы, начинающиеся с '/catalog/auto'. Важно. В случае возникновения конфликта между двумя диретивывами с префиксами одинаковой длины приоритет отдается директиве Allow. Директивы Allow-Disallow без параметров. Отсутствие параметров у директивы трактуется следующим образом: User-agent: Yandex Disallow: # то же, что и Allow: / User-agent: Yandex Allow: # то же, что и Disallow: / -------------------- |
|
|
0alex1 |
8.3.2012, 15:15;
Ответить: 0alex1
Сообщение
#4
|
|
Вообще-то изменение в обработке явное и сообщение тоже поучил от всех панелей ЯВ.
-------------------- |
|
|
install |
8.3.2012, 15:15;
Ответить: install
Сообщение
#5
|
|
Хм, вроде все по старому. Что там изменилось не понятно.
Ни чего не приходило на почту и в панель. -------------------- |
|
|
boberko |
8.3.2012, 15:20;
Ответить: boberko
Сообщение
#6
|
|
Отличная новость, упрощает создание и редактирование роботс. Открыть для индексации только необходимое в 3 строки, чудесно.
|
|
|
0alex1 |
8.3.2012, 15:24;
Ответить: 0alex1
Сообщение
#7
|
|
Изменение:
Раньше приоритете зависел от порядка следования директив а сейчас от длинны префикса. -------------------- |
|
|
xxxGhost |
11.3.2012, 21:34;
Ответить: xxxGhost
Сообщение
#8
|
|
Получил уведомление в Я.Вебмастер. Наверное, все и так это увидят, но все же. Яндекс ввел новые правила обработки директив Allow и Disallow в файлах robots.txt. Подробнее об использовании директив читаем здесь. Спасибо, мне почему-то ничего не написали |
|
|
Мижган |
11.3.2012, 23:58;
Ответить: Мижган
Сообщение
#9
|
|
|
Пришло уведомление об изменении, огорчило.
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Apple показала новые iPhone 15 | 72 | arendator | 7609 | 13.2.2024, 2:39 автор: Room |
|
Требуются рерайтеры для обработки заявок в бирже Gogetlinks | 4 | maxf056 | 6258 | 15.11.2021, 11:38 автор: pishu-text |
|
новые гео CN/CA/BG/IR/AE подключаемся мелбет кайф |
0 | caa | 1057 | 17.9.2020, 10:59 автор: caa |
|
FinFile - новые возможности для монетизации Ваших файлов! | 3 | FileXmaster | 2084 | 25.7.2020, 16:10 автор: -Condis- |
|
Как перенести правила переадресации из .htaccess в php обработчик nginx? | 0 | KrisGuseva | 2097 | 28.12.2019, 7:33 автор: KrisGuseva |
Текстовая версия | Сейчас: 24.4.2024, 15:27 |