X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Новые правила обработки директив Allow и Disallow в файлах robots.txt, важно
GreenMan
GreenMan
Topic Starter сообщение 8.3.2012, 14:59; Ответить: GreenMan
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 444
Регистрация: 28.6.2011
Из: Home
Поблагодарили: 80 раз
Репутация:   12  


Получил уведомление в Я.Вебмастер. Наверное, все и так это увидят, но все же.

Яндекс ввел новые правила обработки директив Allow и Disallow в файлах robots.txt.
Подробнее об использовании директив читаем здесь.


--------------------
- вэбмастер-энтузиаст -


Поблагодарили: (1)
4
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 8.3.2012, 15:04; Ответить: Fallup
Сообщение #2


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


Глазами пробежался, вроде все по старому.
Сообщения в панели нет.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Silverspam
Silverspam
сообщение 8.3.2012, 15:14; Ответить: Silverspam
Сообщение #3


Злобный SEO Злодей
*******

Группа: Super Moderator
Сообщений: 7710
Регистрация: 14.11.2009
Из: C Урала
Поблагодарили: 8472 раза
Репутация:   509  


как было:

Развернуть/Свернуть
Использование директив Disallow и Allow

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:

User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту

User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin'

Примечание:

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.

Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.

Символ '#' предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается.

Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'. Примеры:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'

Совместное использование директив.

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'

User-agent: Yandex
Disallow: /
Allow: /cgi-bin
# запрещает скачивать весь сайт

Директивы Allow-Disallow без параметров.

Отсутствие параметров у директивы трактуется следующим образом:

User-agent: Yandex
Disallow: # то же, что и Allow: /

User-agent: Yandex
Allow: # то же, что и Disallow: /


как стало:

Развернуть/Свернуть
Использование директив Disallow и Allow

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:

User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту

User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin'

Примечание:

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.

Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.

Символ '#' предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается.

Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'. Примеры:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'

Совместное использование директив.

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Таким образом порядок следования директив в файле robots.txt не влияет на использование их роботом. Примеры:

# Исходный robots.txt:
User-agent: Yandex
Allow: /catalog
Disallow: /
# Сортированный robots.txt:
User-agent: Yandex
Disallow: /
Allow: /catalog
# разрешает скачивать только страницы,
# начинающиеся с '/catalog'

# Исходный robots.txt:
User-agent: Yandex
Allow: /
Allow: /catalog/auto
Disallow: /catalog
# Сортированный robots.txt:
User-agent: Yandex
Allow: /
Disallow: /catalog
Allow: /catalog/auto
# запрещает скачивать страницы, начинающиеся с '/catalog',
# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.

Важно. В случае возникновения конфликта между двумя диретивывами с префиксами одинаковой длины приоритет отдается директиве Allow.

Директивы Allow-Disallow без параметров.

Отсутствие параметров у директивы трактуется следующим образом:

User-agent: Yandex
Disallow: # то же, что и Allow: /

User-agent: Yandex
Allow: # то же, что и Disallow: /


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
0alex1
0alex1
сообщение 8.3.2012, 15:15; Ответить: 0alex1
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1300
Регистрация: 8.7.2010
Поблагодарили: 423 раза
Репутация:   63  


Вообще-то изменение в обработке явное и сообщение тоже поучил от всех панелей ЯВ.


--------------------
Взять Кредит Webmoney тут
Лучшие биржи ссылок wmr1000 - Заработок в соц. сетях там
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
install
install
сообщение 8.3.2012, 15:15; Ответить: install
Сообщение #5


Яндекс ЛОХ
*******


Группа: Active User
Сообщений: 3530
Регистрация: 28.5.2009
Из: Нижневартовска
Поблагодарили: 1377 раз
Репутация:   201  


Хм, вроде все по старому. Что там изменилось не понятно.
Ни чего не приходило на почту и в панель.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
boberko
boberko
сообщение 8.3.2012, 15:20; Ответить: boberko
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 66
Регистрация: 14.3.2011
Поблагодарили: 20 раз
Репутация:   5  


Отличная новость, упрощает создание и редактирование роботс. Открыть для индексации только необходимое в 3 строки, чудесно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
0alex1
0alex1
сообщение 8.3.2012, 15:24; Ответить: 0alex1
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 1300
Регистрация: 8.7.2010
Поблагодарили: 423 раза
Репутация:   63  


Изменение:
Раньше приоритете зависел от порядка следования директив а сейчас от длинны префикса.


--------------------
Взять Кредит Webmoney тут
Лучшие биржи ссылок wmr1000 - Заработок в соц. сетях там


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
xxxGhost
xxxGhost
сообщение 11.3.2012, 21:34; Ответить: xxxGhost
Сообщение #8


Новичок
*

Группа: Viewer
Сообщений: 6
Регистрация: 11.3.2012
Поблагодарили: 1 раз
Репутация:   0  


(GreenMan @ 8.3.2012, 14:59) *
Получил уведомление в Я.Вебмастер. Наверное, все и так это увидят, но все же.

Яндекс ввел новые правила обработки директив Allow и Disallow в файлах robots.txt.
Подробнее об использовании директив читаем здесь.

Спасибо, мне почему-то ничего не написали
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Мижган
Мижган
сообщение 11.3.2012, 23:58; Ответить: Мижган
Сообщение #9


Новичок
*

Группа: Banned
Сообщений: 11
Регистрация: 11.3.2012
Поблагодарили: 0 раз
Репутация:   -1  


Пришло уведомление об изменении, огорчило.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Новые компьютеры Apple перестанут работать после неофициального ремонта
14 seostock 1415 Сегодня, 3:07
автор: Denny
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыXrumer 16.0 – лучшее обновление за несколько лет. Новые инструменты
166 AnnaYa 55755 16.10.2018, 23:17
автор: Kibec
Открытая тема (нет новых ответов) Полицейским в США запретили смотреть на новые iPhone
10 seostock 855 16.10.2018, 20:03
автор: Coffee
Открытая тема (нет новых ответов) Новые страницы или обновляемые старые?
9 Yurio 1569 16.10.2018, 6:01
автор: ReactorHeart
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыМагадан 2.2 - программа для сбора, хранения и обработки ключевых слов
146 Магадан 85707 9.10.2018, 14:39
автор: Магадан


 



RSS Текстовая версия Сейчас: 20.10.2018, 21:29
Дизайн