X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Новые правила обработки директив Allow и Disallow в файлах robots.txt, важно
GreenMan
GreenMan
Topic Starter сообщение 8.3.2012, 14:59; Ответить: GreenMan
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 444
Регистрация: 28.6.2011
Из: Home
Поблагодарили: 80 раз
Репутация:   12  


Получил уведомление в Я.Вебмастер. Наверное, все и так это увидят, но все же.

Яндекс ввел новые правила обработки директив Allow и Disallow в файлах robots.txt.
Подробнее об использовании директив читаем здесь.


--------------------
- вэбмастер-энтузиаст -


Поблагодарили: (1)
4
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fallup
Fallup
сообщение 8.3.2012, 15:04; Ответить: Fallup
Сообщение #2


Добрый пёс
******


Группа: Active User
Сообщений: 2372
Регистрация: 15.12.2009
Из: мамы
Поблагодарили: 1065 раз
Репутация:   119  


Глазами пробежался, вроде все по старому.
Сообщения в панели нет.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Silverspam
Silverspam
сообщение 8.3.2012, 15:14; Ответить: Silverspam
Сообщение #3


Злобный SEO Злодей
*******

Группа: Super Moderator
Сообщений: 7440
Регистрация: 14.11.2009
Из: C Урала
Поблагодарили: 7640 раз
Репутация:   484  


как было:

Развернуть/Свернуть
Использование директив Disallow и Allow

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:

User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту

User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin'

Примечание:

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.

Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.

Символ '#' предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается.

Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'. Примеры:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'

Совместное использование директив.

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'

User-agent: Yandex
Disallow: /
Allow: /cgi-bin
# запрещает скачивать весь сайт

Директивы Allow-Disallow без параметров.

Отсутствие параметров у директивы трактуется следующим образом:

User-agent: Yandex
Disallow: # то же, что и Allow: /

User-agent: Yandex
Allow: # то же, что и Disallow: /


как стало:

Развернуть/Свернуть
Использование директив Disallow и Allow

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:

User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту

User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin'

Примечание:

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.

Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.

Символ '#' предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается.

Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'. Примеры:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'

Совместное использование директив.

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Таким образом порядок следования директив в файле robots.txt не влияет на использование их роботом. Примеры:

# Исходный robots.txt:
User-agent: Yandex
Allow: /catalog
Disallow: /
# Сортированный robots.txt:
User-agent: Yandex
Disallow: /
Allow: /catalog
# разрешает скачивать только страницы,
# начинающиеся с '/catalog'

# Исходный robots.txt:
User-agent: Yandex
Allow: /
Allow: /catalog/auto
Disallow: /catalog
# Сортированный robots.txt:
User-agent: Yandex
Allow: /
Disallow: /catalog
Allow: /catalog/auto
# запрещает скачивать страницы, начинающиеся с '/catalog',
# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.

Важно. В случае возникновения конфликта между двумя диретивывами с префиксами одинаковой длины приоритет отдается директиве Allow.

Директивы Allow-Disallow без параметров.

Отсутствие параметров у директивы трактуется следующим образом:

User-agent: Yandex
Disallow: # то же, что и Allow: /

User-agent: Yandex
Allow: # то же, что и Disallow: /


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
0alex1
0alex1
сообщение 8.3.2012, 15:15; Ответить: 0alex1
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1249
Регистрация: 8.7.2010
Поблагодарили: 412 раз
Репутация:   60  


Вообще-то изменение в обработке явное и сообщение тоже поучил от всех панелей ЯВ.


--------------------
Взять Кредит Webmoney тут
Лучшие биржи ссылок wmr1000 - Хороший хостинг там
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
install
install
сообщение 8.3.2012, 15:15; Ответить: install
Сообщение #5


Яндекс ЛОХ
*******


Группа: Active User
Сообщений: 3530
Регистрация: 28.5.2009
Из: Нижневартовска
Поблагодарили: 1376 раз
Репутация:   201  


Хм, вроде все по старому. Что там изменилось не понятно.
Ни чего не приходило на почту и в панель.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
boberko
boberko
сообщение 8.3.2012, 15:20; Ответить: boberko
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 66
Регистрация: 14.3.2011
Поблагодарили: 20 раз
Репутация:   5  


Отличная новость, упрощает создание и редактирование роботс. Открыть для индексации только необходимое в 3 строки, чудесно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
0alex1
0alex1
сообщение 8.3.2012, 15:24; Ответить: 0alex1
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 1249
Регистрация: 8.7.2010
Поблагодарили: 412 раз
Репутация:   60  


Изменение:
Раньше приоритете зависел от порядка следования директив а сейчас от длинны префикса.


--------------------
Взять Кредит Webmoney тут
Лучшие биржи ссылок wmr1000 - Хороший хостинг там


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
xxxGhost
xxxGhost
сообщение 11.3.2012, 21:34; Ответить: xxxGhost
Сообщение #8


Новичок
*

Группа: Viewer
Сообщений: 6
Регистрация: 11.3.2012
Поблагодарили: 1 раз
Репутация:   0  


(GreenMan @ 8.3.2012, 14:59) *
Получил уведомление в Я.Вебмастер. Наверное, все и так это увидят, но все же.

Яндекс ввел новые правила обработки директив Allow и Disallow в файлах robots.txt.
Подробнее об использовании директив читаем здесь.

Спасибо, мне почему-то ничего не написали
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Мижган
Мижган
сообщение 11.3.2012, 23:58; Ответить: Мижган
Сообщение #9


Новичок
*

Группа: Banned
Сообщений: 11
Регистрация: 11.3.2012
Поблагодарили: 0 раз
Репутация:   -1  


Пришло уведомление об изменении, огорчило.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Новые аккаунты Директ без НДС, которые можно пополнять картами РФ.
Можно вновь пополнять аккаунты Яндекс Директ без НДС из России.
5 DerianFox 1307 8.12.2017, 6:36
автор: DerianFox
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыМагадан 2.2 - программа для сбора, хранения и обработки ключевых слов
125 Магадан 71017 7.12.2017, 17:24
автор: Магадан
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47429 28.11.2017, 1:05
автор: Akira
Горячая тема (нет новых ответов) Xrumer 16.0 – лучшее обновление за несколько лет. Новые инструменты
88 AnnaYa 20763 27.11.2017, 22:07
автор: Botmaster
Открытая тема (нет новых ответов) Доменчик.ру - регистрация .RU/.РФ от 150 руб. Международные и новые доменные зоны от А до Z. Бонусы!
Выгодный перенос .RU/.РФ и других доменов. Работаем с 2008 года!
19 goldeuro 5898 24.11.2017, 15:13
автор: goldeuro


 



RSS Текстовая версия Сейчас: 12.12.2017, 12:47
Дизайн