X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Добавить ответ в эту тему
> Google больше не станет поддерживать директиву noindex в robots.txt, А протокол Robots Exclusion Protocol станет стандартом для интернета
max_vegas
max_vegas
Topic Starter сообщение 17.7.2019, 15:57; Ответить: max_vegas
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 58
Регистрация: 19.9.2014
Поблагодарили: 3 раза
Репутация:   0  


Вкратце.

- 25 лет директивы robots.txt использовались де-факто, но не были зафиксированы как стандарт. Теперь стандарт будет создан, а значит появится официальная документация и будет снята неопределенность по нюансам.
- Например, теперь определен оптимальный размер файла — до 512 килобайт.
- Если размер файла превышает пороговое значение, то директивы после 512 килобайт не учитываются.
- Теперь протокол Robots Exclusion Protocol станет стандартом для интернета.
- Вариант в виде черновика — Robots Exclusion Protocol.
- Google больше не станет поддерживать директиву noindex, если ее использовать в файле robots.txt.
- Для запрета индексации используйте заголовок или специальный мета-тег.
- Новые сайты до запуска следует закрывать от индексации на уровне сервера.
- Если сайт переведен на HTTPS, следует провести проверку на предмет доступности файла robots.txt по протоколу HTTPS. Если сайт переведен на HTTPS, но файл robots.txt доступен только по HTTP, то директивы для HTTPS страниц сайта действовать не будут.


Если говорить о практике, то в сухом остатке список действий следующий:

- Удалить из файла robots.txt директивы noindex;
- Разместить noindex в заголовке X-Robots-Tag или мета-теге с значением content="noindex";
- Если файл превышает 512 килобайт, то уменьшить размер файла за счет использование масок;
- Удалить из файла директивы на запрет индексации CSS и JavaScript файлов;
- Если требуется убрать страницу из индекса и запретить индексацию, следует использовать 404 или 410 код ответа;
- Задать время кеширования файла через Cache-Control.


Более подробнее читайте в источнике (большая и классная статья): https://ru.megaindex.com/blog/robotstxt

Сообщение отредактировал max_vegas - 17.7.2019, 15:59
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Trumper
Trumper
сообщение 17.7.2019, 22:15; Ответить: Trumper
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 312
Регистрация: 9.8.2018
Из: Планета Земля
Поблагодарили: 44 раза
Репутация:   4  


Цитата(max_vegas @ 17.7.2019, 15:57) *
- Удалить из файла robots.txt директивы noindex;


А у кого то они прям были?

Цитата(max_vegas @ 17.7.2019, 15:57) *
- Удалить из файла директивы на запрет индексации CSS и JavaScript файлов;


Это еще давно нужно было сделать имхо

но в целои спасибо за статью )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Motorocker
Motorocker
сообщение 30.7.2019, 1:26; Ответить: Motorocker
Сообщение #3


Участник
***

Группа: User
Сообщений: 209
Регистрация: 14.5.2009
Из: Пермь
Поблагодарили: 53 раза
Репутация:   9  


max_vegas, Disallow - это то же самое, что noindex?


--------------------
Total Commander, Word
АвтоФормат текстов, АпИнфо
ПармаСруб - срубы из Перми, строительство домов и бань
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 30.7.2019, 19:37; Ответить: VinogradOFF
Сообщение #4


Старожил
******


Группа: Active User
Сообщений: 2414
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 283 раза
Репутация:   23  


Motorocker, нет, директива Disallow останется и будет работать как и раньше
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Опрос (нет новых голосов) Опрос: Кого больше в наших рядах? Вы курите?
32 MihalychAIP 2500 Вчера, 17:19
автор: Palundra
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыЛичная база, больше 1000 сайтов с высокими показателями! Гарантии!
Среднее показатели TF/CF: 36/24. Среднее значение Яндекс ИКС: 900
51 Misha 11229 Вчера, 16:31
автор: rumiso
Открытая тема (нет новых ответов) Google позволит заходить на свои сервисы без пароля
10 seostock 685 22.8.2019, 19:34
автор: 555DS
Открытая тема (нет новых ответов) Google и Mozilla заблокировали сертификат, который Казахстан использовал для слежки
4 seostock 122 22.8.2019, 1:37
автор: Osipec
Открытая тема (нет новых ответов) Google опубликовал руководство по основам JavaScript SEO
7 MissContent 455 21.8.2019, 15:16
автор: Tatyanko


 



RSS Текстовая версия Сейчас: 24.8.2019, 20:03
Дизайн