Вкратце.

- 25 лет директивы robots.txt использовались де-факто, но не были зафиксированы как стандарт. Теперь стандарт будет создан, а значит появится официальная документация и будет снята неопределенность по нюансам.
- Например, теперь определен оптимальный размер файла — до 512 килобайт.
- Если размер файла превышает пороговое значение, то директивы после 512 килобайт не учитываются.
- Теперь протокол Robots Exclusion Protocol станет стандартом для интернета.
- Вариант в виде черновика — Robots Exclusion Protocol.
- Google больше не станет поддерживать директиву noindex, если ее использовать в файле robots.txt.
- Для запрета индексации используйте заголовок или специальный мета-тег.
- Новые сайты до запуска следует закрывать от индексации на уровне сервера.
- Если сайт переведен на HTTPS, следует провести проверку на предмет доступности файла robots.txt по протоколу HTTPS. Если сайт переведен на HTTPS, но файл robots.txt доступен только по HTTP, то директивы для HTTPS страниц сайта действовать не будут.


Если говорить о практике, то в сухом остатке список действий следующий:

- Удалить из файла robots.txt директивы noindex;
- Разместить noindex в заголовке X-Robots-Tag или мета-теге с значением content="noindex";
- Если файл превышает 512 килобайт, то уменьшить размер файла за счет использование масок;
- Удалить из файла директивы на запрет индексации CSS и JavaScript файлов;
- Если требуется убрать страницу из индекса и запретить индексацию, следует использовать 404 или 410 код ответа;
- Задать время кеширования файла через Cache-Control.


Более подробнее читайте в источнике (большая и классная статья): https://ru.megaindex.com/blog/robotstxt

Сообщение отредактировал max_vegas - 17.7.2019, 15:59