X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Google больше не станет поддерживать директиву noindex в robots.txt, А протокол Robots Exclusion Protocol станет стандартом для интернета
max_vegas
max_vegas
Topic Starter сообщение 17.7.2019, 15:57; Ответить: max_vegas
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 58
Регистрация: 19.9.2014
Поблагодарили: 3 раза
Репутация:   0  


Вкратце.

- 25 лет директивы robots.txt использовались де-факто, но не были зафиксированы как стандарт. Теперь стандарт будет создан, а значит появится официальная документация и будет снята неопределенность по нюансам.
- Например, теперь определен оптимальный размер файла — до 512 килобайт.
- Если размер файла превышает пороговое значение, то директивы после 512 килобайт не учитываются.
- Теперь протокол Robots Exclusion Protocol станет стандартом для интернета.
- Вариант в виде черновика — Robots Exclusion Protocol.
- Google больше не станет поддерживать директиву noindex, если ее использовать в файле robots.txt.
- Для запрета индексации используйте заголовок или специальный мета-тег.
- Новые сайты до запуска следует закрывать от индексации на уровне сервера.
- Если сайт переведен на HTTPS, следует провести проверку на предмет доступности файла robots.txt по протоколу HTTPS. Если сайт переведен на HTTPS, но файл robots.txt доступен только по HTTP, то директивы для HTTPS страниц сайта действовать не будут.


Если говорить о практике, то в сухом остатке список действий следующий:

- Удалить из файла robots.txt директивы noindex;
- Разместить noindex в заголовке X-Robots-Tag или мета-теге с значением content="noindex";
- Если файл превышает 512 килобайт, то уменьшить размер файла за счет использование масок;
- Удалить из файла директивы на запрет индексации CSS и JavaScript файлов;
- Если требуется убрать страницу из индекса и запретить индексацию, следует использовать 404 или 410 код ответа;
- Задать время кеширования файла через Cache-Control.


Более подробнее читайте в источнике (большая и классная статья): https://ru.megaindex.com/blog/robotstxt

Сообщение отредактировал max_vegas - 17.7.2019, 15:59
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Trumper
Trumper
сообщение 17.7.2019, 22:15; Ответить: Trumper
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 466
Регистрация: 9.8.2018
Из: Планета Земля
Поблагодарили: 82 раза
Репутация:   9  


Цитата(max_vegas @ 17.7.2019, 15:57) *
- Удалить из файла robots.txt директивы noindex;


А у кого то они прям были?

Цитата(max_vegas @ 17.7.2019, 15:57) *
- Удалить из файла директивы на запрет индексации CSS и JavaScript файлов;


Это еще давно нужно было сделать имхо

но в целои спасибо за статью )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Motorocker
Motorocker
сообщение 30.7.2019, 1:26; Ответить: Motorocker
Сообщение #3


Участник
***

Группа: User
Сообщений: 226
Регистрация: 14.5.2009
Из: Пермь
Поблагодарили: 57 раз
Репутация:   9  


max_vegas, Disallow - это то же самое, что noindex?


--------------------
Total Commander, Word
АвтоФормат текстов, АпИнфо
ПармаСруб - срубы из Перми, строительство домов и бань
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 30.7.2019, 19:37; Ответить: VinogradOFF
Сообщение #4


Топовый постер
*******


Группа: Active User
Сообщений: 4258
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 577 раз
Репутация:   44  


Motorocker, нет, директива Disallow останется и будет работать как и раньше
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ekmv
Ekmv
сообщение 20.9.2019, 8:14; Ответить: Ekmv
Сообщение #5


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 23.5.2019
Поблагодарили: 1 раз
Репутация:   0  


max_vegas, Спасибо за инфу



Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Google начал добавлять миниатюры изображений к результатам поиска
2 VinogradOFF 140 Сегодня, 12:27
автор: OS_ZP_UA
Открытая тема (нет новых ответов) Преступники используют Google Analytics для кражи данных кредитных карт
10 seostock 561 Вчера, 21:46
автор: Coffee
Открытая тема (нет новых ответов) Google будет платить медиа за новости
7 VinogradOFF 395 Вчера, 11:07
автор: Monabey_Exchange
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКупоны и аккаунты Google Adwords и купоны Яндекс.Директа
Продаются, покупаются, дарятся и меняются только в этой теме.
945 bum 299848 6.7.2020, 15:29
автор: Rebook
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыМайский апдейт Google
43 vvovvo 2226 6.7.2020, 1:50
автор: jartalk


 



RSS Текстовая версия Сейчас: 8.7.2020, 17:18
Дизайн