X   Сообщение сайта
(Сообщение закроется через 3 секунды)


 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Добавить ответ в эту тему
> Google больше не станет поддерживать директиву noindex в robots.txt, А протокол Robots Exclusion Protocol станет стандартом для интернета
max_vegas
max_vegas
Topic Starter сообщение 17.7.2019, 15:57; Ответить: max_vegas
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 58
Регистрация: 19.9.2014
Поблагодарили: 3 раза
Репутация:   0  


Вкратце.

- 25 лет директивы robots.txt использовались де-факто, но не были зафиксированы как стандарт. Теперь стандарт будет создан, а значит появится официальная документация и будет снята неопределенность по нюансам.
- Например, теперь определен оптимальный размер файла — до 512 килобайт.
- Если размер файла превышает пороговое значение, то директивы после 512 килобайт не учитываются.
- Теперь протокол Robots Exclusion Protocol станет стандартом для интернета.
- Вариант в виде черновика — Robots Exclusion Protocol.
- Google больше не станет поддерживать директиву noindex, если ее использовать в файле robots.txt.
- Для запрета индексации используйте заголовок или специальный мета-тег.
- Новые сайты до запуска следует закрывать от индексации на уровне сервера.
- Если сайт переведен на HTTPS, следует провести проверку на предмет доступности файла robots.txt по протоколу HTTPS. Если сайт переведен на HTTPS, но файл robots.txt доступен только по HTTP, то директивы для HTTPS страниц сайта действовать не будут.


Если говорить о практике, то в сухом остатке список действий следующий:

- Удалить из файла robots.txt директивы noindex;
- Разместить noindex в заголовке X-Robots-Tag или мета-теге с значением content="noindex";
- Если файл превышает 512 килобайт, то уменьшить размер файла за счет использование масок;
- Удалить из файла директивы на запрет индексации CSS и JavaScript файлов;
- Если требуется убрать страницу из индекса и запретить индексацию, следует использовать 404 или 410 код ответа;
- Задать время кеширования файла через Cache-Control.


Более подробнее читайте в источнике (большая и классная статья): https://ru.megaindex.com/blog/robotstxt

Сообщение отредактировал max_vegas - 17.7.2019, 15:59
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Trumper
Trumper
сообщение 17.7.2019, 22:15; Ответить: Trumper
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 348
Регистрация: 9.8.2018
Из: Планета Земля
Поблагодарили: 50 раз
Репутация:   4  


Цитата(max_vegas @ 17.7.2019, 15:57) *
- Удалить из файла robots.txt директивы noindex;


А у кого то они прям были?

Цитата(max_vegas @ 17.7.2019, 15:57) *
- Удалить из файла директивы на запрет индексации CSS и JavaScript файлов;


Это еще давно нужно было сделать имхо

но в целои спасибо за статью )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Motorocker
Motorocker
сообщение 30.7.2019, 1:26; Ответить: Motorocker
Сообщение #3


Участник
***

Группа: User
Сообщений: 217
Регистрация: 14.5.2009
Из: Пермь
Поблагодарили: 56 раз
Репутация:   9  


max_vegas, Disallow - это то же самое, что noindex?


--------------------
Total Commander, Word
АвтоФормат текстов, АпИнфо
ПармаСруб - срубы из Перми, строительство домов и бань
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 30.7.2019, 19:37; Ответить: VinogradOFF
Сообщение #4


Топовый постер
*******


Группа: Active User
Сообщений: 2800
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 355 раз
Репутация:   27  


Motorocker, нет, директива Disallow останется и будет работать как и раньше
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ekmv
Ekmv
сообщение 20.9.2019, 8:14; Ответить: Ekmv
Сообщение #5


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 23.5.2019
Поблагодарили: 1 раз
Репутация:   0  


max_vegas, Спасибо за инфу



Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Доходы от рекламы в поиске у Google будут падать, а у Amazon расти
0 VinogradOFF 38 Вчера, 18:39
автор: VinogradOFF
Открытая тема (нет новых ответов) Продвижение в Google Play
4 b3rsus 1034 Вчера, 18:14
автор: henrybee
Открытая тема (нет новых ответов) Google Cloud платформ дает всем $300 на халяву. Кто-то уже пробовал?
3 Alex-777 163 17.10.2019, 14:05
автор: EvilGomel
Открытая тема (нет новых ответов) Google: заголовки H1 не важны для ранжирования
7 VinogradOFF 458 17.10.2019, 0:08
автор: Trumper
Горячая тема (нет новых ответов) Крупные новостные (СМИ) площадки, Яндекс Новости, Google News, анонсы, хорошая посещаемость.
66 NastyaLanPR 26481 16.10.2019, 21:35
автор: Alex-777


 



RSS Текстовая версия Сейчас: 19.10.2019, 14:03
Дизайн