X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Добавить ответ в эту тему
> Google открыла исходный код парсера Robots.txt
seostock
seostock
Topic Starter сообщение 2.7.2019, 20:19; Ответить: seostock
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 903
Регистрация: 28.2.2012
Из: Сталинград
Поблагодарили: 241 раз
Репутация:   12  


Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt». «Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Источник


--------------------
Лучшие миксы электронной музыки deepcloud.ru
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rybakin
Rybakin
сообщение 2.7.2019, 23:09; Ответить: Rybakin
Сообщение #2


Участник
***

Группа: User
Сообщений: 234
Регистрация: 14.8.2018
Поблагодарили: 27 раз
Репутация:   3  


Они еще и noindex больше не рекомендуют использовать

Цитата
1 сентября 2019 года Google упразднит элементы кода, используемые в robots.txt, но не соответствующие правилам. В список попадают директивы noindex, nofollow и crawl-delay – вебмастерам, которые прописывали их в robots.txt, придется воспользоваться альтернативными вариантами.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 3.7.2019, 23:36; Ответить: VinogradOFF
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 2141
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 252 раза
Репутация:   20  


Цитата(Rybakin @ 2.7.2019, 23:09) *
используемые в robots.txt, но не соответствующие правилам. В список попадают директивы noindex, nofollow и crawl-delay


окей crawl-delay в роботах видел часто
но noindex, nofollow ???
А можно хотя бы парочку примеров как это выглядело?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Google опубликовал руководство по основам JavaScript SEO
1 MissContent 75 Вчера, 21:18
автор: VinogradOFF
Открытая тема (нет новых ответов) Google увеличил размер выплат за уязвимости, найденные в Chrome
6 VinogradOFF 156 Вчера, 20:59
автор: VinogradOFF
Горячая тема (нет новых ответов) Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+
113 m1ntoll 36846 Вчера, 10:24
автор: m1ntoll
Открытая тема (нет новых ответов) Google больше не станет поддерживать директиву noindex в robots.txt
А протокол Robots Exclusion Protocol станет стандартом для интернета
1 max_vegas 190 17.7.2019, 22:15
автор: Trumper
Открытая тема (нет новых ответов) Google Chrome сравнили со шпионским ПО
10 VinogradOFF 208 17.7.2019, 16:25
автор: metvekot


 



RSS Текстовая версия Сейчас: 23.7.2019, 0:45
Дизайн