X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Google открыла исходный код парсера Robots.txt
seostock
seostock
Topic Starter сообщение 2.7.2019, 20:19; Ответить: seostock
Сообщение #1


Старожил
******

Группа: Active User
Сообщений: 1264
Регистрация: 28.2.2012
Из: Сталинград
Поблагодарили: 332 раза
Репутация:   14  


Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt». «Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Источник


--------------------
Лучшие миксы электронной музыки deepcloud.ru
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rybakin
Rybakin
сообщение 2.7.2019, 23:09; Ответить: Rybakin
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 373
Регистрация: 14.8.2018
Поблагодарили: 58 раз
Репутация:   8  


Они еще и noindex больше не рекомендуют использовать

Цитата
1 сентября 2019 года Google упразднит элементы кода, используемые в robots.txt, но не соответствующие правилам. В список попадают директивы noindex, nofollow и crawl-delay – вебмастерам, которые прописывали их в robots.txt, придется воспользоваться альтернативными вариантами.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 3.7.2019, 23:36; Ответить: VinogradOFF
Сообщение #3


Топовый постер
*******


Группа: Active User
Сообщений: 4116
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 560 раз
Репутация:   43  


Цитата(Rybakin @ 2.7.2019, 23:09) *
используемые в robots.txt, но не соответствующие правилам. В список попадают директивы noindex, nofollow и crawl-delay


окей crawl-delay в роботах видел часто
но noindex, nofollow ???
А можно хотя бы парочку примеров как это выглядело?

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыКто может объяснить про Google Pagespeed
8 Ostromir 194 Вчера, 14:50
автор: Directorfacebooka
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПродам аккаунты Google Adwords
13 Mukis 3110 2.6.2020, 1:16
автор: VinogradOFF
Открытая тема (нет новых ответов) Google о предстоящих изменениях в обработке nofollow
7 VinogradOFF 553 2.6.2020, 0:26
автор: VinogradOFF
Открытая тема (нет новых ответов) Google выплатит сотрудникам на удаленке по $1000
7 VinogradOFF 232 2.6.2020, 0:19
автор: VinogradOFF
Горячая тема (нет новых ответов) Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+
123 m1ntoll 43509 1.6.2020, 13:25
автор: m1ntoll


 



RSS Текстовая версия Сейчас: 5.6.2020, 10:37
Дизайн