X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Добавить ответ в эту тему
> Google открыла исходный код парсера Robots.txt
seostock
seostock
Topic Starter сообщение 2.7.2019, 20:19; Ответить: seostock
Сообщение #1


Старожил
******

Группа: Active User
Сообщений: 1014
Регистрация: 28.2.2012
Из: Сталинград
Поблагодарили: 255 раз
Репутация:   13  


Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt». «Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Источник


--------------------
Лучшие миксы электронной музыки deepcloud.ru
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rybakin
Rybakin
сообщение 2.7.2019, 23:09; Ответить: Rybakin
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 277
Регистрация: 14.8.2018
Поблагодарили: 31 раз
Репутация:   3  


Они еще и noindex больше не рекомендуют использовать

Цитата
1 сентября 2019 года Google упразднит элементы кода, используемые в robots.txt, но не соответствующие правилам. В список попадают директивы noindex, nofollow и crawl-delay – вебмастерам, которые прописывали их в robots.txt, придется воспользоваться альтернативными вариантами.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 3.7.2019, 23:36; Ответить: VinogradOFF
Сообщение #3


Топовый постер
*******


Группа: Active User
Сообщений: 2619
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 314 раз
Репутация:   24  


Цитата(Rybakin @ 2.7.2019, 23:09) *
используемые в robots.txt, но не соответствующие правилам. В список попадают директивы noindex, nofollow и crawl-delay


окей crawl-delay в роботах видел часто
но noindex, nofollow ???
А можно хотя бы парочку примеров как это выглядело?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Google ранжирует синдицированный контент выше оригинального
0 seostock 23 Сегодня, 17:53
автор: seostock
Открытая тема (нет новых ответов) Google отбирает посетителей у сайтов
13 seostock 1393 Сегодня, 16:06
автор: Iosipov_S
Открытая тема (нет новых ответов) Как работает алгоритм локального поиска Google
1 seostock 78 Сегодня, 2:18
автор: Freedo
Открытая тема (нет новых ответов) Оптимизация торговых кампаний Google Shopping
fireseo.ru - блог по интернет-маркетингу
3 knockie 260 Сегодня, 2:04
автор: Freedo
Открытая тема (нет новых ответов) Google: точный подсчёт ссылок в интернете технически невозможен
0 seostock 124 16.9.2019, 17:37
автор: seostock


 



RSS Текстовая версия Сейчас: 19.9.2019, 19:11
Дизайн