X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Подскажите по роботсу
Ostromir
Ostromir
Topic Starter сообщение 23.1.2019, 20:52; Ответить: Ostromir
Сообщение #1


Подскажите такой вопрос, есть роботс на данный момент который вот так выглядит

Код
User-agent: *
Disallow: /profile
Disallow: /registr

Host: https://site.ru/
Sitemap: https://site.ru/sitemap.xml

User-Agent: Yandex
Sitemap: https://site.ru/sitemap.xml

User-Agent: Googlebot
Sitemap: https://site.ru/sitemap.xml


Нужно ли дублировать директивы Disallow: для каждого бота, или достаточно в общем?
Нужно ли ссылку на карту сайта каждому боту отдельно прописывать
Хоста достаточно в общем (под звездочкой)
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
rokot
rokot
сообщение 23.1.2019, 22:02; Ответить: rokot
Сообщение #2


Ostromir, если верить справке обоих ПС (а ей стоит верить :) ) Т.к. у вас одинаковые запреты для обоих ПС, то можете указать в общем.

Код
User-agent: *
Disallow: /profile
Disallow: /registr
Host: https://site.ru/
Sitemap: https://site.ru/sitemap.xml


Выжимка из руководства Яндекса:
Цитата
В файле robots.txt робот проверяет наличие записей, начинающихся с User-agent:, в них учитываются подстроки Yandex (регистр значения не имеет) или * . Если обнаружена строка User-agent: Yandex, то строка User-agent: * не учитывается. Если строки User-agent: Yandex и User-agent: * отсутствуют, считается, что доступ роботу не ограничен.


Сообщение отредактировал rokot - 23.1.2019, 22:09


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
regem
regem
сообщение 24.1.2019, 11:53; Ответить: regem
Сообщение #3


Цитата(Ostromir @ 23.1.2019, 20:52) *


Хост можно и нужно убрать.
"Отказ от директивы HOST стал финальным этапом переработки логики зеркал в Яндексе."

Сообщение отредактировал regem - 24.1.2019, 11:56


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
сообщение 24.1.2019, 17:15; Ответить: VinogradOFF
Сообщение #4


Цитата(regem @ 24.1.2019, 11:53) *
"Отказ от директивы HOST стал финальным этапом переработки логики зеркал в Яндексе."


А для гугла?
К тому же тут вроде https у автора
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
OS_ZP_UA
OS_ZP_UA
сообщение 24.1.2019, 19:20; Ответить: OS_ZP_UA
Сообщение #5


VinogradOFF,
Так ее только российские ПСы понимали.
Директива HOST для Гугла или Бинга всегда считалось ошибкой в robots.txt
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ruby
Ruby
сообщение 26.1.2019, 16:47; Ответить: Ruby
Сообщение #6


Цитата(rokot @ 23.1.2019, 22:02) *
Т.к. у вас одинаковые запреты для обоих ПС, то можете указать в общем.


Так у вас же ниже написано немного обратное:

Если обнаружена строка User-agent: Yandex, то строка User-agent: * не учитывается

т.е. нужно либо один общий либо у каждого получается указывать
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Trumper
Trumper
сообщение 28.1.2019, 19:53; Ответить: Trumper
Сообщение #7


Цитата(Ruby @ 26.1.2019, 16:47) *
т.е. нужно либо один общий либо у каждого получается указывать


если между тем что нужно закрывать от каждой из пс нет различий, то смысл разделять? В общем сделать да и все получается....

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Подскажите по ошибкам из Яндекс вебмастера
1 noviktamw 1260 27.1.2024, 23:15
автор: Vmir
Открытая тема (нет новых ответов) Подскажите дейтинг партнерки с оплатой за регистрацию
18 Wolfhound 2124 9.3.2023, 6:17
автор: Skyworker
Открытая тема (нет новых ответов) Подскажите ПП. Траф только мобильный, только бурж.
тизеры\баннеры или видео
7 3rim 1729 21.9.2020, 19:39
автор: 3rim
Открытая тема (нет новых ответов) Подскажите партнёрку с мобильными офферами
5 docdie 2170 27.7.2020, 11:05
автор: WelcomePartners
Горячая тема (нет новых ответов) Подскажите нормальную ПП
Тематика: игры
37 Kiloan_Frost 7652 16.3.2020, 23:48
автор: MasterGraf


 



RSS Текстовая версия Сейчас: 29.3.2024, 1:29
Дизайн