X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Добавить ответ в эту тему
> Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта
VinogradOFF
VinogradOFF
Topic Starter сообщение 8.11.2019, 20:10; Ответить: VinogradOFF
Сообщение #1


Топовый постер
*******


Группа: Active User
Сообщений: 3396
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 475 раз
Репутация:   37  


На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».



В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Для блокировки индексации можно использовать и директиву disallow:



Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

Цитата
«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».




Напомним, ранее стало известно, что если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать сайт.

источник
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Coffee
Coffee
сообщение 8.11.2019, 21:54; Ответить: Coffee
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 400
Регистрация: 11.8.2018
Из: бразилия
Поблагодарили: 70 раз
Репутация:   7  


Закрывать роботс от индексации в самом роботсе?
Вот это поворот...

Но информация определенно интересная.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
metvekot
metvekot
сообщение 9.11.2019, 0:29; Ответить: metvekot
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 769
Регистрация: 5.8.2015
Поблагодарили: 98 раз
Репутация:   15  


Цитата(VinogradOFF @ 8.11.2019, 20:10) *
В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

Никогда так не делал. Обычно запрещал через robots. Чтобы дополнительно запрещать роботам индексировать файл для роботов даже в голову не приходило.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Osipec
Osipec
сообщение 13.11.2019, 23:58; Ответить: Osipec
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 397
Регистрация: 17.8.2018
Поблагодарили: 41 раз
Репутация:   3  


Впервые слышу о такой херне
Кто так делает вообще? И в чем трабл если не закрывать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 14.11.2019, 0:12; Ответить: genjnat
Сообщение #5


Топовый постер
*******

Группа: Active User
Сообщений: 2516
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1167 раз
Репутация:   124  


Цитата(VinogradOFF @ 8.11.2019, 19:10) *
При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.
Вероятно это и имел ввиду Мюллер, а не то, что робот нужно закрывать. Это всего навсего один файл, наличие которого в индексе никак остальным страницам вредить не может. Тем более на фоне всего того мусора, который обычно допускают к индексации помимо него.


--------------------


Поблагодарили: (3)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 14.11.2019, 23:48; Ответить: VinogradOFF
Сообщение #6


Топовый постер
*******


Группа: Active User
Сообщений: 3396
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 475 раз
Репутация:   37  


Цитата(genjnat @ 14.11.2019, 0:12) *
Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.


Немного отойду от темы -
Последние пару новых сайтов наблюдаю такую проблему - заливаю их на новый домен и в роботсе стоит запрет на индексаицю полный
Но при этом и в яндексе и в гугле главная страница всеравно в индексе с подписью что:

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Freedo
Freedo
сообщение 15.11.2019, 0:41; Ответить: Freedo
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 346
Регистрация: 19.8.2018
Из: сети
Поблагодарили: 53 раза
Репутация:   11  


VinogradOFF, может домен до этого стоял долго без сайта и роботса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 15.11.2019, 11:09; Ответить: genjnat
Сообщение #8


Топовый постер
*******

Группа: Active User
Сообщений: 2516
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1167 раз
Репутация:   124  


Цитата(VinogradOFF @ 14.11.2019, 22:48) *
Последние пару новых сайтов наблюдаю такую проблему

Так а в чем проблема? Просто урл домена в индексе, контент не индексируется... Раньше яндекс такое же показывал для всех страниц запрещенных через robots.txt, то есть у вас открыто к индексации 50 стр, и 500 всякого мусора запрещены. Писал "найдено 550 стр", по 500 из которым висели только урлы)))
Сейчас вроде как подправили, осталось только для главной.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 15.11.2019, 22:34; Ответить: VinogradOFF
Сообщение #9


Топовый постер
*******


Группа: Active User
Сообщений: 3396
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 475 раз
Репутация:   37  


Цитата(Freedo @ 15.11.2019, 0:41) *
может домен до этого стоял долго без сайта и роботса?


не, сайт залит сразу же после того как домен стал доступен

Цитата(genjnat @ 15.11.2019, 11:09) *
Так а в чем проблема?


Да проблемы особо нет, просто не хотелось бы показывать некоторые сайты. Например замечал что некоторые мои тестовые поддомены видны при поиске по названию основного домена )
Соответственно можно на них перейти и попасть )
И да, про денвер знаю )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 15.11.2019, 23:20; Ответить: genjnat
Сообщение #10


Топовый постер
*******

Группа: Active User
Сообщений: 2516
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1167 раз
Репутация:   124  


VinogradOFF, ограничить доступ по ИП, или запаролить.
Если на ВП, полно плагинов


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Гайд для НУБОВ: 8 первых грехов в INSTAGRAM
В рамках новогоднего конкурса 2019–2020 «Кейс года»
11 Zoya83 562 Вчера, 22:39
автор: Vmir
Открытая тема (нет новых ответов) Выполняю аудит безопасности сайта с корректировкой проблемных зон
1 littleАnt 41 Вчера, 22:29
автор: SeoJoke
Открытая тема (нет новых ответов) Яндекс обогнал Google в рейтинге лучших работодателей для студентов
5 VinogradOFF 77 Вчера, 21:06
автор: VinogradOFF
Открытая тема (нет новых ответов) Google начала брать деньги с правоохранителей за пользовательские данные
6 seostock 102 Вчера, 15:34
автор: Dario
Горячая тема (нет новых ответов) Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+
119 m1ntoll 40280 Вчера, 13:30
автор: Zhezkazganetcs


 



RSS Текстовая версия Сейчас: 30.1.2020, 0:27
Дизайн