X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Добавить ответ в эту тему
> Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта
VinogradOFF
VinogradOFF
Topic Starter сообщение 8.11.2019, 20:10; Ответить: VinogradOFF
Сообщение #1


Топовый постер
*******


Группа: Active User
Сообщений: 3015
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 390 раз
Репутация:   29  


На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».



В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Для блокировки индексации можно использовать и директиву disallow:



Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

Цитата
«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».




Напомним, ранее стало известно, что если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать сайт.

источник
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Coffee
Coffee
сообщение 8.11.2019, 21:54; Ответить: Coffee
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 358
Регистрация: 11.8.2018
Из: бразилия
Поблагодарили: 56 раз
Репутация:   4  


Закрывать роботс от индексации в самом роботсе?
Вот это поворот...

Но информация определенно интересная.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
metvekot
metvekot
сообщение 9.11.2019, 0:29; Ответить: metvekot
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 742
Регистрация: 5.8.2015
Поблагодарили: 93 раза
Репутация:   13  


Цитата(VinogradOFF @ 8.11.2019, 20:10) *
В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

Никогда так не делал. Обычно запрещал через robots. Чтобы дополнительно запрещать роботам индексировать файл для роботов даже в голову не приходило.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Osipec
Osipec
сообщение 13.11.2019, 23:58; Ответить: Osipec
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 360
Регистрация: 17.8.2018
Поблагодарили: 39 раз
Репутация:   1  


Впервые слышу о такой херне
Кто так делает вообще? И в чем трабл если не закрывать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 14.11.2019, 0:12; Ответить: genjnat
Сообщение #5


Старожил
******

Группа: Active User
Сообщений: 2426
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1102 раза
Репутация:   121  


Цитата(VinogradOFF @ 8.11.2019, 19:10) *
При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.
Вероятно это и имел ввиду Мюллер, а не то, что робот нужно закрывать. Это всего навсего один файл, наличие которого в индексе никак остальным страницам вредить не может. Тем более на фоне всего того мусора, который обычно допускают к индексации помимо него.


--------------------


Поблагодарили: (3)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 14.11.2019, 23:48; Ответить: VinogradOFF
Сообщение #6


Топовый постер
*******


Группа: Active User
Сообщений: 3015
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 390 раз
Репутация:   29  


Цитата(genjnat @ 14.11.2019, 0:12) *
Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.


Немного отойду от темы -
Последние пару новых сайтов наблюдаю такую проблему - заливаю их на новый домен и в роботсе стоит запрет на индексаицю полный
Но при этом и в яндексе и в гугле главная страница всеравно в индексе с подписью что:

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Freedo
Freedo
сообщение Вчера, 0:41; Ответить: Freedo
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 325
Регистрация: 19.8.2018
Из: сети
Поблагодарили: 48 раз
Репутация:   8  


VinogradOFF, может домен до этого стоял долго без сайта и роботса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение Вчера, 11:09; Ответить: genjnat
Сообщение #8


Старожил
******

Группа: Active User
Сообщений: 2426
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1102 раза
Репутация:   121  


Цитата(VinogradOFF @ 14.11.2019, 22:48) *
Последние пару новых сайтов наблюдаю такую проблему

Так а в чем проблема? Просто урл домена в индексе, контент не индексируется... Раньше яндекс такое же показывал для всех страниц запрещенных через robots.txt, то есть у вас открыто к индексации 50 стр, и 500 всякого мусора запрещены. Писал "найдено 550 стр", по 500 из которым висели только урлы)))
Сейчас вроде как подправили, осталось только для главной.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение Вчера, 22:34; Ответить: VinogradOFF
Сообщение #9


Топовый постер
*******


Группа: Active User
Сообщений: 3015
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 390 раз
Репутация:   29  


Цитата(Freedo @ 15.11.2019, 0:41) *
может домен до этого стоял долго без сайта и роботса?


не, сайт залит сразу же после того как домен стал доступен

Цитата(genjnat @ 15.11.2019, 11:09) *
Так а в чем проблема?


Да проблемы особо нет, просто не хотелось бы показывать некоторые сайты. Например замечал что некоторые мои тестовые поддомены видны при поиске по названию основного домена )
Соответственно можно на них перейти и попасть )
И да, про денвер знаю )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение Вчера, 23:20; Ответить: genjnat
Сообщение #10


Старожил
******

Группа: Active User
Сообщений: 2426
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1102 раза
Репутация:   121  


VinogradOFF, ограничить доступ по ИП, или запаролить.
Если на ВП, полно плагинов


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Бывший сотрудник Google разрушил распространенные SEO-мифы
6 VinogradOFF 129 Сегодня, 0:12
автор: OS_ZP_UA
Открытая тема (нет новых ответов) Индивидуальный инвестиционный счёт: как и для чего его открыть?
passivdohod.ru - сайт про заработок, инвестиции, пассивный доход
3 Totleben 120 Вчера, 22:26
автор: VinogradOFF
Открытая тема (нет новых ответов) МТС представила устройство для наблюдения за подчиненными
3 seostock 57 Вчера, 21:46
автор: VinogradOFF
Открытая тема (нет новых ответов) Качественные тексты для ваших сайтов
4 JoRgic 287 Вчера, 10:05
автор: rokot
Открытая тема (нет новых ответов) «Яндекс» представил робота для доставки товаров и еды
12 seostock 473 Вчера, 8:59
автор: Santorini


 



RSS Текстовая версия Сейчас: 16.11.2019, 3:58
Дизайн