X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Добавить ответ в эту тему
> Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта
VinogradOFF
VinogradOFF
Topic Starter сообщение 8.11.2019, 20:10; Ответить: VinogradOFF
Сообщение #1


Топовый постер
*******


Группа: Active User
Сообщений: 3130
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 423 раза
Репутация:   33  


На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».



В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Для блокировки индексации можно использовать и директиву disallow:



Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

Цитата
«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».




Напомним, ранее стало известно, что если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать сайт.

источник
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Coffee
Coffee
сообщение 8.11.2019, 21:54; Ответить: Coffee
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 364
Регистрация: 11.8.2018
Из: бразилия
Поблагодарили: 57 раз
Репутация:   4  


Закрывать роботс от индексации в самом роботсе?
Вот это поворот...

Но информация определенно интересная.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
metvekot
metvekot
сообщение 9.11.2019, 0:29; Ответить: metvekot
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 742
Регистрация: 5.8.2015
Поблагодарили: 93 раза
Репутация:   13  


Цитата(VinogradOFF @ 8.11.2019, 20:10) *
В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

Никогда так не делал. Обычно запрещал через robots. Чтобы дополнительно запрещать роботам индексировать файл для роботов даже в голову не приходило.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Osipec
Osipec
сообщение 13.11.2019, 23:58; Ответить: Osipec
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 374
Регистрация: 17.8.2018
Поблагодарили: 39 раз
Репутация:   1  


Впервые слышу о такой херне
Кто так делает вообще? И в чем трабл если не закрывать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 14.11.2019, 0:12; Ответить: genjnat
Сообщение #5


Старожил
******

Группа: Active User
Сообщений: 2473
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1134 раза
Репутация:   122  


Цитата(VinogradOFF @ 8.11.2019, 19:10) *
При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.
Вероятно это и имел ввиду Мюллер, а не то, что робот нужно закрывать. Это всего навсего один файл, наличие которого в индексе никак остальным страницам вредить не может. Тем более на фоне всего того мусора, который обычно допускают к индексации помимо него.


--------------------


Поблагодарили: (3)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 14.11.2019, 23:48; Ответить: VinogradOFF
Сообщение #6


Топовый постер
*******


Группа: Active User
Сообщений: 3130
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 423 раза
Репутация:   33  


Цитата(genjnat @ 14.11.2019, 0:12) *
Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.


Немного отойду от темы -
Последние пару новых сайтов наблюдаю такую проблему - заливаю их на новый домен и в роботсе стоит запрет на индексаицю полный
Но при этом и в яндексе и в гугле главная страница всеравно в индексе с подписью что:

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Freedo
Freedo
сообщение 15.11.2019, 0:41; Ответить: Freedo
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 330
Регистрация: 19.8.2018
Из: сети
Поблагодарили: 49 раз
Репутация:   10  


VinogradOFF, может домен до этого стоял долго без сайта и роботса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 15.11.2019, 11:09; Ответить: genjnat
Сообщение #8


Старожил
******

Группа: Active User
Сообщений: 2473
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1134 раза
Репутация:   122  


Цитата(VinogradOFF @ 14.11.2019, 22:48) *
Последние пару новых сайтов наблюдаю такую проблему

Так а в чем проблема? Просто урл домена в индексе, контент не индексируется... Раньше яндекс такое же показывал для всех страниц запрещенных через robots.txt, то есть у вас открыто к индексации 50 стр, и 500 всякого мусора запрещены. Писал "найдено 550 стр", по 500 из которым висели только урлы)))
Сейчас вроде как подправили, осталось только для главной.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 15.11.2019, 22:34; Ответить: VinogradOFF
Сообщение #9


Топовый постер
*******


Группа: Active User
Сообщений: 3130
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 423 раза
Репутация:   33  


Цитата(Freedo @ 15.11.2019, 0:41) *
может домен до этого стоял долго без сайта и роботса?


не, сайт залит сразу же после того как домен стал доступен

Цитата(genjnat @ 15.11.2019, 11:09) *
Так а в чем проблема?


Да проблемы особо нет, просто не хотелось бы показывать некоторые сайты. Например замечал что некоторые мои тестовые поддомены видны при поиске по названию основного домена )
Соответственно можно на них перейти и попасть )
И да, про денвер знаю )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 15.11.2019, 23:20; Ответить: genjnat
Сообщение #10


Старожил
******

Группа: Active User
Сообщений: 2473
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1134 раза
Репутация:   122  


VinogradOFF, ограничить доступ по ИП, или запаролить.
Если на ВП, полно плагинов


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Добавить ответ в эту тему
Быстрый ответ
3 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 1 mk4


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Beget или Fozzy? Или вообще другой хостинг? Выбираем лучший.
2 Totleben 53 Сегодня, 18:09
автор: Totleben
Открытая тема (нет новых ответов) Проверяга - программа для проверки наличия ссылок
3 bescom 2720 Сегодня, 15:43
автор: PreFLOP
Открытая тема (нет новых ответов) Адаптивные шаблоны для Joomla 3.x, недорого.
5 SOROKVLAD29 666 Вчера, 21:00
автор: SOROKVLAD29
Горячая тема (нет новых ответов) Делаю полностью уникальный дизайн для сайтов!
108 AlexDIZ 30599 Вчера, 10:53
автор: herel91
Открытая тема (нет новых ответов) вебпрофит.рф - продвижение сайта по нескольким регионам
3 asold 144 13.12.2019, 18:54
автор: JOHNY


 



RSS Текстовая версия Сейчас: 15.12.2019, 19:05
Дизайн