X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта
VinogradOFF
VinogradOFF
Topic Starter сообщение 8.11.2019, 20:10; Ответить: VinogradOFF
Сообщение #1


Топовый постер
*******


Группа: Active User
Сообщений: 4570
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 618 раз
Репутация:   46  


На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».



В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Для блокировки индексации можно использовать и директиву disallow:



Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

Цитата
«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».




Напомним, ранее стало известно, что если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать сайт.

источник
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Coffee
Coffee
сообщение 8.11.2019, 21:54; Ответить: Coffee
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 565
Регистрация: 11.8.2018
Из: бразилия
Поблагодарили: 96 раз
Репутация:   10  


Закрывать роботс от индексации в самом роботсе?
Вот это поворот...

Но информация определенно интересная.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
metvekot
metvekot
сообщение 9.11.2019, 0:29; Ответить: metvekot
Сообщение #3


Старожил
******

Группа: Active User
Сообщений: 1006
Регистрация: 5.8.2015
Поблагодарили: 136 раз
Репутация:   20  


Цитата(VinogradOFF @ 8.11.2019, 20:10) *
В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

Никогда так не делал. Обычно запрещал через robots. Чтобы дополнительно запрещать роботам индексировать файл для роботов даже в голову не приходило.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Osipec
Osipec
сообщение 13.11.2019, 23:58; Ответить: Osipec
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 530
Регистрация: 17.8.2018
Поблагодарили: 56 раз
Репутация:   5  


Впервые слышу о такой херне
Кто так делает вообще? И в чем трабл если не закрывать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 14.11.2019, 0:12; Ответить: genjnat
Сообщение #5


Топовый постер
*******

Группа: Active User
Сообщений: 2542
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1193 раза
Репутация:   126  


Цитата(VinogradOFF @ 8.11.2019, 19:10) *
При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.
Вероятно это и имел ввиду Мюллер, а не то, что робот нужно закрывать. Это всего навсего один файл, наличие которого в индексе никак остальным страницам вредить не может. Тем более на фоне всего того мусора, который обычно допускают к индексации помимо него.


--------------------


Поблагодарили: (3)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 14.11.2019, 23:48; Ответить: VinogradOFF
Сообщение #6


Топовый постер
*******


Группа: Active User
Сообщений: 4570
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 618 раз
Репутация:   46  


Цитата(genjnat @ 14.11.2019, 0:12) *
Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.


Немного отойду от темы -
Последние пару новых сайтов наблюдаю такую проблему - заливаю их на новый домен и в роботсе стоит запрет на индексаицю полный
Но при этом и в яндексе и в гугле главная страница всеравно в индексе с подписью что:

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Freedo
Freedo
сообщение 15.11.2019, 0:41; Ответить: Freedo
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 459
Регистрация: 19.8.2018
Из: сети
Поблагодарили: 66 раз
Репутация:   12  


VinogradOFF, может домен до этого стоял долго без сайта и роботса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 15.11.2019, 11:09; Ответить: genjnat
Сообщение #8


Топовый постер
*******

Группа: Active User
Сообщений: 2542
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1193 раза
Репутация:   126  


Цитата(VinogradOFF @ 14.11.2019, 22:48) *
Последние пару новых сайтов наблюдаю такую проблему

Так а в чем проблема? Просто урл домена в индексе, контент не индексируется... Раньше яндекс такое же показывал для всех страниц запрещенных через robots.txt, то есть у вас открыто к индексации 50 стр, и 500 всякого мусора запрещены. Писал "найдено 550 стр", по 500 из которым висели только урлы)))
Сейчас вроде как подправили, осталось только для главной.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 15.11.2019, 22:34; Ответить: VinogradOFF
Сообщение #9


Топовый постер
*******


Группа: Active User
Сообщений: 4570
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 618 раз
Репутация:   46  


Цитата(Freedo @ 15.11.2019, 0:41) *
может домен до этого стоял долго без сайта и роботса?


не, сайт залит сразу же после того как домен стал доступен

Цитата(genjnat @ 15.11.2019, 11:09) *
Так а в чем проблема?


Да проблемы особо нет, просто не хотелось бы показывать некоторые сайты. Например замечал что некоторые мои тестовые поддомены видны при поиске по названию основного домена )
Соответственно можно на них перейти и попасть )
И да, про денвер знаю )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 15.11.2019, 23:20; Ответить: genjnat
Сообщение #10


Топовый постер
*******

Группа: Active User
Сообщений: 2542
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1193 раза
Репутация:   126  


VinogradOFF, ограничить доступ по ИП, или запаролить.
Если на ВП, полно плагинов

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Продам аккаунт google adsense | 7 лет | выплаты 9 935,54 $
2 _fan_ 621 Сегодня, 0:13
автор: _fan_
Открытая тема (нет новых ответов) Трафик на сайт (для оптовиков) по ключам,соцсети
6 seostock 228 Сегодня, 0:06
автор: TABAK
Горячая тема (нет новых ответов) Компьютер или ноутбук для фриланса?
53 uahomka 963 Вчера, 22:35
автор: 0pium
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСоставлю семантическое ядро для Вашего сайта
16 mark2013 5448 Вчера, 19:49
автор: mark2013
Открытая тема (нет новых ответов) Нужна утилита или софт, которая скрывает или меняет данные ПК
Или подсказать в чем еще может быть причина
1 Hydra 124 Вчера, 17:13
автор: WoWeb


 



RSS Текстовая версия Сейчас: 20.9.2020, 8:33
Дизайн