X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта
VinogradOFF
VinogradOFF
Topic Starter сообщение 8.11.2019, 20:10; Ответить: VinogradOFF
Сообщение #1


Топовый постер
*******


Группа: Active User
Сообщений: 4418
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 601 раз
Репутация:   46  


На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap.

Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться».



В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Для блокировки индексации можно использовать и директиву disallow:



Мюллер также добавил, что Google не нужно индексировать файл Sitemap, поскольку он обрабатывается по-другому:

Цитата
«Файл Sitemap обычно предназначен для прямого использования программами, его не нужно индексировать».




Напомним, ранее стало известно, что если файл robots.txt возвращает ошибку 5xx, то Google не будет индексировать сайт.

источник
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Coffee
Coffee
сообщение 8.11.2019, 21:54; Ответить: Coffee
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 521
Регистрация: 11.8.2018
Из: бразилия
Поблагодарили: 88 раз
Репутация:   9  


Закрывать роботс от индексации в самом роботсе?
Вот это поворот...

Но информация определенно интересная.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
metvekot
metvekot
сообщение 9.11.2019, 0:29; Ответить: metvekot
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 962
Регистрация: 5.8.2015
Поблагодарили: 128 раз
Репутация:   19  


Цитата(VinogradOFF @ 8.11.2019, 20:10) *
В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag.

Никогда так не делал. Обычно запрещал через robots. Чтобы дополнительно запрещать роботам индексировать файл для роботов даже в голову не приходило.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Osipec
Osipec
сообщение 13.11.2019, 23:58; Ответить: Osipec
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 505
Регистрация: 17.8.2018
Поблагодарили: 54 раза
Репутация:   5  


Впервые слышу о такой херне
Кто так делает вообще? И в чем трабл если не закрывать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 14.11.2019, 0:12; Ответить: genjnat
Сообщение #5


Топовый постер
*******

Группа: Active User
Сообщений: 2530
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1189 раз
Репутация:   126  


Цитата(VinogradOFF @ 8.11.2019, 19:10) *
При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений.

Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.
Вероятно это и имел ввиду Мюллер, а не то, что робот нужно закрывать. Это всего навсего один файл, наличие которого в индексе никак остальным страницам вредить не может. Тем более на фоне всего того мусора, который обычно допускают к индексации помимо него.


--------------------


Поблагодарили: (3)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 14.11.2019, 23:48; Ответить: VinogradOFF
Сообщение #6


Топовый постер
*******


Группа: Active User
Сообщений: 4418
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 601 раз
Репутация:   46  


Цитата(genjnat @ 14.11.2019, 0:12) *
Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить.
И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами.


Немного отойду от темы -
Последние пару новых сайтов наблюдаю такую проблему - заливаю их на новый домен и в роботсе стоит запрет на индексаицю полный
Но при этом и в яндексе и в гугле главная страница всеравно в индексе с подписью что:

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Freedo
Freedo
сообщение 15.11.2019, 0:41; Ответить: Freedo
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 434
Регистрация: 19.8.2018
Из: сети
Поблагодарили: 63 раза
Репутация:   12  


VinogradOFF, может домен до этого стоял долго без сайта и роботса?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 15.11.2019, 11:09; Ответить: genjnat
Сообщение #8


Топовый постер
*******

Группа: Active User
Сообщений: 2530
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1189 раз
Репутация:   126  


Цитата(VinogradOFF @ 14.11.2019, 22:48) *
Последние пару новых сайтов наблюдаю такую проблему

Так а в чем проблема? Просто урл домена в индексе, контент не индексируется... Раньше яндекс такое же показывал для всех страниц запрещенных через robots.txt, то есть у вас открыто к индексации 50 стр, и 500 всякого мусора запрещены. Писал "найдено 550 стр", по 500 из которым висели только урлы)))
Сейчас вроде как подправили, осталось только для главной.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VinogradOFF
VinogradOFF
Topic Starter сообщение 15.11.2019, 22:34; Ответить: VinogradOFF
Сообщение #9


Топовый постер
*******


Группа: Active User
Сообщений: 4418
Регистрация: 7.8.2018
Из: Казань
Поблагодарили: 601 раз
Репутация:   46  


Цитата(Freedo @ 15.11.2019, 0:41) *
может домен до этого стоял долго без сайта и роботса?


не, сайт залит сразу же после того как домен стал доступен

Цитата(genjnat @ 15.11.2019, 11:09) *
Так а в чем проблема?


Да проблемы особо нет, просто не хотелось бы показывать некоторые сайты. Например замечал что некоторые мои тестовые поддомены видны при поиске по названию основного домена )
Соответственно можно на них перейти и попасть )
И да, про денвер знаю )
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 15.11.2019, 23:20; Ответить: genjnat
Сообщение #10


Топовый постер
*******

Группа: Active User
Сообщений: 2530
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1189 раз
Репутация:   126  


VinogradOFF, ограничить доступ по ИП, или запаролить.
Если на ВП, полно плагинов

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Что делать с WMR кошельками для тех кто в Украине?
64 Wolfhound 5751 Сегодня, 3:37
автор: onemoment
Открытая тема (нет новых ответов) В поисках 1-2 человек с сайтом яндекса, от 1к хостов в сутки. Для партнерства
15 Evgeniykeys 979 Вчера, 23:16
автор: Evgeniykeys
Открытая тема (нет новых ответов) Ищу копирайтера для написания тегов Title и Description
По готовому семантическому ядру
2 eduarddis 210 Вчера, 20:51
автор: artek
Горячая тема (нет новых ответов) Настройки лент для wpgrabber
Настрою ленты любой сложности плагина WPGrabber для WordPress
31 zkalinin 15127 Вчера, 18:42
автор: zkalinin
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыДоступный прогон сайта по профилям
200 открытых анкорных ссылок всего за 100 рублей
316 span4bob 148041 Вчера, 16:18
автор: zyzy


 



RSS Текстовая версия Сейчас: 11.8.2020, 4:17
Дизайн