Помощник
|
Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта |
VinogradOFF
|
Сообщение
#1
|
||
|
|
||
|
|||
Coffee |
8.11.2019, 21:54;
Ответить: Coffee
Сообщение
#2
|
|
Закрывать роботс от индексации в самом роботсе?
Вот это поворот... Но информация определенно интересная. |
|
|
metvekot |
9.11.2019, 0:29;
Ответить: metvekot
Сообщение
#3
|
|
В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag. Никогда так не делал. Обычно запрещал через robots. Чтобы дополнительно запрещать роботам индексировать файл для роботов даже в голову не приходило. |
|
|
Osipec |
13.11.2019, 23:58;
Ответить: Osipec
Сообщение
#4
|
|
Впервые слышу о такой херне
Кто так делает вообще? И в чем трабл если не закрывать? |
|
|
genjnat |
14.11.2019, 0:12;
Ответить: genjnat
Сообщение
#5
|
|
При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений. Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить. И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами. Вероятно это и имел ввиду Мюллер, а не то, что робот нужно закрывать. Это всего навсего один файл, наличие которого в индексе никак остальным страницам вредить не может. Тем более на фоне всего того мусора, который обычно допускают к индексации помимо него. |
|
|
VinogradOFF
|
Сообщение
#6
|
|
Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить. И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами. Немного отойду от темы - Последние пару новых сайтов наблюдаю такую проблему - заливаю их на новый домен и в роботсе стоит запрет на индексаицю полный Но при этом и в яндексе и в гугле главная страница всеравно в индексе с подписью что: |
|
|
Freedo |
15.11.2019, 0:41;
Ответить: Freedo
Сообщение
#7
|
|
VinogradOFF, может домен до этого стоял долго без сайта и роботса?
|
|
|
genjnat |
15.11.2019, 11:09;
Ответить: genjnat
Сообщение
#8
|
|
Последние пару новых сайтов наблюдаю такую проблему Так а в чем проблема? Просто урл домена в индексе, контент не индексируется... Раньше яндекс такое же показывал для всех страниц запрещенных через robots.txt, то есть у вас открыто к индексации 50 стр, и 500 всякого мусора запрещены. Писал "найдено 550 стр", по 500 из которым висели только урлы))) Сейчас вроде как подправили, осталось только для главной. |
|
|
VinogradOFF
|
Сообщение
#9
|
|
может домен до этого стоял долго без сайта и роботса? не, сайт залит сразу же после того как домен стал доступен Так а в чем проблема? Да проблемы особо нет, просто не хотелось бы показывать некоторые сайты. Например замечал что некоторые мои тестовые поддомены видны при поиске по названию основного домена ) Соответственно можно на них перейти и попасть ) И да, про денвер знаю ) |
|
|
genjnat |
15.11.2019, 23:20;
Ответить: genjnat
Сообщение
#10
|
|
|
VinogradOFF, ограничить доступ по ИП, или запаролить.
Если на ВП, полно плагинов
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат | 55 | arendator | 34964 | Сегодня, 2:12 автор: arendator |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 3 | Rebex | 945 | Вчера, 20:50 автор: Rebex |
|
Посоветуйте массажер для спины и шеи | 10 | Boymaster | 895 | Вчера, 18:02 автор: Boymaster |
|
Если статья не в индексе Google - она уникальна или нет? | 6 | uahomka | 1582 | Вчера, 15:37 автор: Arsenwenger |
|
Обучение Email Рассылкам + Софт Для Автоматизации (100к в сутки с сервера) | 10 | zennoboss | 4654 | Вчера, 5:20 автор: Skyworker |
Текстовая версия | Сейчас: 25.4.2024, 3:17 |