Помощник
|
Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта |
VinogradOFF
|
Сообщение
#1
|
||
|
|
||
|
|||
Coffee |
8.11.2019, 21:54;
Ответить: Coffee
Сообщение
#2
|
|
Закрывать роботс от индексации в самом роботсе?
Вот это поворот... Но информация определенно интересная. |
|
|
metvekot |
9.11.2019, 0:29;
Ответить: metvekot
Сообщение
#3
|
|
В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag. Никогда так не делал. Обычно запрещал через robots. Чтобы дополнительно запрещать роботам индексировать файл для роботов даже в голову не приходило. |
|
|
Osipec |
13.11.2019, 23:58;
Ответить: Osipec
Сообщение
#4
|
|
Впервые слышу о такой херне
Кто так делает вообще? И в чем трабл если не закрывать? |
|
|
genjnat |
14.11.2019, 0:12;
Ответить: genjnat
Сообщение
#5
|
|
При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений. Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить. И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами. Вероятно это и имел ввиду Мюллер, а не то, что робот нужно закрывать. Это всего навсего один файл, наличие которого в индексе никак остальным страницам вредить не может. Тем более на фоне всего того мусора, который обычно допускают к индексации помимо него. |
|
|
VinogradOFF
|
Сообщение
#6
|
|
Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить. И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами. Немного отойду от темы - Последние пару новых сайтов наблюдаю такую проблему - заливаю их на новый домен и в роботсе стоит запрет на индексаицю полный Но при этом и в яндексе и в гугле главная страница всеравно в индексе с подписью что: |
|
|
Freedo |
15.11.2019, 0:41;
Ответить: Freedo
Сообщение
#7
|
|
VinogradOFF, может домен до этого стоял долго без сайта и роботса?
|
|
|
genjnat |
15.11.2019, 11:09;
Ответить: genjnat
Сообщение
#8
|
|
Последние пару новых сайтов наблюдаю такую проблему Так а в чем проблема? Просто урл домена в индексе, контент не индексируется... Раньше яндекс такое же показывал для всех страниц запрещенных через robots.txt, то есть у вас открыто к индексации 50 стр, и 500 всякого мусора запрещены. Писал "найдено 550 стр", по 500 из которым висели только урлы))) Сейчас вроде как подправили, осталось только для главной. |
|
|
VinogradOFF
|
Сообщение
#9
|
|
может домен до этого стоял долго без сайта и роботса? не, сайт залит сразу же после того как домен стал доступен Так а в чем проблема? Да проблемы особо нет, просто не хотелось бы показывать некоторые сайты. Например замечал что некоторые мои тестовые поддомены видны при поиске по названию основного домена ) Соответственно можно на них перейти и попасть ) И да, про денвер знаю ) |
|
|
genjnat |
15.11.2019, 23:20;
Ответить: genjnat
Сообщение
#10
|
|
|
VinogradOFF, ограничить доступ по ИП, или запаролить.
Если на ВП, полно плагинов
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Создать видеоканал лучше в ютуб или телеграм? | 17 | uahomka | 3161 | Сегодня, 11:58 автор: Omaxis |
|
Быстрая индексация страниц сайта и обратных ссылок - 2Index | 38 | 2Index | 6622 | Вчера, 12:56 автор: 2Index |
|
⭐⭐⭐ Google Voice | Gmail - OLD аккаунты "SMS и звонки" ⭐⭐⭐ | 15 | Chekon | 4437 | Вчера, 12:00 автор: Chekon |
|
✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐ Сервис для получения SMS на реальные номера USA |
13 | Chekon | 4070 | Вчера, 11:48 автор: Chekon |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 1 | Rebex | 677 | 17.4.2024, 11:50 автор: Rebex |
Текстовая версия | Сейчас: 19.4.2024, 13:31 |