Помощник
 |
Сообщение сайта
|
 Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта |
VinogradOFF
|
Сообщение
#1
|
||
 Топовый постер  
 Группа: Active User Сообщений: 6119 Регистрация: 7.8.2018 Из: Казань Поблагодарили: 830 раз Репутация:  58 
 |
|
||
 |
|
||
|
Coffee
|
 8.11.2019, 21:54;
Ответить: Coffee
Сообщение
#2
|
 Старожил Группа: Active User Сообщений: 1227 Регистрация: 11.8.2018 Из: бразилия Поблагодарили: 179 раз Репутация: 23
|
Закрывать роботс от индексации в самом роботсе?
Вот это поворот... Но информация определенно интересная. |
|
|
|
metvekot
|
9.11.2019, 0:29;
Ответить: metvekot
Сообщение
#3
|
 Старожил Группа: Active User Сообщений: 1390 Регистрация: 5.8.2015 Поблагодарили: 188 раз Репутация: 30
|
Цитата(VinogradOFF @ 8.11.2019, 20:10)  В ответ на это Джон Мюллер написал, что запретить индексацию файлов robots.txt и Sitemap можно с помощью HTTP-заголовка X-Robots-Tag. Никогда так не делал. Обычно запрещал через robots. Чтобы дополнительно запрещать роботам индексировать файл для роботов даже в голову не приходило. |
|
|
|
|
Osipec
|
13.11.2019, 23:58;
Ответить: Osipec
Сообщение
#4
|
 Старожил Группа: Active User Сообщений: 1054 Регистрация: 17.8.2018 Поблагодарили: 118 раз Репутация: 15
|
Впервые слышу о такой херне
Кто так делает вообще? И в чем трабл если не закрывать? |
|
|
|
|
genjnat
|
14.11.2019, 0:12;
Ответить: genjnat
Сообщение
#5
|
 Топовый постер Группа: Active User Сообщений: 2973 Регистрация: 29.10.2008 Из: Одесса Поблагодарили: 1387 раз Репутация: 141
|
Цитата(VinogradOFF @ 8.11.2019, 19:10) При этом он отметил, что если эти файлы ранжируются по обычным запросам (без site:), то это обычно признак того, что у сайта плохи дела и он требует улучшений. Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить. И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами. Вероятно это и имел ввиду Мюллер, а не то, что робот нужно закрывать. Это всего навсего один файл, наличие которого в индексе никак остальным страницам вредить не может. Тем более на фоне всего того мусора, который обычно допускают к индексации помимо него. |
|
|
|
|
VinogradOFF
|
Сообщение
#6
|
|
Топовый постер
Группа: Active User Сообщений: 6119 Регистрация: 7.8.2018 Из: Казань Поблагодарили: 830 раз Репутация: 58
|
Цитата(genjnat @ 14.11.2019, 0:12) Если обратить внимание, то по запросу site: Гугл выстраивает страницы вашего сайта по их весу (качеству). Не строго, но в такой степени что это сложно не заметить. И если у вас по этому запросу всплывает роботс, то очень трудно представить насколько же все плохо с остальными страницами. Немного отойду от темы - Последние пару новых сайтов наблюдаю такую проблему - заливаю их на новый домен и в роботсе стоит запрет на индексаицю полный Но при этом и в яндексе и в гугле главная страница всеравно в индексе с подписью что: 
|
|
|
|
|
Freedo
|
15.11.2019, 0:41;
Ответить: Freedo
Сообщение
#7
|
 Завсегдатай Группа: Active User Сообщений: 991 Регистрация: 19.8.2018 Из: сети Поблагодарили: 112 раз Репутация: 16
|
VinogradOFF, может домен до этого стоял долго без сайта и роботса?
|
|
|
|
|
genjnat
|
15.11.2019, 11:09;
Ответить: genjnat
Сообщение
#8
|
|
Топовый постер Группа: Active User Сообщений: 2973 Регистрация: 29.10.2008 Из: Одесса Поблагодарили: 1387 раз Репутация: 141
|
Цитата(VinogradOFF @ 14.11.2019, 22:48) Последние пару новых сайтов наблюдаю такую проблему Так а в чем проблема? Просто урл домена в индексе, контент не индексируется... Раньше яндекс такое же показывал для всех страниц запрещенных через robots.txt, то есть у вас открыто к индексации 50 стр, и 500 всякого мусора запрещены. Писал "найдено 550 стр", по 500 из которым висели только урлы))) Сейчас вроде как подправили, осталось только для главной. |
|
|
|
|
VinogradOFF
|
Сообщение
#9
|
|
Топовый постер
Группа: Active User Сообщений: 6119 Регистрация: 7.8.2018 Из: Казань Поблагодарили: 830 раз Репутация: 58
|
Цитата(Freedo @ 15.11.2019, 0:41) может домен до этого стоял долго без сайта и роботса? не, сайт залит сразу же после того как домен стал доступен Цитата(genjnat @ 15.11.2019, 11:09) Так а в чем проблема? Да проблемы особо нет, просто не хотелось бы показывать некоторые сайты. Например замечал что некоторые мои тестовые поддомены видны при поиске по названию основного домена ) Соответственно можно на них перейти и попасть ) И да, про денвер знаю ) |
|
|
|
|
genjnat
|
15.11.2019, 23:20;
Ответить: genjnat
Сообщение
#10
|
|
|
Топовый постер Группа: Active User Сообщений: 2973 Регистрация: 29.10.2008 Из: Одесса Поблагодарили: 1387 раз Репутация: 141
|
VinogradOFF, ограничить доступ по ИП, или запаролить.
Если на ВП, полно плагинов
|
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 2 | Rebex | 1136 | Вчера, 18:39 автор: Rebex |
 |
 Быстрая индексация страниц сайта и обратных ссылок - 2Index |
37 | 2Index | 6536 | Вчера, 16:17 автор: 2Index |
|
Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат | 54 | arendator | 34741 | Вчера, 15:16 автор: arendator |
|
⭕Антидетект браузер AdsPower для эффективной работы с мультиаккаунтами! | 83 | AdsPower | 24380 | 14.4.2024, 22:52 автор: AdsPower |
|
Настройки лент для wpgrabber Настрою ленты любой сложности плагина WPGrabber для WordPress |
42 | zkalinin | 30522 | 11.4.2024, 23:33 автор: zkalinin |
|
Текстовая версия | Сейчас: 16.4.2024, 9:37 |
