Помощник
|
Исключения в robots.txt - это возможно?, Вопрос по настройке robots.txt |
vi3dok
|
Сообщение
#1
|
||
|
|
||
|
|||
Muwqa |
26.8.2014, 10:21;
Ответить: Muwqa
Сообщение
#2
|
|
-------------------- |
|
|
vi3dok
|
Сообщение
#3
|
|
Muwqa, Спасибо большое, это то что нужно.
|
|
|
v1st |
26.8.2014, 11:27;
Ответить: v1st
Сообщение
#4
|
|
Также не стоит забывать, что директива robots может игнорироваться ботами (например, если кто-то вашим урлом, которые заблокирован в роботс, поделился на форуме). Поэтому смотря что вы закрываете, если ту инфу, которая 100% не должна появиться в результах поисках, нужно еще подстраховаться.
Это кстати, написано в помощи Гугл: "Хотя Google не сканирует и не индексирует контент, заблокированный в файле robots.txt, запрещенные URL, размещенные на других сайтах в Интернете, могут быть доступны для поиска и индексации. Таким образом, URL, а также другие общедоступные сведения, например текст ссылок на сайт, могут появиться в результатах поиска Google. Чтобы полностью заблокировать URL в результатах поиска, используйте файл robots.txt вместе с другими методами блокировки URL" Сообщение отредактировал v1st - 26.8.2014, 11:32 |
|
|
vi3dok
|
Сообщение
#5
|
|
v1st, Если я закрою раздел в роботсе и панели вебмастера гугл, но в роботсе я разрешу одну страницу, гугл её проиндексирует?
|
|
|
v1st |
26.8.2014, 11:50;
Ответить: v1st
Сообщение
#6
|
|
vi3dok, Да, по ссылке которую давали вам выше, эта инфа есть:
User-agent: Yandex Allow: / Disallow: /catalog Allow: /catalog/auto # запрещает скачивать страницы, начинающиеся с '/catalog', # но разрешает скачивать страницы, начинающиеся с '/catalog/auto'. но я имел в виду немного другое, что если для инфы, которую хотите закрыть - критично не попадание в индекс, следует подстраховаться директиивой: <meta name="robots" content="noindex,nofollow">. |
|
|
vi3dok
|
Сообщение
#7
|
|
|
v1st, У меня не та причина. Мне надо закрыть дубли, но пару страниц на старые адреса которых были куплены ссылки и которые сидят в выдаче надо склеить. А для этого нужно что бы старые адреса этих страниц были доступны. К сожалению настроить массовый 301й редирект нет возможности.
Сообщение отредактировал vi3dok - 26.8.2014, 12:35 |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Mondiad - это глобальная рекламная сеть с широкими возможностями для паблишеров и рекламодателей! [🎁 Эксклюзивный бонус] | 16 | Mondiad | 4395 | 10.4.2024, 18:15 автор: Mondiad |
|
Контекст окупается - и вы это увидите Грамотная настройка Директа и Google Ads |
71 | knezevolk | 45469 | 26.3.2024, 14:14 автор: knezevolk |
|
Сколько будет стоить создание интернет магазина и возможно ли это? | 3 | serhio123 | 2180 | 14.2.2020, 13:11 автор: EvilGomel |
|
Nutratech 2020 — это серия нутра-митапов для тех, кто льет на товары для красоты и здоровья. Cерия нутра-митапов |
0 | Pechenko | 1274 | 29.1.2020, 12:11 автор: Pechenko |
|
Зарабатываем деньги на услугах хостера: что это такое? | 8 | wep | 3132 | 25.10.2019, 23:29 автор: 0pium |
Текстовая версия | Сейчас: 24.4.2024, 5:50 |