[X] Помощник

[vi3dok Topic Starter]

Нужно закрыть от индексации все страницы с /component/ но оставить для индексации 1ну страницу по адресу site.com/component/televizoru.html. Такое возможно? Если да - то как?

[Muwqa]

Используйте allow.
Больше информации по клику

Сообщение отредактировал Muwqa - 26.8.2014, 10:22

[vi3dok Topic Starter]

Muwqa, Спасибо большое, это то что нужно.

[v1st]

Также не стоит забывать, что директива robots может игнорироваться ботами (например, если кто-то вашим урлом, которые заблокирован в роботс, поделился на форуме). Поэтому смотря что вы закрываете, если ту инфу, которая 100% не должна появиться в результах поисках, нужно еще подстраховаться.

Это кстати, написано в помощи Гугл: "Хотя Google не сканирует и не индексирует контент, заблокированный в файле robots.txt, запрещенные URL, размещенные на других сайтах в Интернете, могут быть доступны для поиска и индексации. Таким образом, URL, а также другие общедоступные сведения, например текст ссылок на сайт, могут появиться в результатах поиска Google. Чтобы полностью заблокировать URL в результатах поиска, используйте файл robots.txt вместе с другими методами блокировки URL"

Сообщение отредактировал v1st - 26.8.2014, 11:32

[vi3dok Topic Starter]

v1st, Если я закрою раздел в роботсе и панели вебмастера гугл, но в роботсе я разрешу одну страницу, гугл её проиндексирует?

[v1st]

vi3dok, Да, по ссылке которую давали вам выше, эта инфа есть:
User-agent: Yandex
Allow: /
Disallow: /catalog
Allow: /catalog/auto
# запрещает скачивать страницы, начинающиеся с '/catalog',
# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.

но я имел в виду немного другое, что если для инфы, которую хотите закрыть - критично не попадание в индекс, следует подстраховаться директиивой: <meta name="robots" content="noindex,nofollow">.

[vi3dok Topic Starter]

v1st, У меня не та причина. Мне надо закрыть дубли, но пару страниц на старые адреса которых были куплены ссылки и которые сидят в выдаче надо склеить. А для этого нужно что бы старые адреса этих страниц были доступны. К сожалению настроить массовый 301й редирект нет возможности.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.

Сообщение отредактировал vi3dok - 26.8.2014, 12:35