antart,
Запрет для всех User-agent: *
Disallow: /
Запрет для отдельного робота User-agent: YandexImages
Disallow: /
Запрет для всех, кроме одного робота User-agent: *
Disallow: /
User-agent: Yandex
Allow: /


Запрет индексации

Отдельной страницы User-agent: *
Disallow: /contact.html
Раздела User-agent: *
Disallow: /catalog/
Всего сайта, кроме одного раздела User-agent: *
Disallow: /
Allow: /catalog
Всего раздела, кроме одного подраздела User-agent: *
Disallow: /product
Allow: /product/auto
Поиска на сайте User-agent: *
Disallow: /search
Административной панели User-agent: *
Disallow: /admin

Как закрыть другую информацию
Запрет индексации

Типа файлов User-agent: *
Disallow: /*.jpg
Папки User-agent: *
Disallow: /images/
Папку, кроме одного файла User-agent: *
Disallow: /images/
Allow: file.jpg
Скриптов User-agent: *
Disallow: /plugins/*.js
utm-меток User-agent: *
Disallow: *utm=
utm-меток для Яндекса Clean-Param: utm_source&utm_medium&utm_campaign
Как закрыть сайт через мета-теги
Вариант 1.
<meta name=”robots” content=”noindex, nofollow”/>

Вариант 2.
<meta name=”robots” content=”none”/>
Атрибут “content” имеет следующие значения:

pyaterka, а нельзя было человеку просто написать сразу:



Только ТС, указанная мной выше конструкция уберет из индекса все посты с такой переменной т.е. если у тебя обычные посты (не черновики) тоже через ?p= а не через ЧПУ то не делай так

VinogradOFF, а почему бы не ответить глобальней )

VinogradOFF, pyaterka, спасибо) Простые статьи через ЧПУ.

VinogradOFF, а почему не так?



или это не будет работать?

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.