Домен нужно убрать

Спс. А если так оставить будут проблемы? И если убирать слеши нужны?

Убрал, так правильно?:


Сообщение отредактировал LeZ - 10.3.2016, 15:04

Здесь есть несколько примеров.
Запросы неявно расширяются. Это значит, что под запретом будет и /kontakty/, и /kontakty/address/, и прочее.
Имеются ввиду начальные слеши? Да. Корень сайта это / и директива
Disallow: /
запрещает индексировать весь сайт.

Посмотрел. Вопрос прежний:

Так нормально (изменил на сайте)?:

Disallow: /kontakty/
Disallow: /reklama/

Такого типа страницы /kontakty/address/ не планируются. Я как и предполагал таким способом закроются, к примеру:

Disallow: /kontakty/и всё что после если будет.

Меня смущает вот что: если к примеру будет статья на сайте с ЧПУ: /reklama-kak-dvigatel-torgovli/ она же при такой картине не закроется, так?



Снова погуглил и вот что надыбал: http://aimblog.ru/ustanovka/nastrojka-word...indeksacii.html

А если раздел у меня на сайте по адресу: http://*********.ru/category/reklama/

То как я сделал не закроет ли её?

LeZ, не морочьте себе и пользователям форума голову, все предельно просто и понятно описано в официальных инструкциях ПС (например, вот от Яндекса). Вам самому надо понять принцип работы, а не по каждому правилу спрашивать.

1) Добавляете сайт в Яндекс.Вебмастер

2) Заходите на страницу https://webmaster.yandex.ru/robots.xml и проверяйте ваш robots.txt, если укажет на ошибки - исправляйте.

3) В том же Яндекс.Вебмастере вы можете проверить ЛЮБУЮ страницу вашего сайта на индекс и узнать, есть ли на нее запрет, в соответствии со всеми настройками (в том числе и robots.txt). Функция эта есть как в старой версии так и в новой, называется она "Проверить URL":



Конкретно в вашем случае правила:



Блокируют (запрещает поисковому роботу скачивание этих страниц и занесение в базу) все страницы вашего сайта, которые начинаются с "/kontakty/" и "/reklama/", поставив в конце "/" указывает на то, что это каталог.



Нет, не будет, так как вы указали каталог "/reklama/", чтобы подобные страницы были заблокированы необходимо иначе делать.



Не уверен, но скорее всего будет. В таком случае исключите эту категорию новый правилом "Allow: /category/reklama/", тогда оно будет исключено, при этом это правило должно быть выше (желательно). Т.е. на выходе примерно так:

Allow: /category/reklama/
Disallow: /kontakty/
Disallow: /reklama/

Расшифруем правила: запрещает к скачиванию страницы, которые будут начинаться с "/kontakty/" и "/reklama/", но при этом разрешает скачивание страниц, которые будут начинаться с "/category/reklama/". В любом случае - проверяйте сами в сервисе, что я указал, тогда вы точно будете знать ответы.

PS: не читайте левый бред с неофициальных источников

Сообщение отредактировал Элантрис - 10.3.2016, 20:31

Проверил.



Значит его можно смело убирать?

Элантрис, спасибо.

нет, не будет.

то есть, без * все ок

нет, надо просто сортировать



правильно, если не будет статей типа site.ru/kontakty/bla-bla/i_t_d.php или site.ru/kontakty/stattja.php

Не будет. Спасибо.

Как грубо 2 страницы в robots.txt закрывать
мета-тег robots noindex, follow же придумали)