Конечно, в роботс. Вот так:

Disallow: /

а Help по robots здесь.

Сообщение отредактировал adkot - 25.4.2012, 21:33

Спасибо!
Сейчас попробую.
а проблемы после рассылки ссылки по каталогам и т.п. не будут, не забанятли его т.к. он молодой и т.п.?
И как проверить скрыт ли от индексации домен или нет? Изфиняюсь за такие вопросы, просто новичок.
Спасибо всем!

Проблем возникнуть не должно, так вебмастер не может контролировать все ссылки на свой ресурс, поэтому вреда не будет.
Проверить можно добавив url сайта в addurl здесь, если сайт скрыт, так и будет написано, что запрещено в robots.

adkot правильно сказал.

От себя добавлю, что лучше поставить заглушку без доступа к внутренним страницам, текст 1000 знаков по теме сайта, типа "скоро", без robots.txt.

Иначе, как только откроете, будете наследовать этот запрет по robots ещё долго, поисковики тормозят по этому поводу очень долго (ДО 2-Х НЕДЕЛЬ).

С заглушкой проще получается.

Не понял вас.

Хоть я и не автор того поста, но думаю могу объяснить.

Создаете .html файл, в нем пишите статью о будущем сайте, типа скоро откроется, но без ссылок на внутренние страницы сайта. А как сайт откроется, поменяете индексную страницу. Как то так .

Вот пример: заглушка х.з. какая, висит месяц, даже цвета не в тон: http://reb-leasing.ru/.

А вот уже подготовленный сайт, который завтра открываем для людей и поисковиков: http://reb-leasing.ru/index.html

И потом пошли-поехали роботы по страницам шарить )).

Тактика примерно такая, если понятно выразился.


Поисковики не будут шарахаться от robots.txt, он кешируется.
Даже с одной страницей на морде, которая уже в индексе, вперёд идти проще и быстрее.

Не, сайт работает, просто он новый и нехотелбы чтоб поисковики банели.
А Гуглом как?

В смысле Гулом как?)
Также, заглушкой. Это и Яндекс и Гугл поймет. Ни какая ПС не увидит ссылки на внутренние страницы, а значит и не проиндексирует.
С роботс также, User-agent: * и Disallow: /

Сообщение отредактировал adkot - 25.4.2012, 22:12