Мачо я тебя помню по фотке ты в метро на балалайке играл и сайты за чипсы раскручивал без договоров !!

Особенности работы с robot.txt http://www.da7.ru/otherpage/otp64.shtml

Дмитрий, предупреждение за поднятие старых тем.

а если он создал бы новое, ты ты бы ему написал! Не создавай новых тем, когда есть точно такие же.

так банят или нет за это, я что-то не въехал...

Можно прописывать url в директиве Host, но директива host является корректной только для робота Яндекса:
User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru
Ошибкой является описание:
Host: http://www.site.ru/
Насчёт банят или нет, этот вопрос стоит задать поисковикам, либо проверить на собственном опыте.

Если у меня на сайте нет робота, что я теряю?

Добавил Erun: soyhim, в следующий раз за поднятие старой темы получите 2 штрафных.

Ничего.

Ровным счетом ничего, просто робот поисковика будет сканить также страницы админки, что в некоторых случаях не есть хорошо...
И всетаки следует создавать и "заполнять" этот файл в соответствии со всеми стандартами (ссылку на описание смотри выше, микаель выкладывал)

Во-первых не робота, а robots.txt (т.к. у вас на сайте не может быть никаких роботов кроме поисковых ). А теряете вы заветные места в СЕРПе, т.к. поисковая система будет индексировать у вас на сайте также различную служебную информацию, и информацию не имеющую никакой пользы для пользователя. А поисковики, как известно, не любят подобную инфу.