Для гугла пропишите:

User-agent: Googlebot

и ниже все Disallow: которые надо

Другие индексирующие роботы:

User-agent: Yandex — основной робот Яндекса
User-agent: Googlebot — основной робот Google
User-agent: StackRambler — поисковый робот Рамблера
User-agent: Aport — поисковый робот Апорта
User-agent: Slurp — поисковый робот Yahoo!
User-agent: MSNBot — поисковый робот MSN
User-agent: ia_archiver — робот Alexa

Вот у меня то же самое: страницы запрещены, а все рано индексируются, некоторые в кэш даже попадают, причем роботс 100% правильный. Это только с Гуглом, в Яндексе такого не замечала.

Что-то ПС зажрались . . . То для яндекса отдельно всё прописывать, теперь для гугла. Им звёздочки мало?

Совершенно случайно пару недель назад тоже заметил, что у меня в гугле полно мусора в виде текстовых версий, пользователей, и прочего прочего ненужного, превышающее нормальные страницы в несколько раз.

Для Гугла бесполезно закрывать, он проиндексирует, все что сочтет нужным. Кстати это его свойство можно использовать для разных шпионских штучек, разъяснять не буду, гуглите и все найдете.

Пользователь dota поставил мне минус в репутацию со следующим сообщением:
не прав, руки у тебя кривые. Ну тогда dota, подскажи народу, как закрыть страницы для Гугла. Не люблю крыс подзаборных, но и как кот естественно душу!

Сообщение отредактировал Neamailer - 29.2.2012, 13:23

Выяснять отношения прошу в ЛС.
Neamailer, если вы не можете банально закрыть страницы от индексации, то это ваше проблемы. А оскорблять адекватных людей не следует.

Neamailer, не robots.txt единым, как говорится. Разъяснять не буду, погуглите, все найдете.

Сообщение отредактировал SeoExpert - 29.2.2012, 13:31

напиши в icq все объясню 40666112

Пользователь dota поставил мне минус в репутацию со следующим сообщением:

"не прав, руки у тебя кривые."

Я ему ответил в личку: "Хотел вам поставить 1000 в плюс, но кнопка интерфейса не работает. Вы эти бирюльки всерьез воспринимаете? Мне вас просто жаль!"

Dota отвечает: "Мне жаль вас и то как к вам будут относиться из-за этих "бирюлек". Вы ничтожны."

Мой ответ: Вообще-то здорово: серануть в личку, а потом игнорить. Ну нечего я вытащу тебя на паблик: "Dota, ах как бы мне хотелось вам не 1000 репутационных очков поставить, а 10 000. Но модеры не дают такой возможности. Может быть в "очках" вы стали бы хотя-бы в 2 раза умней.

Слышал версию, что, если есть обратка на закрытую страничку, то гугл её всё равно проиндексирует даже если она закрыта от индексации. Сам с таким не сталкивался, но что-то с трудом в такое верится. Вы лучше полный текст robots.txt покажите