medved112, всё правильно.

А robots.txt изначально стоял? Возможно, бот прошелся по сайту раньше, чем в роботсе появился запрет... И насколько я знаю, Host: необязательно писать.

n1tr1k, сразу, еще при заливке сайта создал именно из-за этой паги ненужной. Ну хост для того ,чтобы зеркал не появилось

medved112, странно как-то. Может это и банально, но посмотрите, может файл как-то не так назван... Или где-то символ русский в самом роботсе...

Я как-то закинул файлик роботса, тоже запретил индексацию раздела, а он всё равно проиндексировался... В общем, оказалось, что я назвал файл не robots.txt, а robot.txt В спешке не заметил разницы

Не, перепроверил - все точно названо, русских букв нету. Лан, если правильно все запретил - подожду пока, гугл переменчив

простите, что вмешиваюсь в вашу тему, но у меня такая же проблема:
Вот некоторые из строк в роботсе:


Однако, гугл все это индексирует.

SEOMR, у меня для вордпресса всегда стояло без / на конце, то есть:

Disallow: /wp-admin
Disallow: /archives
Disallow: /author
Disallow: /category
Disallow: /tag

Вроде нигде это в индексе не сидит

Сообщение отредактировал medved112 - 10.2.2010, 22:59

Спасибо, попробую.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.