В панели вебмастера их надо убирать.

дело в том , что странице то появляются, то исчезают

mikom,это вирус.

- вид Robots.txt сейчас
Приведи к виду:


У одного из клиентов, пришедшего на продвижение с интернет- магазином была схожая проблема, решали путем методичного закрытия от индексации каталогов до 3- 4 уровня и стабилизировали ситуацию. Проблема заключалась в самой системе управления, которая генерировала большое количество "технических страниц- дублей страниц настоящих". Google иногда не совсем корректно обрабатывает Robots и в отличие от Яндекса закрытие каталога /system/ не служит (служит не всегда) гарантом адекватного закрытия внутренних каталогов.

В том то и проблема, что сейчас Пингвин и панда читают и индексируют все роботсы...

Shaman4ik_it,глянь на адреса страниц. ЯВебмастер в таких случаях пишет "на сайте обнаружены подозрительные страницы (дорвеи)". Можно, конечно, и просто закрыть весь этот хлам. Но, на мой взгляд, лучше бороться с причиной, а не последствиями.

да именно про дорвеи и ругается... у меня на сервере более 30 сайтов - те которые заразились - уже давно в норме - а этот единственный тошнотик который тормозит(((

такой робот точно поможет??

По идее помочь должен. Чем ранее были заражены сайты?
Проверьте содержание ftp на наличие в директориях подозрительных файлов, которые не вы, ни система не создавали. Видимых последствий заражения нет и антивирусы на сайт не ругаются- не простые, ни web антивирусы. Проверьте CMS сайта на ранее замеченные другими пользователями проблемы с генерацией большого количества технического шума- страниц такого типа.
В тему Пингвина с Пандой, готов поспорить этот зверинец пока не всегда себя адекватно ведет.

спасибо - поставил робот - жду))