Для начала разберитесь с дублями внутри самого сайта, вот к примеру сразу же нашел 2 одинаковые страницы по разным адресам:
vseminecraft.ru/klienty-minecraft/19-minecraft-172-piratka.html
vseminecraft.ru/publ-minecraft/19-kak-ustanovit-skiny-dlya-minecraft.html

В файле robots.txt вроде скрыто все ненужное, однако в индексе эти страницы присутствуют, наверное сделали запрет недавно, не успели вылететь из индекса.

Буквально час назад, просто вычитал, что так можно запретить к индексу. Но они на сайте же остаются, как их удалить бы?

Ну и что, главное чтобы в индексе их не было.
Можно так же принудительно удалить страницы из выдачи в ЯВМ.

Еще стоит добавить на страницы rel="canonical". Дубли быстрее уйдут, да и в дальнейшем будет все не плохо. ПС хорошо обрабатывает этот тег.
И типо такого на дубли
<meta name="robots" content="noindex" />


Способ не плох, но уж очень не быстрый)))

Сообщение отредактировал garry - 7.1.2014, 15:05

А как и куда это нужно поставить?


Этим я не запрещю индексацию роботс или что?

Важно или не очень?

Robots гляньте пожалуйста, я все правильно запретил? Не будет такого?

Т.к видно там категории разные получаются, а новость то одна

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.