ТС, использовать элементарно- вероятнее всего есть какой нить плагин, скрипт или как там это в дле называется, который как раз и выставляет метатеги, ибо иначе вам придется задавать их в теле документа в зависимости от id страницы.

ТС, с чего вы взяли что гугл индексирует страницы, которые вы запретили в роботсе? Уверен на 90%, что эти страницы были проиндексированны еще до того, как вы прописали запрет и он еще не успел их обновить. Ненужно беспокойться - выпадут сами. Иногда страницы и 1-2 месяца немогут выпасть из индекса, поэтому ждите просто!
2ой вариант - вы не правильно составили роботс. Можете скинуть свои роботс сюда, а мы постараемся вам помочь разобраться.
Ну и обязательно, если не сделали - заидите в свои аккуант google и добавте сайт

Сообщение отредактировал taxi2008 - 18.1.2012, 9:18

делал парсер и повесил его на домен новый, в роботсе и в мете запретил индексацию с самого начала. Гугл все равно вогнал в индекс, через пару дней все вылетело и не появлялось больше.

User-agent: *
Disallow: /*print
Disallow: /2012/
Disallow: /2011/
Disallow: /tags/
Disallow: /user/
Disallow: /page/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://findfilmnow.com/sitemap.xml


User-agent: Yandex
Disallow: /*print
Disallow: /2012/
Disallow: /2011/
Disallow: /tags/
Disallow: /user/
Disallow: /page/
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /images/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Sitemap: http://findfilmnow.com/sitemap.xml
Host: findfilmnow.com


Вот мой роботс. В гугле акк естественно создан, сайт добавлен давно.

Andrjuwka007, Ну вот и ошибки
Обратите внимание


А надо


Вы запрещаете индекс страниц оканчивающихся на /2012/ , но не запрещаете те которые идут как /2012/2/ , а в sitemap они идут полностью /2012/2/статья.html вот и индексируются.

И вообще чего вы паритесь с этими дублями страниц. Гугле вполне лояльно отностится к дублям. Он прост их из основной выдачи убирает. У Гугла прекрасный анализ страниц. Не релевантные страницы и дубли повторы идут как запасные страницы. Это яндекс как параноик ищет порно на сайте детского питания и если его не находит то БАНИТ такие сайты как : "Не соответствует нашему пониманию "Хороших сайтов""

Сообщение отредактировал elvis81 - 19.1.2012, 0:49

Это не ошибка, там всё правильно указано. По умолчанию * прописывается в конце каждого правила. Если бы это правило не прописывалось автоматически, то вы бы не смогли заблокировать сайт полностью просто прописав "Disallow: /".

О май гад, Andrjuwka007, вот это роботище..
Ломай меня полностью

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.