Можно ли в robots.txt запретить индексировать всю категорию (чтобы не было дублей текста короткой новости), но разрешить индексировать сам материал лежащий в данной кат.?
Есть полноценный сайт с категориями и т.п., но хочу что бы кушались главная страница и полная новость.
К примеру url категории такой /komediya/1
Url полной новости /komediya/ljubov_morkov_3.html

Если в роботсе будет так:
то будет ли скушана конечная страница, или я запретил индексировать все новости нах. в данной категории?

-----Добавлено-----
Решил вопрос с помощью Google webmaster, ввёл адрес страницы, которую нужно индексировать - [разрешено], ввёл адрес страницы, которая запрещена в файле - [запрещено].
Причём yandex webmaster в этом плане откровенно обманывает! У него ВСЕ страницы разрешены к индексации, включая те, что указаны в роботсе

Теперь я убедился, что правильно составил robots.txt

Сообщение отредактировал S1xteen - 7.3.2011, 23:27