в robots.txt
Пишите
Disallow: /страница
Disallow: /страница
и так далее.

Использование спецсимволов "*" и "$"

Попутный вопрос, если robots будет около 250 таких строк disallow, это плохо?

Сообщение отредактировал Евгешко - 11.4.2010, 19:16

Вообще плохо. Хотя размер обычно измеряют в КБ.

Если нужно сделать так, чтобы в индексе были только страницы с новостями, то нужно найти отличительную черту в URL. В DLE, например, можно взять расширение - .html

С таким robots.txt

В Яндексе будут страницы только с расширением .html

LOAD, Спасибо за мысль

нашел инфу что 32 кб максимум должен быть роботс. Я вообще для чего это делаю,категории скрываю,да чтобы дублирования контента не было

ммм отличная идейка. то что доктор прописал

а для остальных поисковиков так же сделать?

Сообщение отредактировал 704391 - 12.4.2010, 11:57

да, желательно.

User-agent: Yandex
Disallow: /*print (закрываем страницы для печати)
Disallow: /*userinfo
Disallow: /2009/ (закрываем календарь)
Disallow: /2010/ (закрываем календарь)
Disallow: /autobackup.php
Disallow: /index.php?subaction=userinfo
Disallow: /admin.php
Disallow: /engine/
Disallow: /templates/
Disallow: /user/ (закрываем юзеров)
Disallow: /tags/ (закрываем теги)

а вообще можно юзать ЧПУ1 который без категорий

вот смотрите, я указал директиву Disallow: /texts$

она означает что запрещает категоию texts, но не запрещает texts/111.htm
а если у меня такая категория texts/11/11.html

Будут ли закрыты категории texts/11/ и им подобные тоже?