[X] Помощник

[anavar2008 Topic Starter]

РЕбят, помогите с созданием robots.txt на сайте... Хочу исключить из индекса несколько страниц. Если есть какой либо образец с комментариями - дайте плиз. Или статью про создание robots.txt
Заранее всем спасибо!

[Lame13]

http://ru.wikipedia.org/wiki/Robots.txt

И, заодно, http://help.yandex.ru/webmaster/?id=996567

:)

[kittenk]

Обратите внимание на то, что некоторые поисковые машине не могут нормально интерпретировать некоторые директивы. Будьте внимательны.

Сообщение отредактировал kittenk - 20.4.2010, 13:34

[WebBat]

Тут предостаточно информации будет http://robotstxt.org.ru

[Staurus]

Disallow: *user* - исключает все url в которых есть слово - user
Disallow: /user/ - исключает всю директорию user и вложеные в нее урлы user/antnon и т.п.
ну так собственно всё что нужно ТС сказал

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.