User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-register.php
Disallow: /wp-login.php

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

Именно так и было прописано, но яша все равно продолжает индексировать метки и рубрики.
Помогите, пожалуйста!

Используйте плагин All-in-one-seo-puck он закрывает от индексации все это и Яша исключает их из поиска

Добавьте:
Disallow: /tag/
Disallow: /category/
Почитайте тут: http://www.xela.ru/2009/08/robotstxt-dlya-wordpress/
ps Будут вопросы, пишите в личку.

Сообщение отредактировал darkxela - 24.11.2010, 0:47

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /search
Disallow: */trackback/
Disallow: */feed/
Disallow: */feed
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /goto/
Disallow: /friends.php*
Disallow: /links.php*
Disallow: */page/*
Disallow: /?wp-subscription-manager*
Disallow: */comment
Disallow: */tag/*
Disallow: /category/*
Disallow: */attachment/*
Disallow: /?_openstat*

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml.gz

Но я бы не закрывал бы категории

А можно узнать, почему?


Спасибо Вам за совет.
Плагин настроен, но яша все равно индексирует метки и рубрики...

Я считаю, что могут возникнуть проблемы с индексацией постов, которые не успели проиндексироваться и ушли в архивы. Если закрывать категории, то нужно делать правильную перелинковку внутр. стр. А Вы уверены, что сможете это сделать?! Я так понимаю, Вы хотите продвигаться по НЧ запросам, если "да" то форуме есть хорошие и подробные мануалы на эту тему - почитайте.

Но это мое ИМХО, на истину не претендую!

Monarx, для быстро наполняемого блога Ваш совет как раз кстати.
Один мой хороший знакомый, предупредил меня, что блог может угодить под АГС, т.к. под индексом слишком много меток.
Иными словами, не соблюдается соотношение одна страница - одна запись...

Скажите ..зачем закрывать метки и категории??? Смотрю по выдаче на яше топовые сайты отлично сидять с внутренними страницами "категории" и "метки" в топе и отлично чувствуют себя.