Пользуйтесь поиском.

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Disallow: /tag/*
Disallow: /wp-content/uploads

Host: site.ru

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Disallow: /tag/*
Disallow: /wp-content/uploads


Sitemap: http://site.ru/sitemap.xml

Zonder,
а если вот так:
User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: сайт.ru

Sitemap: http://site.ru/sitemap.xml

Zonder, насколько я понял, то по вашему примеру будут запрещены все папки для индексирования... вы то написали?

diks, если закрывать ничего не нужно ничего и не пишите кроме сайтмепа.

Тоесть ваш вариант правильный.

Сообщение отредактировал Zonder - 2.11.2012, 22:01

смысл от такого поиска как у Вас? дали пример, где все закрыто для ботов

мой пример нормальный?

В robots.txt необходимо закрывать от индексации страницы, которые не несут для пользователей никакой ценной информации (страницу регистрации, входа на сайт, профиля, поиск...), дубли страниц, служебные папки...

diks, в вашем случае - да, если все нужно открыть.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.