Берете хороший посещаемый блог на вордпрессе, чтобы был в топе ПС.
Смотрите у него роботс.

Вот мой, все страницы в индексе:

Я бы добавил


Сообщение отредактировал lrad - 17.8.2012, 23:15

Такой, который вы сами себе сделаете.

У меня нашелся такой robots.txt, не знаю на сколько он полноценный и правильный

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /tag/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /tag/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

Host: www.sait.ru


Как то еще попал на новые изменения в учитывании robots.txt яндексом, что про звездочку * было сказано, что чего там по другому учитывается, но уже не найду. Подскажите.

А зачем дублировать специально для Яшки? Он что, по Вашему мнению, особенный?

Яша сказал, что нужно для него отдельно прописывать, так все и делают.

Так насколько этот роботс правильный?

Gracisko,
http://help.yandex.ru/webmaster/?id=996567

А где он сказал то? Яндекс этот Ваш?
Для каждого сайта robots.txt разный, правильный это тот, который подходит к ВАШЕМУ сайту.

Сообщение отредактировал Muwqa - 18.8.2012, 14:18

User-agent: *
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /author
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */attachment/
Disallow: */comments
Disallow: */comment-page
Disallow: */*?*
Allow: /wp-content/uploads
Host: сайт.ру

Sitemap: http://сайт.ру/sitemap.xml

При этом гугл часть страниц проиндексирует и отправит в сопли. На сайтах, где не нужен рсс, отключаю его и 301 редирект на главную, а также все остальное лишнее. прописывается в function.php.

// remove version info from head and feeds
function complete_version_removal() {
return '';
}
add_filter('the_generator', 'complete_version_removal');

// remove junk from head
remove_action('wp_head', 'rsd_link');
remove_action('wp_head', 'wp_generator');
remove_action('wp_head', 'feed_links', 2);
remove_action('wp_head', 'index_rel_link');
remove_action('wp_head', 'wlwmanifest_link');
remove_action('wp_head', 'feed_links_extra', 3);
remove_action('wp_head', 'start_post_rel_link', 10, 0);
remove_action('wp_head', 'parent_post_rel_link', 10, 0);
remove_action('wp_head', 'wp_shortlink_wp_head', 10, 0 );
remove_action('wp_head', 'adjacent_posts_rel_link', 10, 0);
remove_action('wp_head', 'adjacent_posts_rel_link_wp_head', 10, 0 );

function fb_disable_feed() {
header("Location: /index.php",TRUE,301);
}

add_action('do_feed', 'fb_disable_feed', 1);
add_action('do_feed_rdf', 'fb_disable_feed', 1);
add_action('do_feed_rss', 'fb_disable_feed', 1);
add_action('do_feed_rss2', 'fb_disable_feed', 1);
add_action('do_feed_atom', 'fb_disable_feed', 1);

Это помогает достичь баланса и вселенской гармонии - число страниц в яндексе равно числу страниц в гугле.

Сообщение отредактировал Reader - 18.8.2012, 14:52