Помощник
|
Какой же все таки правильный robots для wp |
Gracisko
|
Сообщение
#1
|
||
|
|
||
|
|||
lrad |
17.8.2012, 23:02;
Ответить: lrad
Сообщение
#2
|
|
Берете хороший посещаемый блог на вордпрессе, чтобы был в топе ПС.
Смотрите у него роботс. -------------------- |
|
|
serg5777 |
17.8.2012, 23:05;
Ответить: serg5777
Сообщение
#3
|
|
Вот мой, все страницы в индексе:
User-agent: Yandex
Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /category/ Disallow: */trackback Disallow: /trackback Disallow: */feed Disallow: /feed Disallow: /comments Disallow: /tag/ Disallow: /*?* Disallow: /?s= Disallow: /archive Disallow: /search Disallow: /xmlrpc.php User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /tag/ Disallow: /*?* Disallow: /?s= |
|
|
lrad |
17.8.2012, 23:14;
Ответить: lrad
Сообщение
#4
|
|
Я бы добавил
Disallow: /*comment-page-*
Disallow: /*comment-* Disallow: /quote-comment-*/comment-* Disallow: /quote-comment-* Сообщение отредактировал lrad - 17.8.2012, 23:15 -------------------- |
|
|
Ronnie |
18.8.2012, 1:07;
Ответить: Ronnie
Сообщение
#5
|
|
Какой же все таки правильный robots для wp Такой, который вы сами себе сделаете. -------------------- |
|
|
Gracisko
|
Сообщение
#6
|
|
У меня нашелся такой robots.txt, не знаю на сколько он полноценный и правильный
User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /tag/ Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /tag/ Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: www.sait.ru Как то еще попал на новые изменения в учитывании robots.txt яндексом, что про звездочку * было сказано, что чего там по другому учитывается, но уже не найду. Подскажите. -------------------- |
|
|
Muwqa |
18.8.2012, 13:47;
Ответить: Muwqa
Сообщение
#7
|
|
А зачем дублировать специально для Яшки? Он что, по Вашему мнению, особенный?
-------------------- |
|
|
Gracisko
|
Сообщение
#8
|
|
Яша сказал, что нужно для него отдельно прописывать, так все и делают. Так насколько этот роботс правильный? -------------------- |
|
|
Muwqa |
18.8.2012, 14:17;
Ответить: Muwqa
Сообщение
#9
|
|
Gracisko,
http://help.yandex.ru/webmaster/?id=996567 В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен. А где он сказал то? Яндекс этот Ваш? Для каждого сайта robots.txt разный, правильный это тот, который подходит к ВАШЕМУ сайту. Сообщение отредактировал Muwqa - 18.8.2012, 14:18 -------------------- |
|
|
Reader |
18.8.2012, 14:50;
Ответить: Reader
Сообщение
#10
|
|
User-agent: *
Disallow: /cgi-bin Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /author Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */attachment/ Disallow: */comments Disallow: */comment-page Disallow: */*?* Allow: /wp-content/uploads Host: сайт.ру Sitemap: http://сайт.ру/sitemap.xml При этом гугл часть страниц проиндексирует и отправит в сопли. На сайтах, где не нужен рсс, отключаю его и 301 редирект на главную, а также все остальное лишнее. прописывается в function.php. // remove version info from head and feeds function complete_version_removal() { return ''; } add_filter('the_generator', 'complete_version_removal'); // remove junk from head remove_action('wp_head', 'rsd_link'); remove_action('wp_head', 'wp_generator'); remove_action('wp_head', 'feed_links', 2); remove_action('wp_head', 'index_rel_link'); remove_action('wp_head', 'wlwmanifest_link'); remove_action('wp_head', 'feed_links_extra', 3); remove_action('wp_head', 'start_post_rel_link', 10, 0); remove_action('wp_head', 'parent_post_rel_link', 10, 0); remove_action('wp_head', 'wp_shortlink_wp_head', 10, 0 ); remove_action('wp_head', 'adjacent_posts_rel_link', 10, 0); remove_action('wp_head', 'adjacent_posts_rel_link_wp_head', 10, 0 ); function fb_disable_feed() { header("Location: /index.php",TRUE,301); } add_action('do_feed', 'fb_disable_feed', 1); add_action('do_feed_rdf', 'fb_disable_feed', 1); add_action('do_feed_rss', 'fb_disable_feed', 1); add_action('do_feed_rss2', 'fb_disable_feed', 1); add_action('do_feed_atom', 'fb_disable_feed', 1); Это помогает достичь баланса и вселенской гармонии - число страниц в яндексе равно числу страниц в гугле. Сообщение отредактировал Reader - 18.8.2012, 14:52 -------------------- |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
SiteAnalyzer - бесплатная программа для аудита и анализа сайта | 79 | Chaser | 74319 | Сегодня, 1:02 автор: Chaser |
|
Посоветуйте массажер для спины и шеи | 11 | Boymaster | 934 | Вчера, 18:24 автор: Arsenwenger |
|
⭕Антидетект браузер AdsPower для эффективной работы с мультиаккаунтами! | 84 | AdsPower | 24599 | Вчера, 16:35 автор: AdsPower |
|
Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат | 55 | arendator | 35109 | Вчера, 2:12 автор: arendator |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 3 | Rebex | 975 | 24.4.2024, 20:50 автор: Rebex |
Текстовая версия | Сейчас: 26.4.2024, 2:20 |