[X] Помощник

[djalin Topic Starter]

Увидел на блоге у человека вот такой роботс

Код

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /to/
Disallow: /&*
Disallow: />*
Disallow: /page/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /to/
Disallow: /&*
Disallow: />*
Disallow: /page/
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

но например на запись

Disallow: />*

яндекс ругается

еще видел такой

Код

User-agent: *
Crawl-delay: 1  
Disallow: /webstat/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */comments
Disallow: /comments
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: */trackback
Disallow: */feed
Disallow: /feed/
Disallow: */comments
Disallow: /category
Disallow: /category/*/*
Disallow: /tag
Disallow: /*?*
Disallow: /*?
Disallow: /to/
Disallow: /&*
Disallow: /page/

Sitemap: http://site.ru/sitemap.xml
Host: site.ru

но кажеться там есть повторы

Disallow: /category
Disallow: /category/*/*

Или я ошибаюсь и там не лишнее?

Сообщение отредактировал djalin - 19.9.2014, 18:49

[duoseo]

Disallow: /category
Disallow: /category/*/*

Не лишнее. Например, вам же не надо индексировать не только http://site.ru/category/, но и вторую - http://site.ru/category/hotels/page/2/ , третью и так далее страницы этой категории. Если надо закрыть все кроме первой - то да, лишнее, но обычно закрывают такие подстранички, они не нужны.

[HolySong]

Год календаря закрывай еще /2014/ к примеру если имеется

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.