Стало в последнее время уменьшаться кол-во страниц в выдаче Яндекса. Решил "прогнать" сайт с помощью Xenu и обнаружил такие URL, которые ведут на одну и ту же страницу, к примеру:
сайт.ру/category/krasota-i-zdorove/page/category/karera-i-ucheba/page/category/category/category/svadba/page/category/psixologiya/page/category/karera-i-ucheba/page/category/xobbi-i-uvlecheniya/page/category/psixologiya/page/2/

и

сайт.ру/category/krasota-i-zdorove/page/category/karera-i-ucheba/page/category/category/psixologiya/page/2/

Получается страница с абсолютно одинаковым контентом. Да, сайт на WP.

Сейчас срочно бросился перенастраивать роботс и выгладит теперь он для Яндекса так:


User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: /*/?replytocom=*

Disallow: */comment-page-*

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /tag

Disallow: /sidebar/

Disallow: /xmlrpc.php

Disallow: /page/

Disallow: /images/

Ну и хост конечно с картой сайта указан.

Что можно сделать в идеале, чтобы WP не плодил такие дубли?-Или по крайней мере, чтобы они не индексировались ПС? Плагин SEO от Yoast настроил сегодня так, чтобы индексировались только записи, страницы, медиафайлы. Рубрики, метки, архивы автора закрыл в noindex

Правильно ли это и что еще можно предпринять, чтобы эти дубли как можно скорее выпали из индекса ПС, а в перспективе, чтобы более не плодились.

Да, в Гугле читал по этому поводу, но более ничего сообразить не могу

По поводу атрибута canonical-пока не въезжаю -да и вводил же его Google-а с Гуглом пока все ОК

Сообщение отредактировал titris - 30.7.2014, 16:24