Majestro,

у меня страница вот такого вида www.site.ru/shop/group_601/page-2/?sort_by_field (это дубль - сортировка товаров по определенному признаку)

хочу чтобы такие страницы не индексировались - будет ли достаточно прописать Disallow: /*? чтобы подобные адреса не попадали в индекс?

P.S. у меня на сайте сейчас 400 страниц, 150 из них это tag + ? - не будет ли очень плохо, если "пол сайта" закрыть от индексации?

Верно

/tag
/*?

Но попадает и этот www.site.ru/shop/goods1?view

Если он нужен, тогда

/?

Majestro,
у меня все строки, где есть ? это дубли (поиск, сортировка и т.п.)

Спасибо за помощь.

Мне тоже кажется что надо поставить Disallow: /*?*

Знак "*" в роботс можно уже не использовать, даже лучше не использовать, об этом есть оф.информация от Яндекса.
з.ы. речь не о юзер-агенте, а о разделах, перед кторыми этот знак.

а как закрыть на сайте все страницы кроме тек которые "для печати" ?
Dle 9,3

Каждый считает по разному роботс как составлять. Вот мне составили профессионалы и он скажу очень отличается

правильно

Сообщение отредактировал aleshka89 - 13.5.2012, 13:40

Если отсеять сообщения постнабивателей, выделить дельные советы, то объединившись с хелперами яндекса и robots.txt, добавлю, что директива "host" признаётся только поисковой системой Яндекс, а сайтмаповская любой, поэтому поменяйте местами эти директивы, ибо когда неяндексовский бот доходит до директивы host, он останавливает движение, игнорируя всё остальное. Избежать этого можно прописав директивы для яндекса и прочих поисковых систем по отдельности с "User-agent: *" и "User-agent: Yandex" соответственно. При это в той части которая прописана для всех пс не прописывается директива host. Надеюсь я понятно изъясняюсь

П.С. aleshka89, зачем так тупо набивать посты? Можно же мозг включить, а не писать всякий бред, верно?

Сообщение отредактировал Monah - 16.5.2012, 11:51

Присоединюсь к вопросу о роботсе.
Посмотрите, пожалуйста мой, скажите, правильно или нет составленный.

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /tags/
Disallow: /2012/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Заранее спасибо за ответ!