Тыць, а вообще вопрос из серии "как сделать легко, быстро и что б в топе быть постоянно?" Каждый редактирует роботс под свои нужды, я, к примеру, не закрываю теги, и в индексе у меня около 200 страниц хотя 63 статьи. А кто то ссыт и закрывает всё что можно. Тут нет однозначного мнения.

Кстати, достаточно спорный момент. На многочисленных ресурсах видел, что теги нужно закрывать, однако и сам этого не делаю =)

jack
у меня порядка 500 постов на одном проекте. если открою всё что можно и не буду ссать - получается минимум 4000. это с комментариями (comments-page-1), страницами галерей (?nggallery-1) и прочими ответвлениями

из-за этого в поиске пропадают нормальные страницы и появляются page/4/ например... естесственно, с наполнением контента позиции теряются. ну и вообще, хотелось бы быстро легко и чтоб в топе быть постоянно))

ну и естесственно из-за чрезмерного количества дублей бан схлопотать я так понял несложно.

то, что ты скинул - это для гугла я так понимаю?

А я видел и не просто видел, я лично пробовал их не закрывать и не закрываю сейчас и ничего страшного не происходит.

А при чём тут всё что можно?! Я не говорю о том, что нужно открывать ВСЁ, я говорю о том, что:
т.е. у каждого есть какие то дополнительные папки на хостинге, которые нужно открыть или закрыть, каждый юзает свою подборку плагинов и т.д. и т.п.

WordPress является детищем буржунета, а у них там парадом правит Google. Про других роботов можно почитать тут

Ну а если хотите готовый вариант то пожалуйста


Сообщение отредактировал jack - 15.9.2010, 14:51

а ссылки продаёшь с дублей?

Теги - это вообще прелесть, зачем их закрывать?
А роботсом пользуюсь стандартным ибо в каких-то заморочках нет нужды Мне нечего скрывать от дяди Яндекса

onikishov
затем что при продаже ссылок с дублей (читай тегов, которые зачастую пересекаются друг с другом) следуют жесткие санкции, не?

у меня - не
Ну, конечно, если в тупую продавать по 5 ссылок со страницы, будут санкции, но можно найти золотую середину.
Да и потом, правильно составленные теги - это дополнительный траф, а в sape такие страницы можно просто удалить.

Сообщение отредактировал onikishov - 16.9.2010, 12:45

О_о решил поискать в гугле про робот.тхт сегодня и наткнулся тут на вчерашнюю тему. А говорят еще совпадений не бывает...

А объясните что значит



А то что, то я не совсем понял смысл данной строки

Сообщение отредактировал Silverspam - 16.9.2010, 17:27