Ну если ругать, то файл называется robotS.txt

)))) принято

а если по делу ?

А что Вы вообще хотели сделать? Чего добиться?

чтобы ругать или хвалить нужно знать структуру ссылки на контент.
а так создается впечатление что запрещено к индексации все что только можно и каким образом будет сам контент индексироваться непонятно

убить дубли страниц повысить трастовость , продвинутся в поиске за счет правильной индексации .



отправил в личку

да воде нормально все. основной контент к индексации разрешен, всевозможные дубли типа страниц печати и т.л запрещены

остпро есть еще другая версия которая выглядит примерно так

User-agent: *
Disallow: /pricelist/
Disallow: /search/
Disallow: /*sort=*
Disallow: /auth/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback/
Disallow: /installer/
Disallow: /login/
Disallow: /logout/
Disallow: /myaccount/
Disallow: /order_status/
Disallow: /published/SC/html/scripts/
Disallow: /published/wbsadmin/
Disallow: /register/
Disallow: /remind_password/
Disallow: /*view=*
Disallow: /*/reviews/
Disallow: /linkexchange/

User-agent: Yandex
Disallow: /pricelist/
Disallow: /search/
Disallow: /*sort=*
Disallow: /auth/
Disallow: /cart/
Disallow: /checkout/
Disallow: /feedback/
Disallow: /installer/
Disallow: /login/
Disallow: /logout/
Disallow: /myaccount/
Disallow: /order_status/
Disallow: /published/SC/html/scripts/
Disallow: /published/wbsadmin/
Disallow: /register/
Disallow: /remind_password/
Disallow: /*view=*
Disallow: /*/reviews/
Disallow: /linkexchange/

а почему здесь прайс лист запретили?

а он автоматом уничтожается роботом Слишком много ссылок

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.