Здравствуйте. В тонкостях настройки robots.txt, увы, не силен. Тем более - друпал. В и-нете нашел несколько шаблонов файла, но, так как не знаю, что этими директориями разрешаю-запрещаю, сомневаюсь в целесообразности выкладывания оного.
Представляется следующая картина. В магазе есть каталог товаров, новости и несколько статей. Все остальное - резать немедленно, не дожидаясь перитонита. То есть, как-то так:

User-agent: *
Allow: /products
Allow: /news
Allow: /page1
Allow: /page2
Disallow: /*
Sitemap: http://sitename.ru/sitemap.xml
Host:sitename.ru

Сейчас пороюсь - добавлю папку с картинками.
Логика мне подсказывает, что все просто и должно работать наиболее эффективно.. НО! Это "просто" как раз и беспокоит - ну, не специалист я...
Просьба к сведущим людям - поправить (добавить, одобрить)
И еще одно. Нужно ли запрещать к индексации отдельно лежащие на сервере файлы (cron.php, update.php, всякие текстовые файлы и т.д.), или
Disallow: /* их и так убивает?