По просьбе одного из читателей моего блога появилась эта статья. В ней я постарался описать предназначение и создание файла robots.txt, а также описать директивы нужные для его наполнения.

Я не брал за цель описать все возможные директивы. А только самые основные нужные для создания эффективного файла robots.txt. Так же я привел ряд ошибок, которые лучше не допускать при создании robots.txt

Статья - robots.txt

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.