Кому надо, тот обойдет и роботс, и юзерагент. Тем более, что эти функции в лягухе встроены.

agrx, на официальном сайте написано, что программа придерживается правил роботса.
я не пойму, куда поставить команду для юзер-агента, после команды для всех ботов и crawl-delay или нет

[mention]OlgaGetman, если затык конкретно по юзерагенту, то образец можно стащить например отсюда:
[mwhide=5]https://jlady.ru/robots.txt[/mwhide]

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.