HTTP-статус: Неверный запрос (400) ?    
Запрещено к индексированию или не существует
HTTP-статус: Неавторизованный запрос (401) ?    
Запрещено к индексированию или не существует
HTTP-статус: Необходима оплата за запрос (402) ?    
Запрещено к индексированию или не существует
HTTP-статус: Доступ к ресурсу запрещён (403) ?    
Ошибка на стороне сервера или сайта
HTTP-статус: Ресурс не найден (404) ?    
Запрещено к индексированию или не существует
HTTP-статус: Метод неприменим (405) ?    
Запрещено к индексированию или не существует
HTTP-статус: Недопустимый тип ресурса (406) ?    
Запрещено к индексированию или не существует
HTTP-статус: Требуется идентификация прокси, файервола (407) ?    
Запрещено к индексированию или не существует
HTTP-статус: Время запроса истекло (408) ?    
Запрещено к индексированию или не существует
HTTP-статус: Конфликт (409) ?    
Запрещено к индексированию или не существует
HTTP-статус: Ресурс недоступен (410) ?    
Запрещено к индексированию или не существует
HTTP-статус: Требуется длина (411) ?    
Запрещено к индексированию или не существует
HTTP-статус: Сбой при обработке предварительного условия (412) ?

User-agent: *
Disallow: /user/
Disallow: /tags/
Disallow: /*/tags/
Disallow: /201*/
Disallow: *thumb
Disallow: /backup/
Disallow: /cache/
Disallow: /catalog/
Disallow: /lastnews/
Disallow: /language/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /rss.xml
Disallow: /index.php?action=mobile
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Host: mysite.com
Sitemap: http://mysite.com/sitemap.xml