А нужно ли?

http://news.pooisk.com/robots.txt



Желательно))) вообще любые сайты без роботс существуют отлично! Но с файлом всё же лучше!

Насколько я знаю файл robots.txt непривявзан к движку. Он один есть и будет только функции несёт разные

Он не привязан, но его содержимое связано с движком, т.к. для своего движка, свои запреты, вот пример robots.txt для WP:

Нужен. Например директива Host поможет защитить сайт от зазеркаливания. А Disallow/Allow укажут поисковому роботу, какие страницы нужно скачивать, а какие нет. Рассмотрю небольшой пример с форумом SMF, в теме, каждое сообщение имеет свою ссылку, например: index.php?topic=156.msg478#msg478 и index.php?topic=156.msg536#msg536, ссылки с виду отличаются и для поисковых ботов они будут считаться разными, но на деле они отобразят одну и туже информацию, а не все поисковики к одинаковым страницам относятся одинаково, яндекс например из них оставит в индексе только одну... Думаю понятно почему это будет плохо. Так же стоит запрещать индексацию тех страниц, которые в выдаче не должны появляться, например формы регистрации, добавления нового сообщения, обратной связи и тд.

А есть robots.txt ещё для DLE?

у меня такой вот:

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Host: site.ru
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /comments/feed/
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/

а что означает User-agent: * ??
Вместо * надо что-нибудь вводить?

нет, в этом случае правило действует для всех поисковиков.