Напишите ещё, пожалуйста, что надо писать robots.txt DLE

кстати, что кто скажет на счет дублированого контента, я имею ввиду страницы рубрик, архивов и тегов, стоит ли запрещать индексацию?

Я бы не стал.

ИМХО, файла:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /comments/feed/
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/

Достаточно для 99% блогов

Пиши все, где по твоему мнению роботу поисковика делать нечего, если не уверен что нужно, посмотри у сайтов конкурентов, также работающих на DLE

вот тут http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

вводишь в поле Имя хоста: домен конкурента и получаешь его robots.txt

анализируешь 2-3 сайта, находишь общие строки и оставляешь себе.

Сообщение отредактировал isurfer - 19.12.2008, 18:14

Какие права надо выставлять для файла robots.txt?

Сообщение отредактировал fc-spartac - 19.12.2008, 18:48

Да без разницы, хоть 777.
Но, если сильно обеспокоиться безопасностью, то 644 будет самое ТО.

Сообщение отредактировал isurfer - 19.12.2008, 19:17

644 всегда єто оставляю!

А проще браузером зайти по адресу http://домен_конкурента/robots.txt



Любые, главное чтобы он потом загрузился по адресу http://твой_сайт/robots.txt

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.