Правильно настроенный robots.txt поможет избежать АГС.
DLE слишком много в "неумелых" руках генерирует дублированного контента, что в свою очередь и может стать причиной АГС.

Закройте от индексации все принт-страницы, страницы юзеров, фидбека, а также если последняя версия DLE в настройках неплохо бы поставить обработку неверных ЧПУ

Сообщение отредактировал fioru - 30.11.2011, 1:16

Вот содержание стандартного роботс



Значит к нему добавляем



еще на серче читал что туда же добавляют



и только этими пунктами можно обойти АГС?

ну кроме 2010 и 2009 закрываем и 2011 в итоге получится не роботс а "свалка".
Это глубокая ошибка дле, создание огромной кучи дублей.

В настройках закройте индексацию ссылок на принт-версии.

Еще вопрос, связанный в первую очередь что пишете здесь а не на официальном форуме поддержки. У вас нулл или лицензия?

лицензия

Скорее всего по причине дублирования контента. Где-то читал, что ПС не совсем любят DLE, но у меня подозрение, что дело либо в руках, либо в настройках. Кстати если используете нул. То качайте с мид тима. Там правельный robots.txt

мне кажется данную проблему стоит поднимать именно на их форуме, причем поднимать основательно.
Они сделали в 9.4 шаг от категорий без слеша, за что им спасибо. Хотя было ОЧЕНЬ много возмущений, но с точки зрения SEO они (разработчики) правы.
В самом Яндекс.Вебмастере надо анализировать сайт хотя бы раз в неделю. У меня у самого на двух сайтах появляется периодически информация о недоступности тех или иных страниц, что очень странно при том что они существуют.
Платону не писали по этому поводу ( ну что уник контент и как же так АГС )?

Самый лучший способ на мой взгляд:
1. Качественный robots.txt
2. Корректная настройка самого движка
3. Отключение либо заключение в тег noindex календаря и архива публикаций
4. Очистка .htaccess от неиспользуемых преобразований (допустим вы используете тип ЧПУ 2, так зачем хранить инфу по 1 и 3 типу, они Вам и накручивают дубли)

Может конечно что еще, сразу так и не вспомнишь

Disallow: /tags/ - это, если теги не для людей. Если же их не огромное кол-во и ведут они не на 3 новости на сайте, то можно и оставить и пользу от этого получить.

В интернете много примеров рабочих сайтов на данной кмс с большим количеством страниц и хорошим возрастом.
Меня очень удивляет что платный двиг содержит такой большой недочет, как дублирующий контент.

В интернете 90% сайтов на DLE это нуллы.
В некоторых случаях очень качественные.

У меня сайт "Для людей" с индексом в Яше 5К, в Гугле 4К. Реально на сайте добавлено ~40 статических страниц ~500 новостей ~200 реальных пользователей + можно насчитать страниц ~500 на модулях собственной разработки. Но никак если все просуммировать не получится число страниц в индексе Яши...
Быть может стоит скачать полный индекс страниц из Я.Вебмастре и проанализировать, но времени совсем нет на подобное