Анализ выборки строился на сайтах, попавших под фильтр АГС от 01.11.13. Были подробно проанализированы сайты, попавшие под раздачу из SAPE и Miralinks из БЛ списка (отобранные по хостовым метрикам), а так же сайты присланные мне на аудит. Всего получилось 37 сайтов (примерно 60000 страниц были просканированы и изучены).

Предисловие:
Автоматический фильтр АГС 17 появился в 2009 году, его целью было борьба с ГС и бесполезными для пользователей сайтами. Обусловлено это бурным ростом этих самых сайтов. Для тех, кто не застал этот период времени (не занимался SEO) приведу классификацию таких доноров:
- Генерированные сайты (дорвеи).
- Синонимайз всего и вся.
- Корявые автоматические переводы.
- Спарсеные данные.
- Сканы книг без форматирования.
- Сайты, сделанные путем разбивки фильма на кадры с рандомным куском текста под картинкой (40000-80000 страниц в индексе было).
- Сайты на корявых движках с дублированием контента, WP и Joomla были популярны (владельцы плодили дубли намеренно, для увеличения количества страниц в индексе).
- Сайты, основной контент которых меньше шаблонной составляющей (для нормальной индексации достаточно было поместить одно приложение на странице).
- Сайты с большим количеством стариц (более 500), но точек входа всего несколько.
- Сайты, на которых все внутренние страницы являются вторым уровнем вложенности.
Первой волной после применения фильтра АГС17 унесло в небытие огромное количество сайтов, пошли под откос даже некоторые государственные сайты (выкинуло примерно 40% всех сайтов). После этого появился АГС 30 модификация предыдущего фильтра. Вернулись в поиск крупные порталы и сайты госучреждений. По моим наблюдениям и наблюдениям моих знакомых добавились несколько факторов, которые помогали не попасть под фильтр.
- На вас должны ссылаться сайты, которым яндекс доверяет (в народе их называют трастовыми, заспамленные ресурсы не подходят).
- Сайты рекламирующееся в Директ попадали под фильтр намного реже (необъяснимо, но это так)
- Ссылки должны вести и на внутренние страницы, а не концентрироваться на нескольких.
- Сайты, на которые посетители приходили по прямым заходам, а не только с поиска, практически не попадали под фильтр.

Читая тему обсуждения фильтра, у меня сложилось мнение, что многие просто не понимают проблему или не хотят ее видеть. Некоторые ищут один фактор и винят во всем продажные ссылки. Мое мнение, на наложение любого фильтра влияют связки факторов, и неважно приторговывает ли сайт ссылками, если это действительно нормальный сайт и с остальным у него все в порядке.
Кто в зоне риска:
- Если вы видите, что сильно разнится количество проиндексированых страниц в Яндекс и Гугл.
- Если вы видите, что в панели вебмастера большая разбежка между Загружено роботом и Страниц в поиске.
- Если у вас на сайте однотипные страницы с низкой уникальностью
- Если у вас на сайте большинство публикуемых материалов не дотягивает и до 1500 знаков.
- Если у вас на странице дублируется контент.
- Если качество контента, оставляет желать лучшего (переписывания уже имеющееся в сети текстов без добавления дополнительной информации, водянистость текстов(это почти синонимайз), грамматические ошибки, спамные конструкции ).
- Пример текста с информационного туристического сайта присланного на аудит «"Просто поиск в Интернете по самой выгодной цене и предлагает отличное соотношение цены и качества,"» - так быть не должно.
- Дублированные мета теги Title, Description, Keywords
- Мета теги Title, Description млоинформативны и не дают понимание о содержимом страницы.
- Если вы ссылаетесь на плохие сайты или ссылаетесь с коммерческими анкорами вида (купить, заказать, цена, продажа, приобрести и т.д.) для информационных сайтов.
- Если все исходящие ссылки находятся в одном кластере (разделе).

АГС-40
Яндекс сделал заявление http://webmaster.ya.ru/replies.xml?item_no=16272


По мне они лукавят, ничего нового я не увидел. Это больше похоже на очередную чистку БД, высвобождение ресурсов под новые нужды.

Переходим к аудиту и к конкретным примерам:
buildtoday.ru страниц в Яндекс 19 в Гугл 2380
Сразу бросается в глаза верхние меню, оно просто не влезает. Перед тем как писать письмо в Яндекс я бы поправил верстку.


На сайте robots.txt практически бесполезен, дубли не закрыты, зеркало не прописано.
При сканировании сайта было обнаружено 1610 страниц. Отчет: https://www.dropbox.com/s/qtq8eq1gmba7rlo/2....ru-Report.xlsx

Обратите внимание на отсутствие тегов Description, Keywords (лучше его отсутствие, чем спам и вариант когда он один на весь сайт)
Тег Title дублируется на многих страницах. Он должен быть уникальным в рамках сайта и желательно за его пределами.

Дублей на сайте много. А зачастую при попытки обращения к странице получаем вроде «Извините, но в рубрике Строительство еще нет записей.» хотя код ответа сервера 200OK

Служебных страниц тегов и календарей, пагинации и т.д. не должно быть в индексе. Эти блоки я бы рекомендовал убрать или подгружать JS скриптом, пользователи все равно ими не пользуются.
Задумайтесь о целесообразности категорий, в которой всего одна новость (нечеткий дубль) http://gviragon.ru/category/cherepichnaya-krovlya/

tyrimpex.ru страниц в Яндекс 686 в Гугл 1790 (сайт в зоне риска)
На сайте отсутствует robots.txt со всеми вытекающими из этого.
При сканировании сайта было обнаружено 1471 страница. Отчет: https://www.dropbox.com/s/2aw82i0kyckkbi7/2....ru-Report.xlsx

Теги Description и Keywords отсутствуют, как и у первого сайта.
Тег Title дублируется на многих страницах.

Из дублей опять служебные страницы, которые надо прятать.


Рекомендации:
- Переписать title (“АКВАРИУМ”, “АККЛИМАТИЗАЦИЯ”, “ Сыр”… такого не должно быть)
- Составить robots.txt
- Избавится от дублей
- Уменьшить краткое описание новостей, у вас полная новость нечеткий дубль категорий и других страниц (пример http://www.tyrimpex.ru/?cat=24)
- Уберите пересекающиеся блоки (календарь и т.д.)
- Для профилактики, публикуйте хорошие обзорные статьи большого размера и ставьте на них пару ссылок.

Общие выводы анализа вылетевших сайтов.
- Все сайты были на корявых CMS(плохо настроенных движках) чаще всего WP и Joomla
- На всех сайтах были дубли, как мета тегов, так и сквозных блоков со служебной информацией (календари, теги, куски дублирующего текста на всех страницах).
- Тег title на всех сайтах представлял жалкое зрелище, по нему нельзя было в большинстве случаев определить, о чем страница.
- У большинства сайтов был слабый ссылочный профиль (на него не ссылались крупные сайты, которым Яндекс доверяет), при этом были исходящие ссылки с явно коммерческими анкорами.
- На сайтах низкая посещаемость.
- Большинство публикуемых материалов менее1500 символов


Это лишь несколько сайтов, владельцы которых согласились на публичный аудит.