Суть вопроса недавнее введение нового фильтра яндекса АГС-17. Точнее фильтр существовал давно, но раньше такой активности за ним не замечалось. Якобе аббревиатура должна пониматься так - АнтиГовноСайт, а 17 это количество страниц, которое остается в индексе яндекса после попадания под этот фильтр
Возможно вас коснулась эта проблема, а может и нет. Но меня она коснулась, поэтому прошерстил форумы в поисках информации. На форуме сапы нашел интересную заметку, ссылка на полную статью
Если не любите много читать, то прокрутите в подвал статьи, там автор дает практические советы по выздоровлению сайта и избавлению от "вируса" АГС
Статью я прочитал полностью, с автором согласен не во всем.

Сущая неправда. Это действительно шаманский танец с бубном. Возможно у автора это и срабатывало, но у меня как раз был сайт, на который контент закачивался крупными порциями причем нерегулярно. Сейчас сайт под фильтром.

У меня пока ни один не вернулся. Хотя уже несколько апов прошло. Автор упоминает что существует определенный срок карантина, однако у меня сомнения по этому поводу.

По моим скромным наблюдениям могу сказать следующее. Факторов много Общая формула выглядит как-то так - Контент+авторитетность+структура сайта.
К примеру контент в связке с авторитетностью самого ресурса объясняется так. Понятно что если на вашем сайте исключительно уникальный контент, то это хорошо, но если на сайте имеется какой-нибудь каталог товаров, ссылок или компаний, то тут уже подключается авторитетность сайта, или его качество. Качество это разумеется не только тИЦ, это совокупность параметров. Качественному сайту наличие некой неуникальной информации не вредит, а вот если сайт некачественный с точки зрения поисковой системы, то дублирование информации является проступком. Как минимум такая информация из индекса слетает, как максимум слетает весь сайт. Положение может спасти или ухудшить структура сайта. Например у меня сетка сайтов на одном айпишнике. На каждом сайте стандартный набор - статьи + каталог вакансий. Везде используется один и тот же движок. Ясное дело, что код таких страниц будет похож. Ну и путь урл также может быть одинаковым. Думаю однотипность не является плюсом в копилку авторитетности сайта.
Продажа ссылок не является решающим фактором попадания под фильтр, скорее всего это также один из факторов. Безусловно имеет значение тематика ссылок. Как же неудачно я попал с линкфидом когда заметил что по умолчанию adult фильтр выключен. Как результат куча ссылок с порноанкорами, думаю это не добавило веса ресурсам. Теперь я не только включил фильтр, но и ввел премодерацию ссылок. Занимает много времени, но так спокойнее. Имеет ли значение общее количество исходящих ссылок? Не думаю. Если ссылки тематические, то это скорее даже плюс для сайта.

Если у вас есть мысли, вопросы по данной теме, пишите

Вернусь к данной теме, так как мной были проведены некоторые исследования одного из "инфицированных" АГС-17 сайтов. Речь идет о сайте, о котором я уже выше писал. Сайте, на который контент закачивался крупными порциями и нерегулярно. Вынужден признать что скорее всего причина вылета страниц оказалась в неуникальном контенте.
НО! Есть непонятный момент. Дело в том что в момент размещения контент был 100% уникальный. По крайней мере большая его часть. Сейчас же, после того как пришлось перелопатить весь сайт оказалось что у многих страниц есть дубликаты. Причем дубликаты по большей части в форматах doc и pdf. Кто-то тоже нашел мой источник, но выложил сразу без html. Получается что такие форматы как doc и pdf яндекс оценил выше чем мой html? Трудно сказать наверняка, но материалы пришлось снять. А жаль, хорошее качество текста с картинками. В оригинале читать было даже не так удобно. На сайт предварительно поставил запрет к индексации яндексом. Осталась только морда, также полностью изменил структуру урлов на статические вместо динамики. Закрыл кое-какие лишние странички, убрал разбитие больших статей на страницы. Посмотрим что из этого выйдет

Очередные новости по проблеме фильтрации агс. Страницы одного из сайтов (мебельной тематики) вернулись в индекс. За прошлые сутки +800 страниц, и сегодня еще +800. То есть как сайты попадают под действие данного фильтра (начинается частичный выпад страниц пока не выпадут все) так и выходят из него. Хочу также заметить что в роботс я еще дня 3-4 назад поставил запрет на индексацию данных разделов. То есть страницы восстанавливаются из тех что уже были в базе, видимо основной индексатор еще не знает что разделы закрыты.
Все это в принципе отчасти подтверждает мысли написанные
Отчасти потому что восстановился только один сайт из около 20. Почему яндекс решил вернуть страницы в индекс я не знаю. Единственное что изменилось с момента попадания под фильтр это то, что я добавил в подвал сквозную ссылку на новый раздел сайта. Проверил кэш и оказалось, что те страницы которые вернулись уже с этой новой проиндексированной ссылкой. Ну и что теперь думать? Яндекс реагирует на массовое обновление, пусть даже незначительное? хз.

Ну что, сегодня в полночь случился ап, поэтому есть некоторые новости о сайте, о котором я уже писал выше.


Итак, после запрета сайта в роботс, в индексе остался только сам домен, никакой сохраненной копии, но яндекс как бы дает понять что о сайте он помнит. Собственно когда все страницы благополучно отвалились я снял запрет из роботс и попытался добавить сайт в поиск, на что был получен отказ - "сайт запрещен в роботс". Я даже успел немного испугаться и подумать об очередной нудной переписке с сапортом. Хотя конечно подозревал что роботс также кэширован и надо подождать апа. АП пришел и морда самостоятельно проиндексировалась Пока все по плану, теперь осталось подождать и посмотреть как бот скушает или нет внутренние странички.

Прошло больше месяца и случился не один апдейт, но сайт полностью так и не вернулся. Даже несмотря на то что я оставил только уникальный контент (проверив каждую страницу на уникальность) и изменил пути урлов. Возможно проблема в том что в адресе сохранилось название из старого варианта... старый вариант урла был - /pages/articles, а новый /articles
Возможно проблема в этом, опыт придется продолжить.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.

Сообщение отредактировал GlazAlmaz - 2.10.2020, 22:03