[X] Помощник

[ManGysITI Topic Starter]

Анализ выборки строился на сайтах, попавших под фильтр АГС от 01.11.13. Были подробно проанализированы сайты, попавшие под раздачу из SAPE и Miralinks из БЛ списка (отобранные по хостовым метрикам), а так же сайты присланные мне на аудит. Всего получилось 37 сайтов (примерно 60000 страниц были просканированы и изучены).

Предисловие:
Автоматический фильтр АГС 17 появился в 2009 году, его целью было борьба с ГС и бесполезными для пользователей сайтами. Обусловлено это бурным ростом этих самых сайтов. Для тех, кто не застал этот период времени (не занимался SEO) приведу классификацию таких доноров:
- Генерированные сайты (дорвеи).
- Синонимайз всего и вся.
- Корявые автоматические переводы.
- Спарсеные данные.
- Сканы книг без форматирования.
- Сайты, сделанные путем разбивки фильма на кадры с рандомным куском текста под картинкой (40000-80000 страниц в индексе было).
- Сайты на корявых движках с дублированием контента, WP и Joomla были популярны (владельцы плодили дубли намеренно, для увеличения количества страниц в индексе).
- Сайты, основной контент которых меньше шаблонной составляющей (для нормальной индексации достаточно было поместить одно приложение на странице).
- Сайты с большим количеством стариц (более 500), но точек входа всего несколько.
- Сайты, на которых все внутренние страницы являются вторым уровнем вложенности.
Первой волной после применения фильтра АГС17 унесло в небытие огромное количество сайтов, пошли под откос даже некоторые государственные сайты (выкинуло примерно 40% всех сайтов). После этого появился АГС 30 модификация предыдущего фильтра. Вернулись в поиск крупные порталы и сайты госучреждений. По моим наблюдениям и наблюдениям моих знакомых добавились несколько факторов, которые помогали не попасть под фильтр.
- На вас должны ссылаться сайты, которым яндекс доверяет (в народе их называют трастовыми, заспамленные ресурсы не подходят).
- Сайты рекламирующееся в Директ попадали под фильтр намного реже (необъяснимо, но это так)
- Ссылки должны вести и на внутренние страницы, а не концентрироваться на нескольких.
- Сайты, на которые посетители приходили по прямым заходам, а не только с поиска, практически не попадали под фильтр.

Читая тему обсуждения фильтра, у меня сложилось мнение, что многие просто не понимают проблему или не хотят ее видеть. Некоторые ищут один фактор и винят во всем продажные ссылки. Мое мнение, на наложение любого фильтра влияют связки факторов, и неважно приторговывает ли сайт ссылками, если это действительно нормальный сайт и с остальным у него все в порядке.
Кто в зоне риска:
- Если вы видите, что сильно разнится количество проиндексированых страниц в Яндекс и Гугл.
- Если вы видите, что в панели вебмастера большая разбежка между Загружено роботом и Страниц в поиске.
- Если у вас на сайте однотипные страницы с низкой уникальностью
- Если у вас на сайте большинство публикуемых материалов не дотягивает и до 1500 знаков.
- Если у вас на странице дублируется контент.
- Если качество контента, оставляет желать лучшего (переписывания уже имеющееся в сети текстов без добавления дополнительной информации, водянистость текстов(это почти синонимайз), грамматические ошибки, спамные конструкции ).
- Пример текста с информационного туристического сайта присланного на аудит «"Просто поиск в Интернете по самой выгодной цене и предлагает отличное соотношение цены и качества,"» - так быть не должно.
- Дублированные мета теги Title, Description, Keywords
- Мета теги Title, Description млоинформативны и не дают понимание о содержимом страницы.
- Если вы ссылаетесь на плохие сайты или ссылаетесь с коммерческими анкорами вида (купить, заказать, цена, продажа, приобрести и т.д.) для информационных сайтов.
- Если все исходящие ссылки находятся в одном кластере (разделе).

АГС-40
Яндекс сделал заявление http://webmaster.ya.ru/replies.xml?item_no=16272

Алгоритм АГС, направленный на ограничение присутствия в выдаче некачественных сайтов, ориентированных в первую очередь на продажу ссылок, постоянно работает с 2009 года. На наш взгляд, алгоритм оказал положительное влияние на общий уровень создаваемых в рунете сайтов.

Однако за прошедшие годы как интернет в целом, так и «целевая аудитория» АГС в достаточной степени изменились. Мы обновили алгоритм, чтобы он больше соответствовал современному состоянию рунета. Основной принцип при этом остался неизменным: новый классификатор также ориентирован на малополезные сайты, создаваемые, как правило, для продажи ссылок.

Как и раньше, АГС работает в автоматическом режиме, осуществляется периодическая перепроверка всех сайтов. Если качество сайта меняется в лучшую сторону и он становится полезным для пользователей, то ограничения, наложенные на него ранее, снимаются.

По мне они лукавят, ничего нового я не увидел. Это больше похоже на очередную чистку БД, высвобождение ресурсов под новые нужды.

Переходим к аудиту и к конкретным примерам:
buildtoday.ru страниц в Яндекс 19 в Гугл 2380
Сразу бросается в глаза верхние меню, оно просто не влезает. Перед тем как писать письмо в Яндекс я бы поправил верстку.


На сайте robots.txt практически бесполезен, дубли не закрыты, зеркало не прописано.
При сканировании сайта было обнаружено 1610 страниц. Отчет: https://www.dropbox.com/s/qtq8eq1gmba7rlo/2....ru-Report.xlsx

Обратите внимание на отсутствие тегов Description, Keywords (лучше его отсутствие, чем спам и вариант когда он один на весь сайт)
Тег Title дублируется на многих страницах. Он должен быть уникальным в рамках сайта и желательно за его пределами.

Дублей на сайте много. А зачастую при попытки обращения к странице получаем вроде «Извините, но в рубрике Строительство еще нет записей.» хотя код ответа сервера 200OK

Служебных страниц тегов и календарей, пагинации и т.д. не должно быть в индексе. Эти блоки я бы рекомендовал убрать или подгружать JS скриптом, пользователи все равно ими не пользуются.
Задумайтесь о целесообразности категорий, в которой всего одна новость (нечеткий дубль) http://gviragon.ru/category/cherepichnaya-krovlya/

tyrimpex.ru страниц в Яндекс 686 в Гугл 1790 (сайт в зоне риска)
На сайте отсутствует robots.txt со всеми вытекающими из этого.
При сканировании сайта было обнаружено 1471 страница. Отчет: https://www.dropbox.com/s/2aw82i0kyckkbi7/2....ru-Report.xlsx

Теги Description и Keywords отсутствуют, как и у первого сайта.
Тег Title дублируется на многих страницах.

Из дублей опять служебные страницы, которые надо прятать.


Рекомендации:
- Переписать title (“АКВАРИУМ”, “АККЛИМАТИЗАЦИЯ”, “ Сыр”… такого не должно быть)
- Составить robots.txt
- Избавится от дублей
- Уменьшить краткое описание новостей, у вас полная новость нечеткий дубль категорий и других страниц (пример http://www.tyrimpex.ru/?cat=24)
- Уберите пересекающиеся блоки (календарь и т.д.)
- Для профилактики, публикуйте хорошие обзорные статьи большого размера и ставьте на них пару ссылок.

Общие выводы анализа вылетевших сайтов.
- Все сайты были на корявых CMS(плохо настроенных движках) чаще всего WP и Joomla
- На всех сайтах были дубли, как мета тегов, так и сквозных блоков со служебной информацией (календари, теги, куски дублирующего текста на всех страницах).
- Тег title на всех сайтах представлял жалкое зрелище, по нему нельзя было в большинстве случаев определить, о чем страница.
- У большинства сайтов был слабый ссылочный профиль (на него не ссылались крупные сайты, которым Яндекс доверяет), при этом были исходящие ссылки с явно коммерческими анкорами.
- На сайтах низкая посещаемость.
- Большинство публикуемых материалов менее1500 символов


Это лишь несколько сайтов, владельцы которых согласились на публичный аудит.

[lindernig]

Цитата
6) Слишком много дублей (теги, архивы, категории)
А от этого вы как избавляется?

Если сайт на WP, то лучше в robots.txt их закрывать. Но все равно - они будут загружаться роботом, так что это может негативно повлиять на индекс.

Лучше всего выбрать незаезженный движок, который не плодит дублей. Согласен, WP очень понятен и удобен, но Яндекс с ним не дружит. К сожалению.

[Telnor]

Вот robots.txt для Wordpress с сайта, на который яндекс не наложил фильтр.

Код
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

Уважаемые гуру, что скажете, все тут правильно?

[dvir]

lindernig, причём тут плодит не плодит? В роботстхт правильно закрываем и любуемся в яндекс вебмастере как у вас нет ничего лишнего, что может не нравится поисковику.

[lindernig]

Цитата(lindernig @ 8.11.2013, 21:07)
4) Неуникальный шаблон и CMS
Вот это вобще полная бредятина.

Цитата(lindernig @ 8.11.2013, 21:07)
7) Низкая посещаемость.
Да ладно.
А если у меня сайт сделан с описанием малазийского задрапроторыша в период брачной активности.
Такие сайты по вашему мнению тоже пациенты АГС.

Я бы поспорил еще с некачественным контентом.
Так как бредогенерайт сидит иногда лучше в индексе, чем копирайт от самого копирайтного писаки.

Неуникальный шаблон и CMS - бредятина, да, но не для робота яндекса. Сами подумайте, если робот находит слишком много одинаковых по системным параметрам сайтов, что он должен решить? Правильно - что это некачественные сайты.

Насчет бредогенерайта - если в остальном сайт качественный, то он будет сидеть в индексе, такие примеры мне известны.

dvir, вы не внимательно читаете, о чем я пишу. робот все равно загружает дубли, даже если они закрыты, и это все равно влияет на выдачу.

[rjksdfhe]

Уважаемые гуру, что скажете, все тут правильно?

Не очень.

User-agent: *

Открыл раздел. В нём нет никаких `Sitemap:`/

Потом `User-agent` был закрыт открытием нового

User-agent: Yandex

В последнем (и только последнем) есть

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

То есть этот код открыт только для Яндекса, и другим ботам ничего не сообщается.



Резюме: особых проблем нет, надо только строки с sitemap продублировать в секции "User-agent: *".
Иначе, карты никому смотреть не намекаете.

[install]

Насчет бредогенерайта - если в остальном сайт качественный, то он будет сидеть в индексе

да ладно, на шаблонном движке, на паблик шаблоне, с кучей дублей, без трафика, с говнянными бэклинками.
По вашему утверждению, по таким сайтам не то что АГС, а давно уже БАН плачет.
Но нет, они сидят в индексе отлично и барыжат ссылками.

Просто яндекс, сам по себе дебильный поисковик с тупыми, неработающими как надо алгоритмами.
Он сейчас место просто освободил на своих серверах, так что можно дальше клепать и радоваться жизни. Сайты должны нормально индексироваться, а новые быстрее в индекс входить.

ЗЫ: единственное, что у яндекса работает хорошо, это нахождение вирусов на сайте, чтобы побыстрее клеймо влепить, остальное все УГ недоделанное, брошенное на пол пути.

Сообщение отредактировал install - 8.11.2013, 21:19

[lindernig]

Уважаемые гуру, что скажете, все тут правильно?

я бы добавил пару строк:

Disallow: /author/
Disallow: /tag/

Надо закрыть архив автора и тэги, это дубли.

По вашему утверждению, по таким сайтам не то что АГС, а давно уже БАН плачет.
Но нет, они сидят в индексе отлично и барыжат ссылками.

Есть такое дело, но... вы и сами ответили, почему так происходит:

Просто яндекс, сам по себе дебильный поисковик с тупыми, неработающими как надо алгоритмами.

Вот-вот, из-за "ошибок с нашей стороны", как любят говорить в поддержке ЯВМ.

[alexawka]

А если у меня сайт сделан с описанием малазийского задрапроторыша в период брачной активности.

В таком случае поиск поделит вашу посещаемость на количество проиндексированных страниц. Знаете почему редко вылетают посещаемые сайты, активно торгуюие ссылками?

Просто яндекс, сам по себе дебильный поисковик с тупыми, неработающими как надо алгоритмами.

Сделайте лучше. В чем проблема.

Сообщение отредактировал alexawka - 8.11.2013, 21:26

[anchous]

Если сайт на WP, то лучше в robots.txt их закрывать

если сайт на wp то лучше поставить плагин robots meta и не делать то самое с мозгом
тем более что как мы помним, гугля рандомно игнорит роботсовые директивы и настоятельно рекомендует закрывать метатегами

[lindernig]

если сайт на wp то лучше поставить плагин robots meta и не делать то самое с мозгом

Стоял у меня этот плагин около полугода, яндекс настолько неповоротливая система, что в упор не видел запреты, и как проиндексировал теги, так и остались они. Снес плаг - прописал роботс - через 2 недели яндекс их убрал из выдачи.

тем более что как мы помним, гугля рандомно игнорит роботсовые директивы и настоятельно рекомендует закрывать метатегами

так то гугля, с ним вообще просто и приятно работать ))