X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

9 страниц V   1 2 3 4 5 6 7 8 9 >
Открыть тему
Тема закрыта
> Аудит сайтов попавших под фильтр АГС
ManGysITI
ManGysITI
Topic Starter сообщение 6.11.2013, 20:24; Ответить: ManGysITI
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 426
Регистрация: 8.10.2011
Из: Минск
Поблагодарили: 141 раз
Репутация:   19  


Анализ выборки строился на сайтах, попавших под фильтр АГС от 01.11.13. Были подробно проанализированы сайты, попавшие под раздачу из SAPE и Miralinks из БЛ списка (отобранные по хостовым метрикам), а так же сайты присланные мне на аудит. Всего получилось 37 сайтов (примерно 60000 страниц были просканированы и изучены).

Предисловие:
Автоматический фильтр АГС 17 появился в 2009 году, его целью было борьба с ГС и бесполезными для пользователей сайтами. Обусловлено это бурным ростом этих самых сайтов. Для тех, кто не застал этот период времени (не занимался SEO) приведу классификацию таких доноров:
- Генерированные сайты (дорвеи).
- Синонимайз всего и вся.
- Корявые автоматические переводы.
- Спарсеные данные.
- Сканы книг без форматирования.
- Сайты, сделанные путем разбивки фильма на кадры с рандомным куском текста под картинкой (40000-80000 страниц в индексе было).
- Сайты на корявых движках с дублированием контента, WP и Joomla были популярны (владельцы плодили дубли намеренно, для увеличения количества страниц в индексе).
- Сайты, основной контент которых меньше шаблонной составляющей (для нормальной индексации достаточно было поместить одно приложение на странице).
- Сайты с большим количеством стариц (более 500), но точек входа всего несколько.
- Сайты, на которых все внутренние страницы являются вторым уровнем вложенности.
Первой волной после применения фильтра АГС17 унесло в небытие огромное количество сайтов, пошли под откос даже некоторые государственные сайты (выкинуло примерно 40% всех сайтов). После этого появился АГС 30 модификация предыдущего фильтра. Вернулись в поиск крупные порталы и сайты госучреждений. По моим наблюдениям и наблюдениям моих знакомых добавились несколько факторов, которые помогали не попасть под фильтр.
- На вас должны ссылаться сайты, которым яндекс доверяет (в народе их называют трастовыми, заспамленные ресурсы не подходят).
- Сайты рекламирующееся в Директ попадали под фильтр намного реже (необъяснимо, но это так)
- Ссылки должны вести и на внутренние страницы, а не концентрироваться на нескольких.
- Сайты, на которые посетители приходили по прямым заходам, а не только с поиска, практически не попадали под фильтр.

Читая тему обсуждения фильтра, у меня сложилось мнение, что многие просто не понимают проблему или не хотят ее видеть. Некоторые ищут один фактор и винят во всем продажные ссылки. Мое мнение, на наложение любого фильтра влияют связки факторов, и неважно приторговывает ли сайт ссылками, если это действительно нормальный сайт и с остальным у него все в порядке.
Кто в зоне риска:
- Если вы видите, что сильно разнится количество проиндексированых страниц в Яндекс и Гугл.
- Если вы видите, что в панели вебмастера большая разбежка между Загружено роботом и Страниц в поиске.
- Если у вас на сайте однотипные страницы с низкой уникальностью
- Если у вас на сайте большинство публикуемых материалов не дотягивает и до 1500 знаков.
- Если у вас на странице дублируется контент.
- Если качество контента, оставляет желать лучшего (переписывания уже имеющееся в сети текстов без добавления дополнительной информации, водянистость текстов(это почти синонимайз), грамматические ошибки, спамные конструкции ).
- Пример текста с информационного туристического сайта присланного на аудит «"Просто поиск в Интернете по самой выгодной цене и предлагает отличное соотношение цены и качества,"» - так быть не должно.
- Дублированные мета теги Title, Description, Keywords
- Мета теги Title, Description млоинформативны и не дают понимание о содержимом страницы.
- Если вы ссылаетесь на плохие сайты или ссылаетесь с коммерческими анкорами вида (купить, заказать, цена, продажа, приобрести и т.д.) для информационных сайтов.
- Если все исходящие ссылки находятся в одном кластере (разделе).

АГС-40
Яндекс сделал заявление http://webmaster.ya.ru/replies.xml?item_no=16272
Алгоритм АГС, направленный на ограничение присутствия в выдаче некачественных сайтов, ориентированных в первую очередь на продажу ссылок, постоянно работает с 2009 года. На наш взгляд, алгоритм оказал положительное влияние на общий уровень создаваемых в рунете сайтов.

Однако за прошедшие годы как интернет в целом, так и «целевая аудитория» АГС в достаточной степени изменились. Мы обновили алгоритм, чтобы он больше соответствовал современному состоянию рунета. Основной принцип при этом остался неизменным: новый классификатор также ориентирован на малополезные сайты, создаваемые, как правило, для продажи ссылок.

Как и раньше, АГС работает в автоматическом режиме, осуществляется периодическая перепроверка всех сайтов. Если качество сайта меняется в лучшую сторону и он становится полезным для пользователей, то ограничения, наложенные на него ранее, снимаются.


По мне они лукавят, ничего нового я не увидел. Это больше похоже на очередную чистку БД, высвобождение ресурсов под новые нужды.

Переходим к аудиту и к конкретным примерам:
buildtoday.ru страниц в Яндекс 19 в Гугл 2380
Сразу бросается в глаза верхние меню, оно просто не влезает. Перед тем как писать письмо в Яндекс я бы поправил верстку.


На сайте robots.txt практически бесполезен, дубли не закрыты, зеркало не прописано.
При сканировании сайта было обнаружено 1610 страниц. Отчет: https://www.dropbox.com/s/qtq8eq1gmba7rlo/2....ru-Report.xlsx

Обратите внимание на отсутствие тегов Description, Keywords (лучше его отсутствие, чем спам и вариант когда он один на весь сайт)
Тег Title дублируется на многих страницах. Он должен быть уникальным в рамках сайта и желательно за его пределами.

Дублей на сайте много. А зачастую при попытки обращения к странице получаем вроде «Извините, но в рубрике Строительство еще нет записей.» хотя код ответа сервера 200OK

Служебных страниц тегов и календарей, пагинации и т.д. не должно быть в индексе. Эти блоки я бы рекомендовал убрать или подгружать JS скриптом, пользователи все равно ими не пользуются.
Задумайтесь о целесообразности категорий, в которой всего одна новость (нечеткий дубль) http://gviragon.ru/category/cherepichnaya-krovlya/

tyrimpex.ru страниц в Яндекс 686 в Гугл 1790 (сайт в зоне риска)
На сайте отсутствует robots.txt со всеми вытекающими из этого.
При сканировании сайта было обнаружено 1471 страница. Отчет: https://www.dropbox.com/s/2aw82i0kyckkbi7/2....ru-Report.xlsx

Теги Description и Keywords отсутствуют, как и у первого сайта.
Тег Title дублируется на многих страницах.

Из дублей опять служебные страницы, которые надо прятать.


Рекомендации:
- Переписать title (“АКВАРИУМ”, “АККЛИМАТИЗАЦИЯ”, “ Сыр”… такого не должно быть)
- Составить robots.txt
- Избавится от дублей
- Уменьшить краткое описание новостей, у вас полная новость нечеткий дубль категорий и других страниц (пример http://www.tyrimpex.ru/?cat=24)
- Уберите пересекающиеся блоки (календарь и т.д.)
- Для профилактики, публикуйте хорошие обзорные статьи большого размера и ставьте на них пару ссылок.

Общие выводы анализа вылетевших сайтов.
- Все сайты были на корявых CMS(плохо настроенных движках) чаще всего WP и Joomla
- На всех сайтах были дубли, как мета тегов, так и сквозных блоков со служебной информацией (календари, теги, куски дублирующего текста на всех страницах).
- Тег title на всех сайтах представлял жалкое зрелище, по нему нельзя было в большинстве случаев определить, о чем страница.
- У большинства сайтов был слабый ссылочный профиль (на него не ссылались крупные сайты, которым Яндекс доверяет), при этом были исходящие ссылки с явно коммерческими анкорами.
- На сайтах низкая посещаемость.
- Большинство публикуемых материалов менее1500 символов


Это лишь несколько сайтов, владельцы которых согласились на публичный аудит.


--------------------
Оптимизация и продвижение сайтов - консультации от 30$ Связь через личку
Качественный копирайт заказываю здесь.
13
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ortero
Ortero
сообщение 6.11.2013, 20:34; Ответить: Ortero
Сообщение #2


\m/_ _\m/
******

Группа: Active User
Сообщений: 1890
Регистрация: 23.2.2012
Поблагодарили: 837 раз
Репутация:   99  


ManGysITI, ну может теперь начнут хотя бы robots.txt настраивать.


--------------------
Бегет - просто хороший хостинг, который еще и ssl-сертификат бесплатно дает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
anchous
anchous
сообщение 6.11.2013, 20:42; Ответить: anchous
Сообщение #3


Йеребатан Абырвалг
*******

Группа: Super Moderator
Сообщений: 7996
Регистрация: 12.4.2011
Из: СССР
Поблагодарили: 4515 раз
Репутация:   418  


(ManGysITI @ 6.11.2013, 20:24) *
Это больше похоже на очередную чистку БД, высвобождение ресурсов под новые нужды

вот именно, периодически повторяется одна и та же схема- волны агсов, непонятные вылеты из индексов, потом яндексоиды объявляют о новых мощностях и в индекс снова входит все что выкидывалось на протяжении последних месяцев

Сообщение отредактировал anchous - 6.11.2013, 20:42


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ortero
Ortero
сообщение 6.11.2013, 22:21; Ответить: Ortero
Сообщение #4


\m/_ _\m/
******

Группа: Active User
Сообщений: 1890
Регистрация: 23.2.2012
Поблагодарили: 837 раз
Репутация:   99  


ManGysITI, а много ли из этих сайтов в ЯКе и DMOZе было?

Сообщение отредактировал Ortero - 6.11.2013, 22:21


--------------------
Бегет - просто хороший хостинг, который еще и ssl-сертификат бесплатно дает.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ManGysITI
ManGysITI
Topic Starter сообщение 7.11.2013, 0:31; Ответить: ManGysITI
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 426
Регистрация: 8.10.2011
Из: Минск
Поблагодарили: 141 раз
Репутация:   19  


(Ortero @ 6.11.2013, 20:21) *
а много ли из этих сайтов в ЯКе и DMOZе было?

Для анализа из миры были выбраны, как раз площадки находящиеся в ЯКе и DMOZе. Как ни странно 2 работали на JOOMLA 1 на WP еще 2 на непаблик движке. На джумле явно корявые плагины вывода новостей с миниатюрами, или на сайте вели ЧПУ а модули забыли настроить (сами создали полную копию). WP любимый всеми календарь и страницы пагинации ото всюду (раздел, главная, теги, пойск по автору и т.д.). На самописном движке явно переусердствовали с продажей, размещали все статьи в разделе "reklama" подраздел 1,2,3 явно получился кластер продажных ссылок.


Еще за 4 часа, почти удалось досканировать авто сайт WP (владелец не захотел его палить). В индексе гугл 1600 страниц, в яндексе осталось 25 хотя при сканировании нашлось 12000 и то не до конца проверилось из-за вирусов в исходящих ссылках. Там помимо дублей, размер новостей в среднем 1300символов, правая сквозная часть очищенная от разметки 1700 символов (23600 с разметкой HTML),

Все предсказуемо, сайтов случайно залетевших не отыскал.


--------------------
Оптимизация и продвижение сайтов - консультации от 30$ Связь через личку
Качественный копирайт заказываю здесь.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Lavr
Lavr
сообщение 7.11.2013, 1:30; Ответить: Lavr
Сообщение #6


Частый гость
**

Группа: User
Сообщений: 82
Регистрация: 30.6.2010
Из: Украина
Поблагодарили: 11 раз
Репутация:   7  


Так если подвести итог по поводу дублей и мусорных страниц, то какой правильный robots для популярной CMS WP нужно делать?
Тот стандартный, который я видел во многих рекомендациях я так понимаю не подходит?

User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: */page/
Disallow: /tag/
Disallow: /?s=

Sitemap: http://site.ru/sitemap.xml

Host: site.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ManGysITI
ManGysITI
Topic Starter сообщение 7.11.2013, 2:10; Ответить: ManGysITI
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 426
Регистрация: 8.10.2011
Из: Минск
Поблагодарили: 141 раз
Репутация:   19  


Я практикую не закрывание в роботс не нужного, а просто не показываю это поисковикам (подгружать содержимое JS).
Про скрытие, можете прочитать
http://dimox.name/downloading-of-the-conte...ress-with-ajax/
таким образом сделано на _http://sosnovskij.ru/category/wordpress/
(отключите JS в браузере и посмотрите на правую колонку, ее нет)

Ветеран это действия БУРУНДУК _http://www.unmedia.ru/
(отключите JS в браузере, кроме статьи ничего нет)


--------------------
Оптимизация и продвижение сайтов - консультации от 30$ Связь через личку
Качественный копирайт заказываю здесь.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
imhoSem
imhoSem
сообщение 7.11.2013, 2:35; Ответить: imhoSem
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 84
Регистрация: 26.3.2013
Поблагодарили: 4 раза
Репутация:   0  


(ManGysITI @ 7.11.2013, 0:10) *
Про скрытие, можете прочитать
http://dimox.name/downloading-of-the-conte...ress-with-ajax/

Ответ от страницы с 404 ошибкой "Нет такой страницы, Барин, 404!".

Сообщение отредактировал imhoSem - 7.11.2013, 2:35
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Lavr
Lavr
сообщение 7.11.2013, 3:16; Ответить: Lavr
Сообщение #9


Частый гость
**

Группа: User
Сообщений: 82
Регистрация: 30.6.2010
Из: Украина
Поблагодарили: 11 раз
Репутация:   7  


imhoSem, http://dimox.name/downloading-of-the-conte...ress-with-ajax/
Вот правильная ссылка.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
maxims2000
maxims2000
сообщение 7.11.2013, 3:22; Ответить: maxims2000
Сообщение #10


Новичок
*

Группа: User
Сообщений: 33
Регистрация: 4.12.2011
Из: Беларусь
Поблагодарили: 13 раз
Репутация:   -4  


http://dimox.name/downloading-of-the-conte...ress-with-ajax/ сложновато для новичка

Сообщение отредактировал maxims2000 - 7.11.2013, 3:23


--------------------
Всего наилучшего ))))
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
9 страниц V   1 2 3 4 5 6 7 8 9 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как установить источник заражения сайтов?
7 kelevra 550 Сегодня, 16:40
автор: phoenix_kys
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКачественный прогон сайтов, по профилям и статьям. Множество cms. Цены от 250 рублей.!
Комплексная услуга! Прогон по базе более 600 сайтов
325 Nonsys 300708 Сегодня, 13:58
автор: Porsche
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКомплексный прогон сайтов, нет каталогов №3 от shtaketo, хороший рост НЧ,СЧ,ВЧ Тиц 10-30 пр 1-3
262 shtaketo 217556 Сегодня, 11:55
автор: shtaketo
Открытая тема (нет новых ответов) Продам пачку сайтов
Полный пассивный доход
18 brucekiev 3351 Сегодня, 2:35
автор: brucekiev
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыДизайн сайтов
Дизайн сайтов
11 Favna 3726 Вчера, 23:57
автор: Favna


 



RSS Текстовая версия Сейчас: 13.12.2017, 17:18
Дизайн