Вы хотите, чтобы ваш сайт выглядел так в результатах поиска?



Вместо этого?



В этом руководстве вы узнаете:
• Что такое расширенные сниппеты.
• Когда расширенный сниппет отображается в выдаче.
• Разница между расширенным сниппетом и расширенными результатами.
• Как расширенные сниппеты улучшают показатели SEO.
• Как получить расширенные сниппеты.

Что такое расширенные сниппеты

Расширенные сниппеты – это визуально более привлекательные результаты поиска с дополнительной ценной информацией, отображаемой наряду с заголовком, описанием и URL. Дополнительная информация поступает из структурированных данных на странице сайта.



Когда расширенный сниппет отображается в выдаче

Такие фрагменты отображаются только для страниц с определенным видом информации, и могут быть ограничены типом устройства. Например, фрагменты «как сделать» могут отображаться только на мобильных устройствах:



Разница между расширенным сниппетом и расширенными результатами

Возможно, вы уже сталкивались с термином «расширенные результаты», который часто используется как «расширенные сниппеты».
Просто посмотрите на результаты опроса, где я спросил у пользователей, как это называется:





Как вы можете видеть, определенного ответа нет. То, что на картинке выше, официально называется «интерактивным расширенным результатом поиска»…



…или просто расширенным результатом.



В данном случае, Google не имеет четкой терминологии. Вот какие определения предоставляет Аhrefs:

• Расширенные сниппеты: обычные результаты поиска с дополнительной информацией, которая отображается рядом с заголовком, описанием и URL.
• Расширенные результаты: любой, визуально улучшенный результат поиска с информацией, полученной из данных микроразметки. Расширенные сниппеты - это вид расширенного результата поиска.
• SERP-функции: все, что не является традиционным результатом поиска. Блоки с ответами, рекламные объявления, твиты и панели знаний – это все типы функций SERP.

Как расширенные сниппеты улучшают показатели SEO

Когда сайт находится на первых позициях в выдаче – это здорово, но именно описание в сниппете заставляет людей кликать и переходить на сайт. Расширенные сниппеты помогают сделать ваши страницы более привлекательными в результатах поиска.



Вы также можете использовать дополнительные атрибуты, такие как цены, количество отзывов, рейтинги или время приготовления (для рецептов). Это привлекает внимание пользователей.
Наличие визуально привлекательных сниппетов может увеличить количество кликов, но такие сниппеты не являются фактором ранжирования .

Как получить расширенные сниппеты

Расширенные сниппеты создаются на основе микроразметки, доступной для некоторых частей контента. Эти данные должны иметь определенный формат, чтобы Google легко смог понять и использовать их в результатах выдачи, а также для других целей.
Поисковику Google сложно извлекать ключевую информацию из чего-то, вроде этого:

Приготовление блинов займет 20 минут. А еще это низкокалорийные блины – около 80 кал на порцию.

Намного проще, когда главная информация подана в структурированном формате:

Время приготовления: 20 минут
Калорийность: 80

Google быстрее распознает информацию именно на втором примере.
Для микроразметки контента мы используем сервис schema.org.
Чтобы получить привлекательные расширенные сниппеты, придерживайтесь пошаговой инструкции.

1. Определите, какие сниппеты подходят именно вам

Стандартные сниппеты уже могут предложить довольно хороший обзор контента. Например, для большинства наших статей нет ничего, что может предоставить дополнительную ценность для пользователя.
Например, что еще нужно, кроме заголовка, описания и URL-адреса, для того, чтобы открыть эту статью?



Вот список наиболее распространенных вариантов использования разметки для расширенных сниппетов:

• разметка карточки товара;
• разметка страницы отзывов;
• разметка приложений;
• разметка FAQ.

Существует гораздо больше вариантов, чем указано выше, но они применяются к конкретным категориям сайта, таким как рецепты, о которых говорилось в начале статьи. Остальные – это:

• СМИ и развлечения;
• книги;
• образование;
• мероприятия;
• набор данных;
• контент, связанный с поиском работы.

В качестве примера возьмем разметку FAQ и реализуем ее самостоятельно. В итоге у нас получится что-то вроде этого:



Реализация микроразметки для FAQ – это популярная SEO-тактика, помогающая увеличить видимость сайта в SERP. Такой тип данных можно использовать на любой странице, которая имеет раздел FAQ.

2. Реализация структурированных данных

Реализовать микроразметку легко, независимо от размеров сайта.
Начнем с представления типа контента в разделе <head>.
Для этого используйте один из генераторов разметки схемы. Вот что получилось у меня:



Вы также можете использовать Google Tag Manager для развертывания кода.
Придерживайтесь рекомендаций Google и добавляйте код только для того контента, который видят пользователи. Например, не стоит использовать разметку FAQ для рекламных целей.
В некоторых CMS редактировать код не так уж и просто.
Если вы используете WordPress, то для него есть специальные плагины, такие как Yoast или Rank Math. Yoast отлично подходит для простых типов данных, но для объемной работы понадобится более специализированный плагин для микроразметки - Rank Math.
При создании страницы на WordPress необходимо выбрать блок FAQ



и заполнить вопросы и ответы:



Универсального руководства не существует. Все зависит от плагина. Просто просмотрите документацию выбранного плагина, чтобы понять, как он работает с выбранным вами типом разметки страницы.

3. Проверьте микроразметку

Использование генераторов разметки ускоряет процесс и делает его более надежным. Но результат работы все равно нужно проверять и тестировать. Для этого используйте инструмент Google – Rich Results Testing Tool. Он покажет, как будет отображаться сниппет в поисковой выдаче и какая информация с сайта будет показана.



Но даже, если инструмент покажет, что со сниппетом все хорошо, то это не дает гаранитии, что он будет показан в результатах выдачи. Иногда там может оказаться обычный результат с синей ссылкой.

4. Проверяйте размеченные страницы на наличие производительности и ошибок

Все, что вам нужно, находится в Google Search Console.
Можно отфильтровать отчеты о производительности по типу результатов:



Посмотрите на все типы микроразметки, которые Google обнаружил на вашем сайте:



При нажатии на один из типов контента, указанного на картинке выше, вы попадете в отчет, который показывает URL-адреса страниц с ошибками, без ошибок и с предупреждениями.



Если раньше вы уже проверяли микроразметку, то на данном этапе у вас не должно возникнуть никаких сложностей. Самое замечательное в том, что не придется ничего настраивать. Все автоматически появится в GSC после развертывания микроразметки на сайте, когда Google очередной раз выполнит обход этих страниц.

Послесловие

Увеличение кликов в органической выдаче при помощи расширенных сниппетов – это здорово. Но нужно понимать, что структурированные данные являются частью чего-то большего.
Именно это помогает Google предоставлять более релевантные результаты поиска, а также поддерживать другие типы функций SERP, такие как панели знаний.

maxamuz, у нас есть специальный топик для публикации багов. Пишите туда в следующий раз.

1. Ставим цель

В первую очередь нужно определить цель, она же — KPI, обязательно с цифрой. Это мы и сделали. Без измерения результата и результата не будет.

Тут важно изучить нишу и регион, на который планируете продвигаться. Например, вы производите сумки для байкеров:

• Определитесь с регионом (вы будете продавать на рынок только своей страны или все-таки еще куда-то).
• Прикиньте, сколько может быть байкеров в этом регионе (поищите сообщества, истории продаж байков и т.д.).
• Присмотритесь к конкурентам: а сколько к ним ходит пользователей?
• Поставьте цель.

2. Пишем план

Когда есть цель, встает вопрос контроля множества вопросов: расхода времени, денег и прочих ресурсов. Тут на помощь приходит планирование.

• Конкретные задачи — что надо сделать;
• Сроки — когда надо сделать;
• Бюджеты — сколько на это нужно денег;
• Дополнительные ресурсы — понадобится ли чья-то помощь;
• Предварительные цели — сколько ссылок нужно получить на конкретном этапе.

3. Ищем конкурентов

Как только вы найдете конкурентов, точно станете больше понимать рынок.
Как ищем?

Вбиваем в Google слова, которые относятся к вашему продукту, смотрим, кто в результатах поиска. Но это прием в лоб. Можно воспользоваться автоматизированными инструментами. Например, Similarweb или Serpstat.

• Serpstat выдаст вам облако ваших конкурентов. Причем даже в бесплатной версии.
• В Similarweb вы сможете оценить, конкуренты ли они вам. Увидите посещаемость, распределение трафика и географии.

Дальше загоняете их в таблицу с нужными параметрами.



4. Анализируем конкурентов

Берем каждого конкурента и смотрим его в Ahrefs (для анализа хватит пробной версии на 1 неделю) или Serpstat.

• На что смотреть? — На новые бэклинки (это страницы, которые ссылаются на конкурента).
• Как смотреть? — Пытаться понять стратегию. Например, видим, что есть много ссылок с форумов, — значит они подключили крауд-маркетинг (о нем чуть позже). Или что много ссылок идет с blogpost или подобного рода сайтов (site.google) — значит активно используют web 2.0 или вовсе строят сетку PBN (Private Blog Network — частная сеть веб-сайтов/блогов). Или что много ссылок идет с анализаторов сайтов и директорий — скорее всего, они пытаются использовать самый легкий и бесплатный способ продвижения).

• Что вам это даст? — Вы поймете, какой метод ваши конкуренты используют для продвижения. И важно поднажать на то, что они не используют.
• Что еще? — Вы можете найти здесь сайты, которые дают трафик конкурентам, и попытаться использовать их для вашего ресурса.

5. Настраиваем сайт изнутри

В основном здесь речь идет о ключевых словах, то есть о словах, по которым вы хотите, чтобы ваш сайт находили пользователи.

• Обращаемся к списку конкурентов.
• Анализируем самые топовые и частотные запросы.
• Составляем список и сравниваем со своими ключевыми словами.
• Добавляем недостающие ключевые слова в тексты вашего сайта.

Готово, теперь тексты стали больше соответствовать поисковым интересам пользователей.

Настройка мультиязычности

Если у вас сайт с разными языковыми версиями, а может, даже еще и с несколькими доменами (как у нас), то обязательно надо настроить вот это вот слово из заголовка. Если сделать все так, как велит Google, то можно уже только на этом заработать себе пользователей и немного доверия от Google.

6. Ищем людей из вашей или смежной отрасли

Для нас такими людьми являются учителя. Очень многие из них есть на Linkedin. Это хороший канал, где можно найти потенциальных пользователей вашего продукта или тех, кто будет его продвигать. Тут я вам подкину инструмент, который нам очень помог — recruitin.net. Там можно указать:

• должность,
• регион,
• ключевые слова, которые нужно исключить или, наоборот, включить в поиск,
• текущее место работы.

Никаких платных пакетов в Linkedin. Вводите данные и получаете ссылку на выдачу Google. И это фантастика! Кликаешь по ссылке в Google, и все — ты на странице нужного человека. Далее нажимаете “Установить контакт” и “Персонализировать”. Это дает возможность написать короткое сообщение, почему вы проситесь дружить. Опытным путем мы убедились, что таким образом можно получить больший отклик.

7. Ставим легкие ссылки

Они же сабмиты. Это то, что не требует от вас денег, только время. Для начинающих сайтов это работает! Поехали.

1. Директории — это сайты со списком сайтов, если коротко. Бывают тематические.

• Ищите в Google директории по запросам: directory submission, directory, directory List. (Мы нашли более 100).
• Убираете директории с низким рейтингом (порог можете себе придумывать сами, для нас это было не меньше 10 по checktrust). Ремарка: если ссылка на сайт будет стоять на ресурсе с плохой репутацией, она может сработать в минус.
• Прошлись по списку и отказались от платного размещения.

2. Джоб сайты — такие, как Work.ua. Можно создать профиль и указать там ссылку на свой проект.

• Гуглите сайты по запросам: List of job site, job site, work site. (У нас получилось около 50).

3. Анализаторы сайтов — это сайты, на которых в поисковую строку вводишь адрес любого сайта, и они тебе выдают разную информацию, например, посещаемость, какие-то ошибки на сайте и т. д. Добыть ссылки таким способом очень просто, и на первых порах они работают.

• Находите анализаторы по запросу analyze site. (Отыскалось более 60).
• Убираете площадки с низким рейтингом.

4. Сервисы по шарингу презентаций — загружаете презентацию на сайт и делаете ее публичной, а в презентации или описании к ней указываете ссылки на ваш ресурс.

• Находите сайты по запросам: slideshare, pdf share. (Накопали чуть больше 10).
• Делаете презентации по тематике, подходящие вашему сайту.
• Размещаете презентации.

5.Социальные сети — думаю, не стоит объяснять детально. Это все, что похоже на Facebook или Linkedin

• Ищите соцсети по запросу social network. (Удалось отыскать порядка 30).
• Смотрите каждую социальную сеть на предмет адекватности (например, можно исключить сайты знакомств).
• Регистрируете свой профиль и делаете какой-то пост.
  Важно: профиль надо заполнять хотя бы минимально, добавлять фото, чтобы он выглядел максимально естественно. Можно выбрать для себя топ соцсетей, в которых будете периодически что-то постить. У меня получились 3 испаноязычные соцсети, 2 профессиональные (например, producthunt) и несколько англоязычных. Каждую неделю я делаю пост в 3-4 из них.

6. Видеохостинги — сайты, позволяющие загружать и просматривать видео в браузере.

• Включаете поиск по запросу: video hosting, video sharing. (Мы нашли 20+).
• Добавляете свои видео или делаете их из ваших презентаций.

8. Подключаем крауд-маркетинг

• Так мы формируем общественное мнение о продукте и массово его популяризируем. А также разбавляем ссылочный профиль сайта. Курочка по зернышку, и в сознание людей вкладывается ваш бренд. Делаем мы это не сами, а с помощью специалистов.
• Можно и самим, но мы эту часть работы решили делегировать.

9. Аутрич

Все просто: если вы хотите, чтобы интернет о вас узнавал, значит вам надо быть везде. Нужно, чтобы ваш бренд и ссылки появились на других сайтах. Поэтому сайты надо об этом попросить.

• Отбираете разные интересные вам запросы, примерно по 10 штук на каждый язык.
• Собираете топ-100 из Google по каждому из них и загружаете эти сайты в Checktrust.
• Удаляете дубликаты и площадки с низким рейтингом.
• Сортируйте все сайты по посещаемости и начинаете связываться сначала с самыми посещаемыми.
• Чуть не забыла! Пишите статьи или предлагаете уже существующие.

10. Пишем шаблоны писем

Выделяете, какие типы просьб к сайтам у вас могут быть, и пишете шаблоны писем под эти просьбы. Например, просьба добавить ссылку на вас в уже существующую статью, просьба написать о вас на ресурсе, просьба разместить какой-то ваш материал (статья, картинка, инфографика).

Переводите все это на нужный язык. Тут важно! Пишите на родном языке сайта (не совершайте наших ошибок, когда испанцам мы писали на английском), тогда отклик будет выше.

Каким должно быть письмо.

1. Цепляющая понятная тема.
2. Небольшой объем.
3. Состоит из пунктов:

• приветствие;
• похвала ресурса, статьи, продукта;
• главная просьба — объясните, чего хотите;
• вопрос, который будет побуждать ответить.

11. Бонус

• Пишем технические статьи или статьи о вашей работе над проектом. Создаем свою рубрику в ФБ, блоггере, медиуме или везде. Пишем на родном языке и переводим на английский, а лучше на язык страны, в которой ведете продвижение.
• Всплески от аутрича. Важно понимать, что аутрич работает не только как возможность получить ссылку. Вы можете разместить ссылку на ресурсе, который привлечет трафик на ваш сайт, причем хороший трафик. Пользователи будут заинтересованы в вашем ресурсе, проведут там достаточное время и сделают какие-то целевые действия.

Во Франции и Испании о нас написали статью 2 ресурса с посещаемостью около 1 млн/месяц на каждом. После этого произошел взрыв на сайтах, который повлек за собой много хорошего.

1. Мы получили дополнительный бесплатный трафик на сайт (да, кэп).
2. Прокачали брендовый запрос.
3. И самое главное — мы вышли на новый уровень посещаемости. Очень хорошо это видно на первом графике для нашего французского домена.

• Случайность Это суперсвежий кейс. В середине февраля внезапно на нашем испанском сайте поперло! Первая мысль: кто-то о нас написал. Проверили и поняли, что трафик вырос органически. Оказалось, вырос интерес к одному из наших главных запросов (test de mecanografía). Интерес был 3-х дневный, наши позиции выросли почти в 2 раза и, как видно из графика, после этого наши позиции очень изменились.

Ошибки, или Что не получилось

1. Неправильные цели. Мы их завысили и при постановке опирались не на те данные. Стоит изучить рынок, нишу и поставить амбициозную, но реальную цель. Иначе в какой-то момент будут опускаться руки, а это точно не в плюс бизнесу. Наша цель была 10 000 пользователей в неделю на двух сайтах к концу года. Мы смотрели на опыт продвижения Ratatype на англоязычный рынок 6 лет назад. Не посмотрели на частоту запросов нашей тематики и банально не сравнили количество жителей страны. Например, Америка оказалась в 4 раза больше Франции+Испании.

2. Биржи. Тут у нас не срослось. Сначала мы не нашли подходящие площадки. Их было мало, дорого и мы были не готовы. Месяца через 4 все-таки решили попробовать. Главное, что хотели получить от площадки, — это трафик. Поэтому при выборе руководствовались критериями:

• Посещаемость.
• Анонс на главной.
• Цена.

Выбрали 2 площадки с трафиком 9 млн и 400 тыс. пользователей в месяц. С ценой $100 и $30 соответственно. В итоге — ничего. Почему так вышло:

• Не обратили внимание на распределение трафика десктоп и мобайл (а для нас это важно, поскольку основной наш трафик — это десктоп).
• Не посмотрели, откуда идут пользователи. Например, на тот, что 9 млн, они приходят из Google по каким-то специфическим запросам и не на главную.

Поэтому мой совет таков: пользоваться биржами можно, но к выбору площадок подходить нужно очень тщательно. Ну и не стоит пользоваться ими на старте. Тем более, если финансов на это нет.

Вместо выводов

Когда приступали к продвижению, мы не верили в успех, так как не было знаний и ресурсов. Но мы не боялись пробовать, много читали, учились. Результат нам понравился:

• Ratatype.fr — средняя позиция 7,4.
• Ratatype.es — 10,2 (уже почти топ-10).

Мы активно продолжаем. И решили поделиться нашим опытом, чтобы все, у кого есть сайт, воспользовались этой инструкцией и прорвались в топ-10.

По данным TelecomDaily, почти 30% пользователей мобильного интернета в России ежедневно сталкиваются с проблемами при загрузке сайтов. Однако причина может быть не только в неравномерном покрытии, но и в слишком большом «весе» страницы.

Повлиять на качество соединения мы не можем, а вот помочь вебмастерам упростить наполнение сайта, сделать его легче — почему бы и нет? Так в Яндексе появилась технология Турбо-страниц: нашей контент-системе передают всё необходимое к размещению, а она преобразует эти данные в лёгкие и быстрые материалы.

Как работает эта магия? Какой путь проходят данные, прежде чем стать полноценной Турбо-страницей? Меня зовут Стас Макеев, я руковожу разработкой технологии Турбо-страниц. Сейчас попробую всё объяснить.

Но сначала — что-то вроде краткого содержания, чтобы вы не потерялись, когда начну углубляться в детали.

Ключевое преимущество системы Турбо-страниц — быстрое преобразование данных из исходной формы в окончательную: материалы новостных сайтов наиболее востребованы в первые минуты после публикации, а карточки товаров интернет-магазинов должны оперативно обновляться и всегда соответствовать актуальному статусу наличия. Второй важный параметр — надёжность: контент-система должна быть максимально стабильна, уметь переживать поломку отдельных серверов или даже целых дата-центров. И, конечно же, было важно не допустить чрезмерной нагрузки на хосты наших партнёров, подключившихся к Турбо-страницам. То есть при проектировании сервиса нужно было каким-то образом нащупать баланс между скоростью обработки данных и увеличением количества запросов.

У владельцев сайтов есть несколько способов подключиться к системе:

• зарегистрировать в Яндекс.Вебмастере фиды: YML — для интернет-магазинов, RSS – для контентных сайтов;
• передавать материалы через API: хозяин ресурса сам загружает на сервера Яндекса необходимые данные (пока только для контентных сайтов);
• включить автопарсер: Турбо-страницы строятся на основании исходных материалов контентного сайта.

Контент-система складывает результаты своей работы в специальное хранилище типа «ключ-значение» (key-value-хранилище или KV-хранилище), где ключом является URL оригинального сайта, а в значении хранится контент Турбо-страницы. Как только данные попадают в это KV-хранилище, очередная Турбо-страница сразу же становится доступна пользователям поиска, а в сервисах Яндекса у соответствующего документа появляется специальный значок с ракетой. Также для ускорения работы мы кешируем картинки и видео в наших CDN.

Очень упрощенно общая схема работы выглядит так:


С чего все начиналось
Самая первая версия контент-системы была устроена совсем просто: каждые несколько минут, по расписанию, на сервере внутреннего облака Яндекса запускалась одна и та же программа. Она состояла из нескольких шагов, каждый следующий запускался после того, как были готовы данные предыдущего для всех известных нам фидов:

• скачивался список RSS-фидов, запускался парсер документов;
• из результатов парсера извлекался список изображений;
• в CDN загружались ещё не закешированные картинки;
• обработанные документы заливались в KV-хранилище.

Такая схема отлично работала, когда система имело дело с несколькими тысячами довольно лёгких RSS-фидов новостных агентств (суммарно — информация о чуть менее 100 000 документов). Но с увеличением количества фидов быстро обнаружилась проблема: каждый шаг занимал всё больше времени, росла задержка между появлением нового документа в исходном источнике и его отображением в Турбо-режиме.

Ситуацию удавалось держать под контролем с помощью различных ухищрений: первым делом мы выделили первый шаг (скачивание RSS-фидов + парсер документов) в отдельный процесс. То есть, пока один обрабатывал картинки для предыдущей итерации, другой процесс уже скачивал фиды для следующей. Через некоторое время стало понятно: в таком виде систему очень сложно масштабировать. Нам нужно что-то принципиально новое.

Обработка RSS, API и YML в новой контент-системе

Главная проблема старой контент-системы — все данные обрабатывались одним куском: перехода к следующему шагу не происходило, пока каждый документ не прошёл предыдущий. Чтобы избавиться от этого, было решено построить некий конвейер: пусть фиды и отдельные документы обрабатываются максимально независимо друг от друга. Все шаги выделили в отдельные кубики-сервисы — на верхнем уровне схема получилась такая:

• первый кубик качает RSS-фиды и передает дальше;
• второй — забирает фиды по одному, парсит содержимое. На выходе — отдельные документы;
• третий — забирает документы по одному, обрабатывает картинки и видео, записывает всё в KV-хранилище.

Одни и те же фиды могут быть зарегистрированы не только в Турбо, но и на других наших сервисах — в Новостях или в Маркете, например. Если каждый из них будет скачивать данные самостоятельно, нагрузка на сервера вебмастеров в несколько раз превысит допустимую. Как правильно? Скачать фид один раз, а затем содержимое раздать всем сервисам-потребителям — этим занимается Яндекс.Робот. Его же услугами мы пользуемся для выгрузки контента: забираем из Яндекс.Вебмастера список зарегистрированных в Турбо RSS- и YML-фидов, передаем его в Робота и подписываемся на результаты скачивания.

На полученных данных запускаем парсер. На всякий случай напомню: RSS-фид — просто файл в формате «.XML», доступный по статическому URL на хосте партнера. В этом файле расположена информация обо всех обновлениях на сайте — какие документы новые, какие измененные. В идеальных фидах находилась бы только самая актуальная информация за последние несколько часов: не более 100 документов на несколько сотен килобайт.

Реальность кусается: иногда файлы находятся внутри фида очень долго и никогда не меняются. Как избежать повторной обработки в таких случаях? Вычисляем хеш каждого документа, запоминаем его в базу данных, и ничего не предпринимаем, пока хеш не изменится.

Обработка YML-фидов и API с точки зрения контент-системы практически ничем не отличается от взаимодействия с RSS: для YML запускаем другой парсер, а данные, переданные через API, получаем напрямую из Яндекс.Вебмастера.



Обработка изображений и видео

Документ, который получается на выходе из парсера, практически готов для записи в KV-хранилище. Единственное, что осталось сделать перед отправкой — обработать изображения и видео: закешировать в CDN и заменить ссылки в документе. Тут снова обращаемся за помощью к Роботу.

Первым делом проверяем каждую картинку и видео: есть ли они в CDN? Если все уже закешировано, заменяем ссылки и обновленный документ отправляем в KV-хранилище. В противном случае:

• список недостающих URL отправляем в Робот, для планирования и скачивания;
• сам документ — во временное хранилище, чтобы через некоторое время попробовать проверить его ещё раз.

Другой кубик в это время получает результаты скачивания, заливает данные в CDN и обновляет базу данных.

В такой схеме удается решить ещё одну важную проблему, связанную с планированием: Робот понимает, с какой скоростью можно качать данные с разных хостов, и не допускает перегрузок.



Типичный путь, который проходит новый документ:

• документ появляется в фиде;
• Робот скачивает фид;
• парсер обнаруживает новый документ и отправляет его дальше;
• проверяем, что картинки из документа не упоминаются в базе данных, заказываем скачивание, документ отправляем во временное хранилище (Delay). Пока документ находится там, Робот скачивает картинки, они кешируются в CDN, а ссылки появляются в базе данных;
• во второй раз проверяем картинки в базе данных, находим ссылки на CDN, обновляем документ и отправляем в KV-хранилище.
• Обратите внимание: если картинки скачиваются долго, документ может несколько раз побывать в Delay.

Автопарсер

Есть ещё один способ подключения к Турбо-страницам, для которого вебмастеру практически ничего не нужно делать — Автопарсер. Он строит Турбо-страницы на основании исходных данных контентного сайта. Подключиться, посмотреть примеры готовых страниц, настроить рекламу и аналитику можно в Яндекс.Вебмастере.

• Основная сложность, с которой сталкивается Автопарсер — распознать по HTML-разметке, какая информация основная и должна быть использована при построении Турбо-страницы. Для этого у нас есть несколько оффлайн-процессов, которые пытаются понять, как именно нужно парсить конкретный хост. Остановлюсь на двух основных:
• Первый скрипт анализирует документы из RSS-фидов и соответствующие им HTML-страницы оригинального сайта. Итог — разбиение страниц на фрагменты, содержимое которых либо целиком вошло в RSS-аналог (то есть является основной информацией), либо полностью отсутствует. Так формируется огромная, достаточно качественная обучающая выборка. На ней при помощи технологии машинного обучения CatBoost тренируются модели, предсказывающие какие тексты, фото и видео исходной страницы ключевые. На больших материалах работает отлично, но для маленьких модель может легко перепутать основной текст и, например, меню. К счастью, почти всегда статьи в рамках одного сайта устроены очень похоже. То есть, применяя модель для множества страниц, можно заметить, что элементы находящиеся на определенных путях в HTML разметке часто попадают в результат. Совпадение? Едва ли: такое содержимое всегда оказывается основным. Итог – некоторый набор обобщённых правил, как корректно парсить хост.
• Другой процесс контролирует качество: результат применения этих правил к страницам выборочно валидируется специальным заданием в Яндекс.Толоке. Список хостов, для которых получилось хорошо, передаётся в Робота, чтобы по привычной уже схеме подписаться на результаты скачивания документов, окончательные правила — в парсер. Документ после обработки парсером отправляется дальше — для кеширования картинок.

Кстати, ещё одно частое препятствие — многие сайты закрывают в robots.txt возможность скачивания картинок роботами. Обойти эту проблему, к сожалению, невозможно, и для таких страниц Автопарсер недоступен.

В итоге полная схема контент-системы выглядит вот так:


Система получилась хорошо масштабируемой: уже сейчас для обслуживания базы данных, автопарсера и других компонентов системы используется значительное количество ресурсов (только в кубике, отвечающем за парсинг RSS, YML и API, задействовано более 300 процессорных ядер), а в случае роста нагрузки подключить дополнительные мощности будет не слишком сложно.

Источник

Open

Правительство России одобрило законопроект о госрегулировании сервисов электронной почты, который в октябре прошлого года внесла группа сенаторов во главе с Андреем Клишасом.

Документ обязывает провайдеров идентифицировать пользователей email по паспорту и блокировать их по требованию контролирующих органов.

Правительство одобрило идею Клишаса в целом, единственное предложение - уточнить понятие «организатор распространения сообщений», поскольку это статус сейчас действует и для мессенджеров.

Ранее в Минкомсвязи заявили, что этот закон технически нереализуем, а его принятие приведет к тому, что все пользователи, с помощью VPN уйдут в иностранные сервисы.

Источник

Все, денежка ушла победителям. Проверяйте кошельки.

Все кошельки я получил. Выплата призовых, предварительно, будет сегодня в течение дня.

UPD: Проверяйте кошельки, призовые отправлены.

Пришло время собирать камни. Итоги SEO конкурса.

1. ZennoMan - http://yamdex.info/
2. Sergey_Nizhegorodtsev - https://seosmm.moscow
3. fan - http://fan2020.ru/

Наши поздравления оптимизаторам и благодарность участникам. За призами жду победителей в ЛС с WMZ-кошельками

Итак пришло время подвести итоги по конкурсу. Мы долго совещались, обсуждали

1 место - rom_4
2 место - home
3 место - JOHNY
4 место - hileace45
5 место заняли сразу два участника: genjnat и Movut, они получат по $50

Мы поздравляем победителей и благодарим участников. А я жду ваши WMZ-кошельки в личку.

Open

Съем позиций будет произведен 20.01.20
Официальное оглашение результатов после подведения итогов и контрольной проверки участников.
Претензии к официальным результатам не принимаются.
Запрещено распространять информацию о победе\поражении того или иного участника до оглашения официальных результатов.

Zhezkazganetcs, вы участвуете. Все ОК

Да, добавил этот момент в стартовый топик.

Дописал

Администрация форума MaulTalk поздравляет всех пользователей с наступающим Новым Годом и Рождеством и в преддверии праздников приглашает всех желающих принять участие в конкурсе "Кейс года".

Это наш традиционный конкурс на лучший кейс по теме форума. Ваше задание - составить понятный и полноценный инфопродукт по теме, так или иначе связанной с форумом (только "белые", легальные темы). Тема может быть любая в рамках интересов нашего форума: о продвижении, контекстной рекламе, SMM, монетизации, создании прибыльных сайтов, копирайтинге, криптовалюте и т.д. В общем обо всем, что приносит прибыль в Сети.

Чем креативнее будет оформлен ваш кейс, чем эксклюзивнее будет информация и серьезнее потенциальный выхлоп, тем больше у вас шансов победить. Поэтому не стесняйтесь оформлять свой пост картинками, инфографикой, видео и т.п.

Обязательными условиями являются следующие: ваш конкурсный пост должен быть только один и полностью уникален (как и весь медиаконтент в нем), а также впервые опубликован только на нашем форуме в разделе "Конкурсы на форуме". Также необходимо опубликовать анонс своей конкурсной статьи в одну из социальных сетей (Vkontakte, Twitter, Facebook) с тегом #maultalk.

На каждого участника - одна конкурсная работа.

Призовой фонд будет распределен следующим образом: 1 место — 250$, 2 место — 200$, 3 место — 150$, 4 место — 100$, 5 место — 50$

Старт - 10 декабря 2019, окончание - 20 января 2020

Конкурсные работы:

1. grumdas – Как копирайтеру найти заказчика на своих условиях?
2. home - Самозанятый: инструкция на основании личного опыта
3. Mistic - Как я потерял результаты 3-летней работы за 1,5 дня и отделался лёгким испугом
4. hileace45 - Как делать 5-20$ в день с помощью тестов
5. Anduck - Как я покупаю ссылки в GGL
6. rom_4 - Создаем трафиковый сайт по цене домена
7. Movut - Как я делаю сателлиты для своих PBN в 2020-м
8. genjnat - Краулинговый бюджет и настройка индексации интернет-магазина. Или как я за индексацию многостраничника воевал
9. Zoya83 - Гайд для НУБОВ: 8 первых грехов в INSTAGRAM
10. JOHNY - Рекомендации по информационным сайтам на 2020 год

Всем участникам мы желаем вдохновения и удачи в конкурсе!

UPD: Итак пришло время подвести итоги по конкурсу. Мы долго совещались, обсуждали

1 место - rom_4
2 место - home
3 место - JOHNY
4 место - hileace45
5 место заняли сразу два участника: genjnat и Movut, они получат по $50

Мы поздравляем победителей и благодарим участников. А я жду ваши WMZ-кошельки в личку.

На маултолке стартует новогодний SEO-конкурс по продвижению сайтов

1. ПРОДВИЖЕНИЕ ЗАПРОСА
Необходимо продвинуть запрос "вseoбъемлющий maultalk".
В последний день конкурса будет произведен съем позиций по данному запросу среди всех участников. Победитель определяется по меньшей сумме двух позиций в поисковых системах Яндекс и Google по региону "Москва". При итоговом равенстве побеждает тот, чья позиция выше по Яндексу.

Съем позиций будет производиться в платном сервисе по мониторингу позиций (топвизор) и только на основе его данных.

2. ДОМЕНЫ
К участию принимаются домены 2 уровня (например - maultalk.com) в любой доменной зоне, зарегистрированные НЕ РАНЕЕ 10 декабря 2019 года (по whois). В домене не должны присутствовать следующие слова: вseoбъемлющий (и его любые формы) маултолк, maultalk (и их склонения). От каждого участника принимается только один домен.

3. МЕТОДЫ ПРОДВИЖЕНИЯ
Методы продвижения - любые.

4. СРОКИ КОНКУРСА И ЗАЯВКА
Старт - 10 декабря 2019
Окончание - 20 января 2020
В качестве заявки на участие в конкурсе нужно до 31 декабря 2019 года прислать мне в ЛС письмо с темой "новогодний SEO-конкурс", где указать имя домена и дождаться подтверждения заявки. Если запрос будет продвигаться не на главной, то прислать точный адрес страницы (но результат определяется по домену)

5. ПРИЗОВОЙ ФОНД
1 место - $300
2 место - $250
3 место - $200
(получение призов через админа)

6. ВОПРОСЫ-ОТВЕТЫ


Администрация форума не принимает участия в конкурсах, проводимых на форуме.

ЗАПРЕЩАЕТСЯ: обсуждать условия конкурса, выбор ключевой фразы, сервиса мониторинга. Все предложения и замечания можно высказать в ЛС администрации форума после конкурса.

P.S. В ваших же интересах не светить свои домены в этой теме до окончания конкурса но можно

7. УЧАСТНИКИ


UPD: Съем позиций будет произведен 20.01.20
Официальное оглашение результатов после подведения итогов и контрольной проверки участников.
Претензии к официальным результатам не принимаются.
Запрещено распространять информацию о победе\поражении того или иного участника до оглашения официальных результатов.

Здравствуйте, уважаемые гости и завсегдатае форума!

Чуть больше двух недель до Нового Года и Рождества (а для кого-то сначала Рождества, а потом Нового Года), а это значит, что Администрация форума запускает традиционные новогодние мероприятия и конкурсы. В этом году мы не будем "распыляться" и организовываем всего два конкурса, зато оба по существу.

Конкурсы:

1. SEO-конкурс по продвижению запроса.

Необходимо продвинуть запрос "вseoбъемлющий maultalk".
В последний день конкурса будет произведен съем позиций по данному запросу среди всех участников. Победитель определяется по меньшей сумме двух позиций в поисковых системах Яндекс и Google по региону "Москва". При итоговом равенстве побеждает тот, чья позиция выше по Яндексу.

Старт - 10 декабря 2019, окончание - 20 января 2020
Призовой фонд: 1 место - $300, 2 место - $250, 3 место - $200

2. Конкурс на лучший мануал/кейс/инструкцию.

Это наш традиционный конкурс на лучший кейс по теме форума. Ваше задание - составить понятный и полноценный инфопродукт по теме, так или иначе связанной с форумом (только "белые", легальные темы). Тема может быть любая в рамках интересов нашего форума: о продвижении, контекстной рекламе, SMM, монетизации, создании прибыльных сайтов, копирайтинге, криптовалюте и т.д. В общем обо всем, что приносит прибыль в Сети.

Старт - 10 декабря 2019, окончание - 20 января 2020
Призовой фонд: 1 место — 250$, 2 место — 200$, 3 место — 150$, 4 место — 100$, 5 место — 50$

Новогодние мероприятия:

1. Новогодний рейтинг форумчан 2020 от WebAction.
Этот рейтинг, составляемый модератором WebAction, уже давно стал новогодней традицией нашего форума. Там публикуются пользователи с самой высокой и самой низкой репутацией, пользователи с самым большим числом благодарностей, юзеры с самым большим количеством сообщений, а также лидеры массы других интересных номинаций.

2. Акция «Новогодняя Амнистия».
Эта акция стала уже традиционной, но для тех, кто еще не в курсе, я вкратце расскажу ее суть: каждый пользователь нашего форума может связаться с тем или иным модератором, выдавшим ему предупреждение, с просьбой о снятии 10%. Максимально за время акции можно снять с себя 30% предупреждений от разных модераторов, причем под "амнистию" попадают только предупреждения, полученные до 10.12.2019. Заявки на амнистию следует отправлять только в ЛС.

3. Акция "В Новый Год с чистой совестью".
Это тоже уже традиционное мероприятие, которое чаще всего принято называть "Клоноакция". Администрация форума уже несколько раз объявляла акцию по добровольной сдаче «клонов», причем всегда это мероприятие пользовалось популярностью у ряда пользователей. Но осенняя депрессия, ветер или сильные морозы вновь сподвигли многих «героев» зарегистрировать второй аккаунт. Это могло быть вызвано следующими причинами: плохое настроение, состояние аффекта, подпорченная репутация, перестал нравиться ник, захотелось стать другим человеком и т.п. Но правила есть правила, и такие аккаунты банятся без суда и следствия, т.е. без возможности восстановления. Следующие попытки зарегистрировать аккаунт вновь и вновь караются пожизненным банном. Но сейчас декабрь, близится Новый Год, поэтому мы вновь объявили эту акцию, и пользователи могут сдавать своих клонов в ЛС модераторам без угрозы быть забаненными.

P.S. Представители Администрации форума, как всегда, в конкурсах не участвуют. Они занимаются координацией всего мероприятия: отвечают на вопросы пользователей касаемо его проведения, систематизируют публикуемые материалы и т.д.

Желаем всем Вам удачи и хорошего настроения!

Если просто обсуждают, то нет. Но если осуждают, как организованно высказать властям свое недовольство этим запретом - то получается, да.

С другой стороны, это даже не законопроект, а лишь инициатива. Когда подготовят проект - станет понятнее.