Допустим, система машинного обучения получила некую небессмысленную зависимость, позволяющую улучшить релевантность запроса по оценке асессоров. Что происходит дальше?

Мы выкатываем это изменение в общей формуле ранжирования на части пользователей и смотрим на их реакцию. Делается это по методике, которую мы сами не так давно разработали, FML (friendly machine learning). Упрощенно говоря, делается это следующим образом: берутся два результата ранжирования, по старой © и по новой формуле (Н), и перемешиваются по очереди — примерно так же, как отбираются футбольные команды в дворовом футболе. Получаются два варианта «смеси»: С1, Н1, С2, Н2, ... и Н1, С1, Н2, С2, ... где С1 — первый URL по старой формуле, Н1 — первый URL по новой формуле, С2 — второй URL по старой формуле и так далее. Какая «смесь» демонстрируется пользователю, определяется случайно. А далее мы фактически имеем дело с голосованием пользователей за ту или иную систему ранжирования, о котором они сами не знают. При этом мы, конечно, проводим статистический анализ и видим, значимо ли улучшение или нет. Потом эти улучшения вносятся в формулу. В год таких поправок мы вносим где-то около сотни, по несколько штук каждые две недели.

я так понимаю, что под голосанием пользователей они имеют ввиду письма вебмастеров платонам о том, что их СДЛ внезапно просел по позициям

У нас есть некоторые модели, которые пытаются на основании графа переходов пользователя понять, нашел ли он то, что ему нужно.

Скорее всего они просто подсовывают разную выдачу небольшой группе пользователей и смотрят, возвращались ли из сайта в выдачу, были ли повторные запросы и т.д. Короче, смотрят, каким вариантом больше довольны пользователи.

Какая «смесь» демонстрируется пользователю, определяется случайно. А далее мы фактически имеем дело с голосованием пользователей за ту или иную систему ранжирования, о котором они сами не знают.

это понятно, я вот об этой фразе: