Продолжаем рассказ о "Магадане". В новой программе улучшена скорость поиска по запросам, по которым находится большое число документов. Для этого мы применили технику под названием "прюнинг". Время поиска сократилось за счет появления еще одной стадии поиска -- на ней отсекаются заведомо нерелевантные документы.

Как это происходит? В формулу ранжирования, которая определяет релевантность страниц, входит множество факторов, как зависящих от запроса, так и статических по отношению к нему (они характеризут страницу или сайт, а не пару "страница-запрос"). На стадии прюнинга на основе всех статических факторов для каждого документа оценивается вероятность того, что он окажется релевантным запросу. Если вероятность низкая, документ дальше не анализируется.

По таким запросам как [новости] и [жж] время поиска было сокращено в десятки раз. При этом ускорение поиска было достигнуто без всякого ухудшения его качества.



Андрей Гулин, ускоритель




Опубликовано на активном

С Уважением Активный!