Неожиданно получил возражения: что типа Спектр может основываться и на pfound-е.
Хрен с ними, с изменениями формул и возможностями, что что-то случайно размечено одинаково. Нет, Спектр должен быть основан на принципиально другом подходе к оценке качества выдачи. Судя по релизам.
Я слушал много разных записей про Матрикснет, и из них, и из услышанного на search-conf мне помнится следующее.
Есть типа три подхода к оценке качества выдачи – pointwise, pairwise и listwise.
pointwise, точечный – это когда каждый результат в выдаче просто имеет свою релевантность относительно запроса и она как-то взвешенно суммируется, и сумма = качество выдачи.
pairwise – это когда релевантность приписана упорядоченной паре результатов, дальше взвешиваем по всем парам.
listwise – это когда весь набор результатов в выдаче оценивается совокупно – хороший набор или плохой?
Мне помнится (общее впечатление), что яндексоиды вообще и Андрей Гулин в частности говорили, что мол, у них в Матрикснете листвайз подход.
Я и тогда в это не верил и не верю сейчас, по простым причинам –
1. Исходные данные – пойнтвайз. Оценки асессоров, на которых идет обучение – точечные и никак не завязаны ни на пары, ни на весь список.
2. Формула расчета релевантности щетает релевантность для отдельного документа = тоже пойтвайз.
Итого – матрикснет – пойнтвайз подход.
А со СПЕКТРом должно быть несколько другое. Если он должен учитывать разнообразие выдачи, то суммой по точкам оценивать ее качество нельзя. Это должен быть либо пресловутый листвайз, либо по парам. Типа для начала, для попробовать.
Другое дело, что если исходные данные – пойнтвайз, то ничего не получится. А систему оценок асессоров, насколько я понимаю, так просто не изменишь, раз, и оценки надо накапливать приличное время (ну хоть полгода) – два.
Но общая идея такова, что спектр должен быть или листвайз, или, на худой конец, пэйрвайз (кстати, результаты с разными поисковыми потребностями иногда чередуются, что наводит на мысль о пэйрвайз).
Не знаю уж, что за метрики и что за формулы используются, но качество выдачи тут должно зависеть не только от отдельных результатов, но от набора результатов.
Что, конечно, не вписывается в озвученную раньше метрику качества выдачи – pfound, хоть как ее не меняй.
ЗЫ с другой стороны, т.к. исходных данных, кроме пойнтвайз, нету – значит, используются какие-то костыли в виде поиска набора слов по сайту и использования этого при переранжировании.
