уныло у них там в матрикснетах

во-первых, посоветуйте, что мне делать с напарсенной базой хмл – распродажу устроить? )

во-вторых, вот что.
яндекс все-таки уныл. уныние и ужос нах. вот
на серче пост

По запросу стоимость окон московская выдача. Выходит вот это:
http://yandex.ru/yandsearch?text=%D1%81%D1%82%D0%BE%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D1%8C+%D0%BE%D0%BA%D0%BE%D0%BD&clid=139094&lr=213
Посмотрите 7ую позицию )

…смотрим 7ю позицию:

Теплоход «Мамин-Сибиряк» (проект 646) – Расписание и стоимость
Закрыть окно.
www.vodohod.com/pages/image.php

Да! окно! и стоимость!
…нет, я бы мог снова разораться про релевантность all, но не буду пока 🙂

…гагага.
недавно Aik показывал аналогичный пример – где по запросу “аренда дизельгенераторов” нажодился в 5-6 сайт про женскую обувь 44го размера (sic! sic! transit!). Где там была аренда и дизельгенераторы, я не помню – кажется, в продажные ссылки вкрались )))

Таких примеров много.

Яндексоиды… в разных местах они просят приводить примеры плохой выдачи. Только судя по тому, что они пишут сами о своих алгоритмах – приводить примеры бесполезно. Цитируем источник: http://company.yandex.ru/technology/matrixnet

Еще одна важная особенность Матрикснета – в том, что формулу ранжирования можно настраивать отдельно для достаточно узких классов запросов. Например, улучшить качество поиска только по запросам про музыку. При этом ранжирование по остальным классам запросов не ухудшится.
***
На механизмах, построенных по другим технологиям, каждая ручка влияет на все запросы. Матрикснет дает возможность настроить каждую ручку отдельно для своего класса запросов

да, т.е. раньше поиск ошибок влиял на всю систему, а теперь на “узкий класс запросов”. Ну ищите тогда добровольцев, чо.

Которые любят бессмысленную активность.

********

Ладно, это их проблемы.
Тут еще один вопрос назрел – а вот если рассмотреть вид функций “слабых обучателей” и посмотреть, как этот вид влияет на общую предсказуемсоть выдачи.

Я, допустим, знаю, какой именно вид у функции ранжирования. И у меня жесткое ощущение, что это очень-очень “точечные” функции.

А они, похоже, не придают значения этому – ну, считают, что любой вид функций этих слабых обучателей – одинаково рулит.
Ну вот например, я могу привести примеры функций, значения которых будут ОЧЕНЬ дискретными, точечными. И если использовать такие штуки как основу для функций релевантности – получится хуйня.

Тут отдельная тема – проверка самих себя. У них там никто не заморачивается оценкой – насколько ранжирование хорошее с точки зрения соответствия “предсказанных” моделью оценок и реальных асессорских оценок.

Тут не очень давно Яху сделала конкурс по ранжированию, действительно похожий на яндекс-математику-2009 (которую пеарщеки яндекса тут же обозвали, мол “по примеру, по нашему образу и подобию провели”, хотя они (яндекс) реально-то никому на хуй не всрались).

И в этом конкурсе заняли хорошие призовые места яндексоиды, что-то около пятерки нах, но там была плотная конкуренция.
И написали они презентацию, в которой написали, что “эксперты ошибаются”. 🙂
с яху ссылки Slides, Abstract. Сама презентация тоже есть, но лень заливать ее.

И iseg согласен, что все хорошо: “YetiRank shows that modeling uncertainty in judgments can improve model effectiveness”

Я как увидел – сразу возникла мысль, что плохому танцору яйца мешают.
Относительно чего ошибаются? Относительно их модели?

Это их модель, блин, ошибается. И яйца, конечно, им тоже мешают.
Блин, если эксперты ошибаются – меняйте экспертов, ни или там езжайте в гоа )

Просто модель очень точечная.
Предположим, я бы сделал модель, в которой вот эти самые “слабые обучатели” были… ну почти как функция дирихле ) Либо ноль, либо единица.

Удалось бы построить качественный матрикснет на таких “слабых обучателях”? Не верю в такое.
Но я-то ладно, я могу верить или нет, им это пох.
Но фишка в том, что они сами не проверяют эти вещи. Т.е. теоретически понятно, что на плохой, точечной функции хорошую моджель не построить.

Она, такая модель, всегда будет требовать максимум данных. И те данные. что есть, будут описываться неточно. И придется, скрипя зубами, говорить – что эксперты ошибаются (эта фраза от них вообще радует – и рыбку съесть, и на хуй сесть, и во всем им сопуствует успех).

Ну и самое главное, конечно – не пытаться проверить качество модели.

И от точечности (=практически случайности) модели всегда будут появляться теплоходы по запросам про мебель и женская обувь по запросам про дизельгенераторы.

И вы там это: наймите штат собиральщиков ошибок.

**
упарился писать.

уныло у них там в матрикснетах: 12 комментариев

  1. У нас есть штат собиральшиков ошибок и упячек. Твои упячки тоже в базе

    Если ты заставишь 100 человек оценить одну и ту же выдачу по инструкции асессессора которая у тебя есть то 10-20 человек оценит ее по другому. Их в принципе можно заставить друг друга проверять, но лучше получить вдвое больше оценок с некоторой ошибкой.

  2. Распродажа — также уныло, как и уныл Яндекс
    Предлагаю просто поделиться с самыми жаждущими и теми которые были в отпуске. Реально?

  3. Насколько я знаю, у вас асессоры друг друга проверяют. И как это так – оценить по-разному? Насчет левых человек не знаю, но люди, работающие по инструкции, должны очень близко все оценивать. Там же довольно четко.

    anatolix, а что насчет точечных функций?
    Вот вы набрали большое количество функций, значения которых на реальности почти всегда около нуля. Только редкие-считай-случайные будут делать всю цифру релевантности.

    Их в принципе можно заставить друг друга проверять, но лучше получить вдвое больше оценок с некоторой ошибкой.

    -странно, я как раз слышал, что они друг друга проверяли. Вы отказались от этих проверок в пользу количества оценок, как я понимаю…?

  4. Их в принципе можно заставить друг друга проверять, но лучше получить вдвое больше оценок с некоторой ошибкой.

    -странно, я как раз слышал, что они друг друга проверяли. Вы отказались от этих проверок в пользу количества оценок, как я понимаю…?

    Хз, смысла проверок друг друга нет, anatolix прав. Проще оценить док по запросу несколько раз и правильно выбрать из оценок.
    Разве что стоит проверять выброшенные оценки, для обучения асессоров, например. Это полезно. 🙂

  5. Goodman, это исходные данные, абсолютная истина, так сказать.

    Давай я тебе выдам данные по 5 разных оценок на один запрос-документ, а ты "сам выберешь".

    Да, давайте выбирать те данные, которые устраивают нашу модель. Может, они так и делают? ГГГ. 🙂 и да, именно для этого им нужно много разнообразных оценок.

  6. во-первых, посоветуйте, что мне делать с напарсенной базой хмл – распродажу устроить? )

    Полезность ее минимальна, вот чо. Разве что придумать какую-то замануху, типа с помощью базы бла-бла-бла… Это можно. 😀

    яндекс все-таки уныл. уныние и ужос нах.

    Дык, тебя 1 не релевантный ответ из десяти приводит в уныние? Ну добавят они эти урлы в обучалово, как не релевантные, из топа уберется. Хотя, если поколдовать с текстом – можно и взад вернуться… 🙂

    да, т.е. раньше поиск ошибок влиял на всю систему, а теперь на "узкий класс запросов".

    Я про "узкий класс" думаю, что они немного слукавили, или пейсатель не совсем понимал суть. Как-то не особо верится, что можно подготовить обучалово сразу для класса запросов, не обучая на всех, тотально. Гонево. Все равно будут 44-е размеры и корабли с окнами. 🙂

    Тут еще один вопрос назрел – а вот если рассмотреть вид функций "слабых обучателей" и посмотреть, как этот вид влияет на общую предсказуемсоть выдачи.

    Влияет, кстати, конкретно. Т.е. на правильных функциях можно далеко уехать от конкурентов в поиске, тока где ж эти правильные функции взять? Пока с ними все не идеально. 🙂

    Я, допустим, знаю, какой именно вид у функции ранжирования. И у меня жесткое ощущение, что это очень-очень "точечные" функции.

    А ты не попутал с факторами ранжирования?

    А они, похоже, не придают значения этому – ну, считают, что любой вид функций этих слабых обучателей – одинаково рулит.

    Сомнительно, что так считают те, кто в теме. Просто факторов нужно много, а придумывалка истощается быстро. Потому и приходится брать хз что.

    У них там никто не заморачивается оценкой – насколько ранжирование хорошее с точки зрения соответствия "предсказанных" моделью оценок и реальных асессорских оценок.

    Да ладно, на этом же метрики качества основаны. 🙂

    Я как увидел – сразу возникла мысль, что плохому танцору яйца мешают.
    Относительно чего ошибаются? Относительно их модели?

    На самом деле на таких конкурсах асессоские оценки зачастую не особо качественные, и это может реально приводить к тому, что побеждает не лучший алгоритм. Яйца асессоров мешают, но тут ниче не попишешь, общий трабл. Не решается он полностью, геморно.

    И от точечности (=практически случайности) модели всегда будут появляться теплоходы по запросам про мебель и женская обувь по запросам про дизельгенераторы.

    Это не от точечности, это от отсутствия нормальных исследований о структуре езыка. Науки нет. 🙂

  7. Давай я тебе выдам данные по 5 разных оценок на один запрос-документ, а ты "сам выберешь".

    Ты ж понимаешь, что, если не смотреть документ, то мне придется выбрать среднее по больнице, на зависимо от его качества. Но у Яндекса наверняка все сложнее устроено, статы же много, можно легко улучшить выбор.

  8. Давай я тебе выдам данные по 5 разных оценок на один запрос-документ, а ты "сам выберешь".

    Ты ж понимаешь, что, если не смотреть документ, то мне придется выбрать среднее по больнице, на зависимо от его качества. Но у Яндекса наверняка все сложнее устроено, статы же много, можно легко улучшить выбор.

    -так как, тебя устроят такие данные? "независимо от качества"?

    давай я тебе нагенерю случайных оценок (ну, эксперты ошибаются же), а ты на них хороший матрикснет нагенеришь 🙂

    Только чтобы качественный был!

  9. -так как, тебя устроят такие данные? "независимо от качества"?

    А кого они устраивают? На тех же конкурсах тоже все пищат. Даже на РОМИПе иногда попискивают. 😀

    -давай я тебе нагенерю случайных оценок (ну, эксперты ошибаются же), а ты на них хороший матрикснет нагенеришь 🙂

    На говнооценках получится говноматрикснет, не понятно, что ты хочешь доказать? Оценки асессоров у Яндекса в целом наверняка хорошие, на конкурсе яху однозначно были хуже. Яйцы никому не мешают. 🙂

  10. На говнооценках получится говноматрикснет, не понятно, что ты хочешь доказать? Оценки асессоров у Яндекса в целом наверняка хорошие, на конкурсе яху однозначно были хуже. Яйцы никому не мешают. 🙂

    -хочу доказать именно то, что на говнооценках получится говноматрикснет.

    шаг в сторону говнооценок сделан, бо асессоры не проверяют друг друга, количество оказалось лучше качества 🙂

    другое дело, что у них, как я понял, не принято проверять качество – ну есть разброс большой, ну эксперты ошибаются, ну и хуй с ними, с экспертами 🙂

  11. А, я понял. Ну да, если куча экспертов с высоким коэффициентом доверия поставит документу говнооценку, то он стопудово попадет в обучалово и будет негативно влиять на качество. И такие пары (запрос, документ) там точно есть. Наверняка яндексоиды расчитывают на то, что их метода оценки редко сбоит, и % таких ляпов мизерный. А какой он на самом деле – хз, может и больше расчетного. 🙂

    Там на самом деле со временем может возникнуть проблема "ложки дегтя", когда при мизерном % таких говнооценок их абсолютная масса все равно станет критической и полезут чудесатые выдачи. 🙂

Комментарии запрещены.