во-первых, посоветуйте, что мне делать с напарсенной базой хмл – распродажу устроить? )
во-вторых, вот что.
яндекс все-таки уныл. уныние и ужос нах. вот
на серче пост
По запросу стоимость окон московская выдача. Выходит вот это:
http://yandex.ru/yandsearch?text=%D1%81%D1%82%D0%BE%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D1%8C+%D0%BE%D0%BA%D0%BE%D0%BD&clid=139094&lr=213
Посмотрите 7ую позицию )
…смотрим 7ю позицию:
Теплоход «Мамин-Сибиряк» (проект 646) – Расписание и стоимость…
Закрыть окно.
www.vodohod.com/pages/image.php
Да! окно! и стоимость!
…нет, я бы мог снова разораться про релевантность all, но не буду пока 🙂
…гагага.
недавно Aik показывал аналогичный пример – где по запросу “аренда дизельгенераторов” нажодился в 5-6 сайт про женскую обувь 44го размера (sic! sic! transit!). Где там была аренда и дизельгенераторы, я не помню – кажется, в продажные ссылки вкрались )))
Таких примеров много.
Яндексоиды… в разных местах они просят приводить примеры плохой выдачи. Только судя по тому, что они пишут сами о своих алгоритмах – приводить примеры бесполезно. Цитируем источник: http://company.yandex.ru/technology/matrixnet
Еще одна важная особенность Матрикснета – в том, что формулу ранжирования можно настраивать отдельно для достаточно узких классов запросов. Например, улучшить качество поиска только по запросам про музыку. При этом ранжирование по остальным классам запросов не ухудшится.
***
На механизмах, построенных по другим технологиям, каждая ручка влияет на все запросы. Матрикснет дает возможность настроить каждую ручку отдельно для своего класса запросов
да, т.е. раньше поиск ошибок влиял на всю систему, а теперь на “узкий класс запросов”. Ну ищите тогда добровольцев, чо.
Которые любят бессмысленную активность.
********
Ладно, это их проблемы.
Тут еще один вопрос назрел – а вот если рассмотреть вид функций “слабых обучателей” и посмотреть, как этот вид влияет на общую предсказуемсоть выдачи.
Я, допустим, знаю, какой именно вид у функции ранжирования. И у меня жесткое ощущение, что это очень-очень “точечные” функции.
А они, похоже, не придают значения этому – ну, считают, что любой вид функций этих слабых обучателей – одинаково рулит.
Ну вот например, я могу привести примеры функций, значения которых будут ОЧЕНЬ дискретными, точечными. И если использовать такие штуки как основу для функций релевантности – получится хуйня.
Тут отдельная тема – проверка самих себя. У них там никто не заморачивается оценкой – насколько ранжирование хорошее с точки зрения соответствия “предсказанных” моделью оценок и реальных асессорских оценок.
Тут не очень давно Яху сделала конкурс по ранжированию, действительно похожий на яндекс-математику-2009 (которую пеарщеки яндекса тут же обозвали, мол “по примеру, по нашему образу и подобию провели”, хотя они (яндекс) реально-то никому на хуй не всрались).
И в этом конкурсе заняли хорошие призовые места яндексоиды, что-то около пятерки нах, но там была плотная конкуренция.
И написали они презентацию, в которой написали, что “эксперты ошибаются”. 🙂
с яху ссылки Slides, Abstract. Сама презентация тоже есть, но лень заливать ее.
И iseg согласен, что все хорошо: “YetiRank shows that modeling uncertainty in judgments can improve model effectiveness”
Я как увидел – сразу возникла мысль, что плохому танцору яйца мешают.
Относительно чего ошибаются? Относительно их модели?
Это их модель, блин, ошибается. И яйца, конечно, им тоже мешают.
Блин, если эксперты ошибаются – меняйте экспертов, ни или там езжайте в гоа )
Просто модель очень точечная.
Предположим, я бы сделал модель, в которой вот эти самые “слабые обучатели” были… ну почти как функция дирихле ) Либо ноль, либо единица.
Удалось бы построить качественный матрикснет на таких “слабых обучателях”? Не верю в такое.
Но я-то ладно, я могу верить или нет, им это пох.
Но фишка в том, что они сами не проверяют эти вещи. Т.е. теоретически понятно, что на плохой, точечной функции хорошую моджель не построить.
Она, такая модель, всегда будет требовать максимум данных. И те данные. что есть, будут описываться неточно. И придется, скрипя зубами, говорить – что эксперты ошибаются (эта фраза от них вообще радует – и рыбку съесть, и на хуй сесть, и во всем им сопуствует успех).
Ну и самое главное, конечно – не пытаться проверить качество модели.
И от точечности (=практически случайности) модели всегда будут появляться теплоходы по запросам про мебель и женская обувь по запросам про дизельгенераторы.
И вы там это: наймите штат собиральщиков ошибок.
**
упарился писать.
У нас есть штат собиральшиков ошибок и упячек. Твои упячки тоже в базе
Если ты заставишь 100 человек оценить одну и ту же выдачу по инструкции асессессора которая у тебя есть то 10-20 человек оценит ее по другому. Их в принципе можно заставить друг друга проверять, но лучше получить вдвое больше оценок с некоторой ошибкой.
Распродажа — также уныло, как и уныл Яндекс
Предлагаю просто поделиться с самыми жаждущими и теми которые были в отпуске. Реально?
Насколько я знаю, у вас асессоры друг друга проверяют. И как это так – оценить по-разному? Насчет левых человек не знаю, но люди, работающие по инструкции, должны очень близко все оценивать. Там же довольно четко.
anatolix, а что насчет точечных функций?
Вот вы набрали большое количество функций, значения которых на реальности почти всегда около нуля. Только редкие-считай-случайные будут делать всю цифру релевантности.
-странно, я как раз слышал, что они друг друга проверяли. Вы отказались от этих проверок в пользу количества оценок, как я понимаю…?
Хз, смысла проверок друг друга нет, anatolix прав. Проще оценить док по запросу несколько раз и правильно выбрать из оценок.
Разве что стоит проверять выброшенные оценки, для обучения асессоров, например. Это полезно. 🙂
Goodman, это исходные данные, абсолютная истина, так сказать.
Давай я тебе выдам данные по 5 разных оценок на один запрос-документ, а ты "сам выберешь".
Да, давайте выбирать те данные, которые устраивают нашу модель. Может, они так и делают? ГГГ. 🙂 и да, именно для этого им нужно много разнообразных оценок.
Полезность ее минимальна, вот чо. Разве что придумать какую-то замануху, типа с помощью базы бла-бла-бла… Это можно. 😀
Дык, тебя 1 не релевантный ответ из десяти приводит в уныние? Ну добавят они эти урлы в обучалово, как не релевантные, из топа уберется. Хотя, если поколдовать с текстом – можно и взад вернуться… 🙂
Я про "узкий класс" думаю, что они немного слукавили, или пейсатель не совсем понимал суть. Как-то не особо верится, что можно подготовить обучалово сразу для класса запросов, не обучая на всех, тотально. Гонево. Все равно будут 44-е размеры и корабли с окнами. 🙂
Влияет, кстати, конкретно. Т.е. на правильных функциях можно далеко уехать от конкурентов в поиске, тока где ж эти правильные функции взять? Пока с ними все не идеально. 🙂
А ты не попутал с факторами ранжирования?
Сомнительно, что так считают те, кто в теме. Просто факторов нужно много, а придумывалка истощается быстро. Потому и приходится брать хз что.
Да ладно, на этом же метрики качества основаны. 🙂
На самом деле на таких конкурсах асессоские оценки зачастую не особо качественные, и это может реально приводить к тому, что побеждает не лучший алгоритм. Яйца асессоров мешают, но тут ниче не попишешь, общий трабл. Не решается он полностью, геморно.
Это не от точечности, это от отсутствия нормальных исследований о структуре езыка. Науки нет. 🙂
Ты ж понимаешь, что, если не смотреть документ, то мне придется выбрать среднее по больнице, на зависимо от его качества. Но у Яндекса наверняка все сложнее устроено, статы же много, можно легко улучшить выбор.
-так как, тебя устроят такие данные? "независимо от качества"?
давай я тебе нагенерю случайных оценок (ну, эксперты ошибаются же), а ты на них хороший матрикснет нагенеришь 🙂
Только чтобы качественный был!
-тогда вперёд 🙂
А кого они устраивают? На тех же конкурсах тоже все пищат. Даже на РОМИПе иногда попискивают. 😀
На говнооценках получится говноматрикснет, не понятно, что ты хочешь доказать? Оценки асессоров у Яндекса в целом наверняка хорошие, на конкурсе яху однозначно были хуже. Яйцы никому не мешают. 🙂
-хочу доказать именно то, что на говнооценках получится говноматрикснет.
шаг в сторону говнооценок сделан, бо асессоры не проверяют друг друга, количество оказалось лучше качества 🙂
другое дело, что у них, как я понял, не принято проверять качество – ну есть разброс большой, ну эксперты ошибаются, ну и хуй с ними, с экспертами 🙂
А, я понял. Ну да, если куча экспертов с высоким коэффициентом доверия поставит документу говнооценку, то он стопудово попадет в обучалово и будет негативно влиять на качество. И такие пары (запрос, документ) там точно есть. Наверняка яндексоиды расчитывают на то, что их метода оценки редко сбоит, и % таких ляпов мизерный. А какой он на самом деле – хз, может и больше расчетного. 🙂
Там на самом деле со временем может возникнуть проблема "ложки дегтя", когда при мизерном % таких говнооценок их абсолютная масса все равно станет критической и полезут чудесатые выдачи. 🙂