Метка: переформулировки

Получение структуры для поисковых запросов на примере товарных запросов – Юлия Киселева (Яндекс) — cеминар 15.10.2011
как я понимаю, про переформулировки и как их делают.
понятно, не вручную, если ~10% запросов было размечено.
тут уже почти прямым текстом про то, что переформулированный запрос отрабатывает вместо введенного.
***
про учет кликов юзера по выдаче в выборе расширений запроса.
ну с товарами все-таки понятнее, есть четкая структура с брендами, характеристиками и прочим, да и базы для обучения. А для остальных запросов?

кстати в видео упоминался какой-то слив (видимо, размеченных переформулировок) от 2005 года. Жаль, не мне ))

спс g00dman

Ненавижу.
Щито такое мягкость: в переколдовке запросов, которая частично описывалась в статье Сегаловича и Ко Яндекс на РОМИП-2004, был параметр “мягкость” – число через // в конце запроса, которое отражало долю веса кворума, которую найденная фраза могла не добрать и пройти кворум, т.е. найтись.
Это все было описано в хелпах (http://help.yandex.ru/search/?id=481939 на archive.org):

(запрос из нескольких слов)//N, где N — число от 1 до 100.
При расчете релевантности документа могут быть сочтены релевантными пассажи, где есть только часть слов запроса, тем меньшая, чем больше N (по умолчанию N=6). В результатах поиска такие документы помечены как «нестрогое соответствие». Подробнее см. раздел «”Фильтрация” по кворуму» в статье «Некоторые аспекты полнотекстового поиска и ранжирования в Яндекс».

Это я полез туда убедиться, что у меня не глюк.
У меня не глюк – сейчас в хелпе Яндекса этого нету.
Т.е., удалили.
Самый интересный вопрос – а кой я полез в этот хелп? А вот…
У меня есть пробивалка “весов” слов, я по ней предполагал смотреть когда чего пересчитывают, веса пересчитывались каждый апдейт, но слабо. Иногда бывали очень сильные пересчеты весов.
Работала она обычно: задавался запрос вида (искомоеслово jsbcfebe::WT)//50, при этом если результат находился, вес искомогослова выше WT, нет – ниже. Интервал делился пополам, находился вес слова с точностью до 1.
И вот в какой-то момент оно мне начало показывать, что типа веса нулевые. Из-за какой-то там ошибочки.
Ошибочек оказалось две:
1. одна – это то, что мое “несуществующее слово” вида abrakadabra23123234 (буквыцифры) теперь не работает – яндекс в любом случае пишет, что ничего не найдено, видимо, как-то чекает конструкцию – просто abrakadabra из букв пашет нормально.
2. вторая – это то, что мягкость отменили… С мягкостью 50 стало искаться так же, как и без мягкости. Поэтому все диапазоны весов оказались заведомо не находящимися, при смене мягкости //50 на дефолтную //6 все веса огрублюется в 1396 раз, и границы диапазонов тоже сместились.
По моей базе видимое мне обнуление весов произошло примерно 1 июня. Не знаю – возможно мягкость отменили не тогда, а тогда абракадабру с цифрами отменили…
Но я сразу не полез смотреть на мягкость. Включил перепробивку (1440 слов, раз в минуту по слову) заново, изменив абракадабру.
А надо сказать, что слова в базе были подобраны так, чтобы был разброс: и слова с большими весами (десятки тыщ-миллионы), и с маленькими (300-800) вперемешку.
Только смотрю: при перепробивке все веса получаются в размере 200-400… А разброс в весах должен быть большой.
И случайно проверил мягкость…Не работает.
Полез в хелпы – удивился – нету. Не поверил глазам, полез в вебархив – нашел.
Проверяйте:
с мягкостью 50:
(скачивать aaaaddddeee::173)//50 – находится
(скачивать aaaaddddeee::174)//50 – нету
с мягкостью 6:
(скачивать aaaaddddeee::173)//6 – находится
(скачивать aaaaddddeee::174)//6 – нету
по дефолту:
(скачивать aaaaddddeee::173) – находится
(скачивать aaaaddddeee::174) – нету

Цуки. Отрубают потихоньку возможности-то… Не хотят, чтобы мы слишком точно считали…
Ну ничего, будем считать неточно. Хорошо, что у меня собранные точные данные сохранились. Веса-то мне не нужны, неточно тоже будем считать…

Попозже выложу сравнение старых и новых весов.

Похоже, параметр reqtext пустой в ссылке на сохраненую копию. Колдунщика нету теперь.
Колдунщик просуществовал больше двух лет, и в прошлый раз яндекс убрал ссылку "найденные слова", заменил ее на "сохраненную копию". Тогда уже скопировать кеши казалось полезно, ну и теперь кеши остались.
Скоро, небось, базу переколдованных запросов люди будут продавать 🙂
Теоретически выходы какие:
1. использовать архивы
2. читать литературу, зацитированную Сегаловичем, восстановить метод переколдовки. Там используется, кажется, ассоциированные запросы. Тут думать надо и брать ассоциации из Я…
3. раньше можно было как – страничку "нашел" целенаправленно с допусловиями по сайту, там меняешь чего хочешь и смотришь подсветку. Теперь только сохраненые копии в доступе, с мгновенной подсветкой не выйдет. Так что остается брать по запросу сохраненные копии и в них программно выискивать расхождения (ненайденные слова, стоящие рядом, найденные и стоящие далеко и т.п.)
4. Вставлять между словами операторы (надеемся, что колдунщик еще сохраняет введенное пользователем) и расстояния и другие гипотезы, и сравниваем выдачу. 🙂 Только с весами проблема, их так не определить.
***
Типа того.

Как-то по умолчанию предполагал, что если запрос в Яндексе с минус-словом – то это минус-слово должно минусоваться в документном контексте.
Я замечал, что минус-слово в колдунщике ставится с оператором расстояния, но не придавал этому значения, думал, колдунщик тупо ставит, а там уже все равно его “вычитают” по документу.
А вот хрен там.
Примеры:
!Иванов &/(1 1) -Андрей – поиск на расстоянии плюс одно слово: во втором сниппете “Андрей Иванов” (минус одно слово)
!Иванов &/(-1 1) -Андрей – этого уже нет.
!Иванов -Андрей – переколдовывается с расстоянием в 3 предложения до “минус андрея”. Включения тоже нет.

А раз такие дела, то “отсутствие слова” в таком запросе может тольковаться как вклад в релевантность, меняться число термов в запросе (и кворум, кстати!) – и меняться выдача…

то-то она иногда меняется с минус словами… а мы можем списать это на “пробивание кеша” 🙂