Cognitive продала Яндексу синтаксический анализатор
Интересно, какая основная цель – определение авторства (первоисточника) или борьбе с генеренными текстами (марков, синонимизаторы). Или извлечение фактов из текста?
Но я не очень верю, что получится что-то хорошее. Умных технологий можно придумать много, но на объемах текстов рунета они "не шмогут".
Значит, упрощения рулят. Надо про это почитать ))
Компания Cognitive Technologies объявляет о продаже (предоставление права использования за вознаграждение) компании «Яндекс» Программного Комплекса, включающего в себя возможности синтаксического анализа текста.
Синтаксический анализатор позволяет определить, какими синтаксическими отношениями связаны слова предложения. Это может звучать неожиданно, но для понимания текста эта информация гораздо важнее, чем значение отдельных слов. Потеря знаков препинания в классической фразе «казнить нельзя помиловать» приводит именно к потере однозначности синтаксических связей.
Использование синтаксического анализатора для больших корпусов текста позволяет определять и изучать статистические закономерности языка (встречаемость слов и конструкций). Такого рода закономерности могут быть использованы, в частности, при разрешении неоднозначностей (например «ключ упал на пол» и «в камнях забил ключ»), возникающих во время синтаксического разбора, а также при построении статистических моделей языка для распознавания слитной речи. Стоит отметить, что возможность разрешения неоднозначностей является одной из важнейших характеристик, отличающих лингвистические технологии разработанные Cognitive Technologies.
Применение синтаксического анализатора также позволяет проводить сравнение текстов на основе встречаемости в них различных слов и конструкций и разрабатывать методы понимания текстов, извлечения данных из текстов, а также другие приложения.
На основе данного программного комплекса компанией Cognitive Technologies создан ряд интеллектуальных программных продуктов, например системы определения авторства и стиля документа.