Способ извлечения ключевых словосочетаний из текстовых данных
семантическое сходство BERT глубокие нейронные сети латентное размещение Дирихле (LDA) ключевые словосочетания обработка естественного языка
Изобретение относится к средствам извлечения информации из текстовых данных. 
Основная идея подхода для извлечения ключевых словосочетаний заключается в совместном использовании тематического моделирования на основе латентного размещения Дирихле (Latent Dirichlet Allocation, LDA) для оценки отношения кандидатов в ключевые словосочетания к определенной тематике (группировка всех кандидатов в ключевые словосочетания в пространстве) и расчета семантической близости для оценки смыслового (семантического) сходства кандидатов в ключевые словосочетания (семантический вектор ключевого словосочетания формируется на основе векторизации BERT). 
Способ извлечения ключевых словосочетаний из текстовых данных реализуется в несколько последовательных этапов, при этом на первом этапе осуществляют извлечение кандидатов в ключевые словосочетания путем формирования и преобразования именных групп, на втором этапе производят нормализацию извлеченных текстовых данных, включая приведение слов к нормальной словоформе (изменение падежа, числа), исправление регистра и обработку ошибок синтаксического парсера, на третьем этапе осуществляют фильтрацию словосочетаний-кандидатов, на четвертом этапе производят выбор ключевых словосочетаний, в том числе за счет проведения тематического моделирования для оценки принадлежности кандидатов в ключевые словосочетания к определенной тематике, и расчет семантической близости для оценки семантического (смыслового) сходства кандидатов в ключевые словосочетания друг с другом, на пятом этапе проводят окончательное формирование списка ключевых словосочетаний на базе оценки сходства векторов ключевых словосочетаний и словосочетаний-кандидатов в ключевые словосочетания.
Изобретение может использоваться в составе информационных систем в сфере обработки естественного языка
28.23.29
Программная реализация интеллектуальных систем
Алексей
Коробейников
Андреевич
"Отсутствует"
"Отсутствует"
"нет"
"нет"
"нет"
"нет"
РОССИЯ
Алексей
Пантин
Иванович
"Отсутствует"
"Отсутствует"
"нет"
"нет"
"нет"
"нет"
РОССИЯ
Елизавета
Носова
Дмитриевна
"Отсутствует"
"Отсутствует"
"нет"
"нет"
"нет"
"нет"
РОССИЯ
ООО "ЭМБЕДИКА"
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ЭМБЕДИКА"
1197746242319
Организация
Организации, учрежденные юридическими лицами или гражданами, или юридическими лицами и гражданами совместно
Общества с ограниченной ответственностью
МИСиС, НИТУ "МИСиС"
Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский технологический университет "МИСиС"
1027739439749
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения