Лингвистический анализ текстов на русском и английском языках с использованием языковых моделей на основе дистрибутивной семантики
ИЗВЛЕЧЕНИЕ ТЕРМИНОВ ПОЛНОТЕКСТОВЫЙ ПОИСК ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ТЕКСТА ЛИНГВИСТИЧЕСКИЙ АНАЛИЗ ОБРАБОТКА ЕСТЕСТВЕННОГО ЯЗЫКА
Лингвистический анализ направлен на извлечение грамматических характеристик, синтаксических связей, семантических значений данных, представленных в текстах на естественных языках. Анализ предполагает реализацию не только предобработки документов и статистические подсчеты, но и лемматизацию, частеречную разметку, извлечение именованных сущностей, контитуентный и поверхностный синтаксический парсинг.  Описанные этапы реализуются с помощью стандартной функциональности открытой библиотеки spaCy (версии 2.3) и специальной функциональности, разработанной in-house (на своих собственных вычислительных мощностях) с поддержкой обработки английского и русского языков. Лингвистический анализ позволяет осуществить обработку разного типа текстовых данных и оптимизировать подход извлечения терминов, необходимых анализа трендов в промышленных, научных и форсайт направлениях. Работа проводилась в рамках работ по гранту на реализацию программы исследовательского центра в сфере искусственного в целях достижения результата федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации» (Договор от «2» ноября 2021г No 70-2021-00139), в рамках направления исследования «Рекомендательный сервис для автоматизации аналитических процессов научно-технической деятельности», мероприятия плана «Разработка базового программного обеспечения лингвистического анализа текстов на русском и английском языках, а также базовых языковых моделей на основе дистрибутивной семантики, применимых для реализации первой очереди рекомендательного сервиса».
Используется для анализа текстов и выявления значимых терминов
Леонид
Гохберг
Маркович
Первый проректор
Доктор экономических наук
Профессор
GPT-0906-2022
6508192345
5251-0883
https://www.hse.ru/staff/gokhberg
0000-0003-3544-7219
РОССИЯ
Игорь
Соколов
Владимирович
Директор по научным исследованиям и разработкам
РОССИЯ
16.31.21
Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
20.53.19
Средства обработки и поиска информации
01.02.EP
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
Александр
Соколов
Васильевич
РОССИЯ
Илья
Кузьминов
Филиппович
РОССИЯ
Мария
Горденко
Константиновна
РОССИЯ
Михаил
Захаров
Александрович
РОССИЯ
Александр
Алешкевич
Алексеевич
РОССИЯ
Глеб
Кузьмин
Николаевич
РОССИЯ
Виктория
Игнатова
Александровна
РОССИЯ
Леонид
Гохберг
Маркович
РОССИЯ
АНАЛИТИЧЕСКИЙ ЦЕНТР ПРИ ПРАВИТЕЛЬСТВЕ РОССИЙСКОЙ ФЕДЕРАЦИИ
АВТОНОМНАЯ НЕКОММЕРЧЕСКАЯ ОРГАНИЗАЦИЯ "АНАЛИТИЧЕСКИЙ ЦЕНТР ПРИ ПРАВИТЕЛЬСТВЕ РОССИЙСКОЙ ФЕДЕРАЦИИ"
1157700000655
КОНСТАНТИН
КАЛИНИН
МИХАЙЛОВИЧ
Организация
Организации, учрежденные юридическими лицами или гражданами, или юридическими лицами и гражданами совместно
Автономные некоммерческие организации
НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", НИУ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ", ВЫСШАЯ ШКОЛА ЭКОНОМИКИ, НИУ ВШЭ, ВШЭ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ "ВЫСШАЯ ШКОЛА ЭКОНОМИКИ"
1027739630401
НИКИТА
АНИСИМОВ
ЮРЬЕВИЧ
Организация
Правительство Российской Федерации
Федеральные государственные автономные учреждения