Интеллектуальная система многомодального анализа аффективных состояний человека (MASAI – Intelligent system for Multimodal Affective States Analysis)
автоматическое распознавание речи , распознавание образов цифровая обработка изображений анализ сентимента анализ эмоций многомодальное распознавание речевые технологии Анализ аудио- и видео-  и текстовых данных
Интеллектуальная система MASAI предназначена для многомодального анализа аффективных состояний человека, включая базовые эмоции (удивление, злость, печаль, страх, отвращение, счастье), нейтральное состояние и сентимент (отрицательный, нейтральный, положительный) на основе аудио-, видео- и текстовой информации, получаемой с видеокамеры или из мультимедийных файлов. Результаты многомодального анализа визуализируются в виде непрерывных графиков, сопоставленных с данными, на основании которых они были получены. Интеллектуальная система функционирует в режиме, приближенном к реальному времени. Программное обеспечение работает на x64-совместимых компьютерах под управлением 64-разрядных версий операционных систем Microsoft Windows 10 и выше, а также Ubuntu 22.04 и выше. MASAI последовательно анализирует каждый источник информации, проводит их предварительную обработку, включая сегментацию данных, обнаружение лицевых областей, детекцию речевой активности, автоматическое распознавание речи (получение транскрипции), извлечение релевантных признаков и гипотез предсказаний, а также их объединение. Система разработана при финансовой поддержке Российского научного фонда (проект № 22-11-00321).
Анализ аудио- и видео- и текстовых данных, речевые технологии, многомодальное распознавание эмоций и сентимента, анализ эмоций, анализ сентимента, таргетированная реклама, чат-боты
Алексей
Карпов
Анатольевич
Главный научный сотрудник
Доктор технических наук
Профессор
A-8905-2012
57195330987
РОССИЯ
Андрей
Ронжин
Леонидович
И.о.директора
РОССИЯ
28.17.19
Математическое моделирование
28.23.29
Программная реализация интеллектуальных систем
28.23.15
Распознавание образов. Обработка изображений
16.31.21
Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
Алексей
Карпов
Анатольевич
"Доктор технических наук"
"Профессор"
"A-8905-2012"
"57195330987"
"155195"
"0000-0003-3424-652X"
РОССИЯ
Анастасия
Двойникова
Александровна
"Отсутствует"
"Отсутствует"
"-"
"57215057804"
"-"
РОССИЯ
Елена
Рюмина
Витальевна
"Отсутствует"
"Отсутствует"
"-"
"57220572427"
"0000-0002-4135-6949"
РОССИЯ
Максим
Маркитантов
Викторович
"Отсутствует"
"Отсутствует"
"-"
"57210791723"
"0000-0001-7987-1025"
РОССИЯ
Денис
Иванько
"Кандидат технических наук"
"Отсутствует"
"AAX-9143-2021"
"57190967993"
"0000-0003-0412-7765"
РОССИЯ
Дмитрий
Рюмин
Александрович
"Кандидат технических наук"
"Отсутствует"
"AAY-5730-2020"
"57191960214"
"910467"
"https://hci.nw.ru/ru/employees/3"
"0000-0002-7935-0569"
РОССИЯ
РНФ
Российский научный фонд
1137799022261
Организация
Организации, учрежденные юридическими лицами или гражданами, или юридическими лицами и гражданами совместно
Фонды
СПБ ФИЦ РАН; ФГБУН СПБ ФИЦ РАН
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"
1027800514411
АНДРЕЙ
РОНЖИН
ЛЕОНИДОВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения