Программное обеспечение для предварительной обработки аудиовизуальных данных для аннотирования вовлеченности участников телеконференций
распознавание речи речевые технологии обработка и анализ аудио- и видеоданных
Программное обеспечение предназначено для обработки видео- и аудиоданных для последующего их аннотирования по классам вовлеченности (не вовлечен, слабо вовлечен, вовлечен) участников телеконференций, например zoom, Яндекс.Телемост, СберМитап. Под вовлеченностью понимается проявление эмоциональной, когнитивной и поведенческой составляющей человека в процессе взаимодействия с собеседником или компьютерной системой, имеющее динамический характер и возможность варьирования степени проявления в процессе взаимодействий. Программа позволяет нарезать видеофрагменты в соответствии с временными метками и с сетками координат для выделения одного диктора в кадре, также объединять видео и аудиодорожки для каждого участника телеконференции и извлекать текстовые транскрипции речи дикторов с временными метками.
Цифровая обработка аудио- и видеоданных, аннотирование данных, многомодальные интерфейсы, машинное обучение, нейронные сети.
Алексей
Карпов
Анатольевич
главный научный сотрудник
Доктор технических наук
Доцент
A-8905-2012
57195330987
РОССИЯ
Андрей
Ронжин
Леонидович
директор
РОССИЯ
28.23.29
Программная реализация интеллектуальных систем
28.23.15
Распознавание образов. Обработка изображений
16.31.21
Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
01.02.EP
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
Анастасия
Двойникова
Александровна
Разработка программного модуля.
РОССИЯ
Александр
Аксенов
Александрович
Разработка программного модуля.
КАЗАХСТАН
Алексей
Карпов
Анатольевич
Формализация задачи.
РОССИЯ
МИНОБРНАУКИ РОССИИ
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
1187746579690
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные казенные учреждения
СПБ ФИЦ РАН; ФГБУН СПБ ФИЦ РАН
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"
1027800514411
АНДРЕЙ
РОНЖИН
ЛЕОНИДОВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения