Интегральная система распознавания аудиовизуальной речи с использованием глубоких нейронных сетей
Автоматическое распознавание аудиовизуальной речи
Программное обеспечение предназначено для обработки аудиовизуальных речевых видеоданных. Максимальная частота кадров – 60 кадров в секунду. Поддерживаемая цветность – 24 бита на пиксель. Программное обеспечение работает на x64-совместимых компьютерах под управлением 64-разрядных версий операционных систем (ОС) Microsoft Windows 8 и выше, а также под управлением Ubuntu 18.04 и выше.
Программное обеспечение выполняет следующие функции:
-	извлечение видеокадров из видеофайлов сессий записи;
-	извлечение области губ;
-	получение временных меток голосовой активности;
-	разбиение и разметка аудиовизуальных данных на основе полученной информации;
-	формирования обучающей, валидационной и тестовой выборок;
-	обучение моделей аудиовизуального распознавания.
Цифровая обработка изображений, автоматическое распознавание визуальной речи, машинное обучение, нейронные сети.
Денис
Иванько
Викторович
старший научный сотрудник
Отсутствует
Отсутствует
AAX-9143-2021
57190967993
РОССИЯ
Андрей
Ронжин
Леонидович
директор
РОССИЯ
28.23.29
Программная реализация интеллектуальных систем
28.23.15
Распознавание образов. Обработка изображений
16.31.21
Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
01.02.EP
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
Денис
Иванько
Викторович
Разработка всей программы в целом
РОССИЯ
СПБ ФИЦ РАН; ФГБУН СПБ ФИЦ РАН
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"
1027800514411
АНДРЕЙ
РОНЖИН
ЛЕОНИДОВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения
СПБ ФИЦ РАН; ФГБУН СПБ ФИЦ РАН
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"
1027800514411
АНДРЕЙ
РОНЖИН
ЛЕОНИДОВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения