Корпус аудиовизуальных русскоязычных данных людей в защитных масках (BRAVE-MASKS - Biometric Russian Audio-Visual Extended MASKS corpus)
медицинская маска бимодальная биометрия аудиовизуальное распознавание речевые технологии Анализ аудио- и видеоданных
Корпус BRAVE-MASKS, содержит разноракурсные изображения лиц людей в различных вариациях защитных масок, а также аудиозаписи слитной русской речи людей в масках. База данных предназначена для анализа лицевых и голосовых характеристик диктора в маске и без, для обучения и тестирования системы автоматического распознавания наличия маски, распознавания типа маски, а также бимодальной верификации и идентификации дикторов. Запись корпуса проводилась посредством двух смартфонов Apple iPhone XS Max и планшета Apple iPad Pro в офисных условиях на разнородном фоне. Все видеофайлы были обработаны экспертом и разбиты на группы в зависимости от используемой информантом маски.
Записанная база данных имеет следующие параметры: 30 информантов (15 женщин и 15 мужчин) разных возрастов (от 19 до 86 лет, средний возраст – 40 лет). Общее количество вариаций защитных масок и респираторов составляет 33 штуки (одноразовые медицинские маски разных цветов, многоразовые тканевые маски различных цветов с рисунками и без, медицинские и строительные респираторы и другие средства защиты слизистых поверхностей, в которых лицо остается частично видимым). Каждому информанту предоставлялось 5 разных защитных масок. После этого, каждый диктор проговаривал 83 высказывания в течение 6 сессий. Итого – 498 высказываний. Суммарная длительность всех речевых высказываний c 3-х устройств записи для каждого диктора составляет приблизительно 130 минут. Затем, используя эти же маски, записывались вращения головой с 7 различных точек в комнате (с расстояния 1, 2 и 3 метра под разными углами). Оптическое разрешение видеоданных – 4K 3840x2160 пикселей, частота кадров – 30 (для планшета) и 60 (для смартфонов) кадров в секунду, цветность – 24 бита на пиксель. Аудиофайлы без сжатия в формате PCM WAV с частотой дискретизации 48 кГц, 16 бит на отсчет.
Цифровая обработка изображений, распознавание образов, автоматическое распознавание визуальной речи, многомодальные интерфейсы, машинное обучение, нейронные сети, биометрия, распознавание типа маски, распознавание наличия маски.
Алексей
Карпов
Анатольевич
главный научный сотрудник
Доктор технических наук
Доцент
A-8905-2012
57195330987
РОССИЯ
Андрей
Ронжин
Леонидович
директор
РОССИЯ
28.23.29
Программная реализация интеллектуальных систем
28.23.15
Распознавание образов. Обработка изображений
16.31.21
Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
01.02.EP
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
Дмитрий
Рюмин
Александрович
Организация процесса записи базы данных
РОССИЯ
Алексей
Карпов
Анатольевич
Постановка задачи
РОССИЯ
Максим
Маркитантов
Викторович
Разработка методологии записи базы данных
РОССИЯ
Елена
Рюмина
Витальевна
Организация процесса записи базы данных
РОССИЯ
СПБ ФИЦ РАН; ФГБУН СПБ ФИЦ РАН
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"
1027800514411
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения