Нейросетевой алгоритм для определения трехмерных координат ключевых точек на лице и голове из RGBD видео
Нейронная сеть Сегментация Карта глубины Облако точек RGBD TrueDepth
Отчет 51 с., 7 ч., 22 рис., 2 табл., 8 источн., 1 прил.
НЕЙРОННАЯ СЕТЬ, СЕГМЕНТАЦИЯ, КАРТА ГЛУБИНЫ, ОБЛАКО ТОЧЕК, RGB-D, TRUEDEPTH.
Объектом исследования являются нейронные сети. Предметом исследования является способ определения ключевых точек из RGB-D видео. 
Целью НИОКР является разработка нейросетевого алгоритм для определения ключевых точек на лице и голове из RGB-D видео.
В рамках договора №5018ГС1/85531 от 07 июля 2023 года по выполнению НИОКР на тему «Разработка и тестирование прототипа цифровой платформы по подбору и примерке оправ для очков» были выполнены работы:
- Построение архитектуры нейросетевых алгоритмов для определения трехмерных координат ключевых точек на лице и голове из RGB-D видео;
- Обучение нейросетевого алгоритма;
- Тестирование и валидация.
В рамках работ осуществлено (следующее):
- Разработана архитектура нейросети на основе сверточных нейросетей (CNN) при помощи разметки данных нейросети со зрительным вниманием (ViT) для выделения ключевых точек на изображениях;
- Разработан модуль записи RGB-D видео на базе технологии TrueDepth;
- Разработан программный код для восстановления естественного облака точек по картам глубины, исправляя искажения используя внутреннюю матрицу глубины;
- Разработан модуль нейронной сети обрабатывающий RGB-D видео с выходом в видео тензоров для каждого кадра (сегментация).
В рамках выполненных работ получены следующие результаты:
- Сегментация ключевых точек нейросетевым алгоритмом на лице и голове из RGB-D видео на тестовой выборке с точностью 0.83 IoU (отношение пересечения предсказанной маски с истинной к объединению этих двух масок);  
- Получены точные облака точек очищенные от сторонних объектов с помощью применения сегментационных масок для фильтрации RGB-D данных.
Все работы в рамках НИОКР проведены успешно.
Анатомический подбор и примерка оправ для очков.
28.23.15
Распознавание образов. Обработка изображений
28.23.37
Нейронные сети
50.41.25
Прикладное программное обеспечение
Роман
Мариненко
Анатольевич
"Отсутствует"
"Отсутствует"
РОССИЯ
Александр
Гамбашидзе
Мерабович
"Отсутствует"
"Отсутствует"
РОССИЯ
Александр
Нарчук
Олегович
"Отсутствует"
"Отсутствует"
РОССИЯ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ "ФОНД СОДЕЙСТВИЯ РАЗВИТИЮ МАЛЫХ ФОРМ ПРЕДПРИЯТИЙ В НАУЧНО-ТЕХНИЧЕСКОЙ СФЕРЕ"
1027739479734
СЕРГЕЙ
ПОЛЯКОВ
ГЕННАДЬЕВИЧ
Организация
Федеральное государственное бюджетное учреждение "Фонд содействия развитию малых форм предприятий в научно-технической сфере"
Федеральные государственные бюджетные учреждения
ООО "ИНФРЕЙМ"
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ИНФРЕЙМ"
1237700349182
АЛЕКСАНДР
НАРЧУК
ОЛЕГОВИЧ
Организация
Организации, учрежденные юридическими лицами или гражданами, или юридическими лицами и гражданами совместно
Общества с ограниченной ответственностью