Программный комплекс распознавания элементов русского жестового языка на основе технологий компьютерного зрения и глубокого машинного обучения
Жестовый язык сурдоперевод компьютерное зрение машинное обучение автоматизированный сурдоперевод
Программный комплекс (ПК) предназначен для распознавания статических и динамических дактилем жестового языка, а также ряда основных коммуникационных жестов на основе технологий компьютерного зрения и методов машинного обучения. В распределенной архитектуре ПК интегрированы три части: клиент (комплекс программ на устройстве), сервер (нейронные сети и datasets), хранилище жестовой информации и база метаданных. На клиенте с камеры производится видеозапись с секвенцией кадров видеопотока, детектирование ладоней и предобработка изображений с помощью Mediapipe, с выделением опорных точек, на их основе формируются обучающие наборы данных. Полученные наборы подаются на вход нейронной сети глубокого обучения(CNN). Программный комплекс нейросетевого распознавания построен на базе алгоритмов глубокого машинного обучения, с помощью библиотек, TensorFlow, OpenCV, os, NumPy. Нейронная сеть по полученным обработанным кадрам распознает статические и динамические дактили русского алфавита и совокупность статических/динамических жестов и фраз, с указанием вероятности принадлежности к классу. ПК может быть интегрирован с мобильным, десктопным или серверным приложением.
Программа предназначена для автоматизации поддержки общения при помощи жестового языка между людьми с нарушениями слуха и людьми без нарушения слуха
Михаил
Артемов
Денисович
-
Отсутствует
Отсутствует
-
57203165515
РОССИЯ
Михаил
Артемов
Денисович
-
РОССИЯ
28.23.37
Нейронные сети
01.02.EW
COMPUTER SCIENCE, SOFTWARE ENGINEERING
Лилия
Воронова
Ивановна
Общее руководство проектом, постановка задачи, разработка основных методологических положений
РОССИЯ
Иван
Челядин
Алексеевич
Разработка модулей программы распознавания и интерфейса между хранилищем данных и программой классификации статических дактилем
РОССИЯ
Вячеслав
Воронов
Игоревич
Анализ предметной области, разработка алгоритма обмена данными с клиентского приложения через API, подготовка материалов к регистрации
РОССИЯ
Никита
Белов
Вадимович
Проектирование основных модулей, реализация на языке программирования, подготовка результатов к регистрации
РОССИЯ
Михаил
Артемов
Денисович
Анализ предметной области, проектирование основных модулей, реализация на языке
РОССИЯ
ФОНД СОДЕЙСТВИЯ ИННОВАЦИЯМ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ "ФОНД СОДЕЙСТВИЯ РАЗВИТИЮ МАЛЫХ ФОРМ ПРЕДПРИЯТИЙ В НАУЧНО-ТЕХНИЧЕСКОЙ СФЕРЕ"
1027739479734
Организация
Федеральное государственное бюджетное учреждение "Фонд содействия развитию малых форм предприятий в научно-технической сфере"
Федеральные государственные бюджетные учреждения
Михаил
Артемов
Денисович
Физическое лицо
РОССИЯ