Способ и устройство для разметки жестов жестового языка
разметка жестов компоненты жестов Распознавание жестов
Изобретение относится к информационным технологиям, в частности к устройству и способу для разметки жестов жестового языка. Техническим результатом является повышение скорости разметки за счет упрощения интерпретации компонентов жеста. Способ содержит этапы, на которых: - отображают в пользовательском интерфейсе видеофрагмент, содержащий один компонент жеста, жест или фразу жестового языка, при этом в кадре находится один говорящий в анфас, выполняющий в процессе видео по меньшей мере один жест жестового языка, при этом кадр полностью охватывает область пространства, в которой выполняется жест, и части тела говорящего, участвующие в выполнении жеста, предоставляют элемент интерфейса, обеспечивающий указание правой руки и левой руки, отображают в пользовательском интерфейсе набор визуальных представлений, характеризующих компоненты жестов, входящие в предварительно заданную систему нотации жестового языка, при этом набор визуальных представлений содержит по меньшей мере следующие блоки: блок визуальных представлений конфигурации руки, блок визуальных представлений ориентации руки, причем визуальное представление представляет собой изображение, анимированное изображение или короткое видео, упрощенно характеризующее соответствующий компонент жеста, причем по меньшей мере один блок визуальных представлений содержит подблоки визуальных представлений для каждой руки, причем подблоки сформированы согласно параметрам компонентов жеста, причем параметры компонентов жеста включают в себя тип конфигурации руки или тип ориентации руки, принимают от пользователя для жеста, содержащегося в видеофрагменте, для каждой руки, участвующей в жесте, выполненное с помощью экранного указателя указание руки и указание одного или более визуальных представлений из каждого блока визуальных представлений, для каждой руки, участвующей в жесте, формируют идентификатор жеста, соответствующий нотации этого жеста в системе нотации, согласно принятым указаниям от пользователя, соответствующим этой руке, и формируют запись в файле разметки, содержащую указание видеофрагмента и для каждой руки, участвующей в жесте, идентификатор жеста, причем набор данных, содержащий файл разметки и видеофрагменты, указанные в файле разметки, используется для машинного обучения модели распознавания жестов жестового языка, видеофрагменты используются в качестве обучающих данных, а идентификаторы жестов из файла разметки используются в качестве разметки.
Программа может использоваться в системах поддержки коммуникации глухих и слышащих во всех сферах жизнедеятельности лиц с ограниченными возможностями здоровья по слуху.
Михаил
Гриф
Геннадьевич
Профессор
Доктор технических наук
Профессор
U-2410-2019
14043746900
7941-2678
https://ciu.nstu.ru/kaf/persons/37/
0000-0003-3016-3647
РОССИЯ
Анатолий
Батаев
Андреевич
Ректор
РОССИЯ
28.23.15
Распознавание образов. Обработка изображений
28.23.25
Модели и системы обучения
28.23.37
Нейронные сети
20.23.17
Информационно-поисковые массивы. Базы данных. Манипулирование данными и файлами
01.02.EP
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
01.02.EW
COMPUTER SCIENCE, SOFTWARE ENGINEERING
01.02.EX
COMPUTER SCIENCE, THEORY & METHODS
Михаил
Гриф
Геннадьевич
РОССИЯ
Алексей
Приходько
Леонидович
РОССИЯ
МИНОБРНАУКИ РОССИИ
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
1187746579690
Петр
Мордовской
Григорьевич
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные казенные учреждения
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ"
1025401485010
АНАТОЛИЙ
БАТАЕВ
АНДРЕЕВИЧ
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения