Способ многомодального бесконтактного управления мобильным информационным роботом
МНОГОМОДАЛЬНОЕ УПРАВЛЕНИЯ, БЕСКОНТАКТНОЕ УПРАВЛЕНИЕ, РАСПОЗНАВАНИЕ ЖЕСТОВ, РАСПОЗНАВАНИЕ РЕЧИ
Изобретение относится к области искусственного интеллекта, а именно к человеко-машинному взаимодействию. Изобретение способно обрабатывать естественные управляющие жесты рук, элементы жестового языка глухих людей, а также управляющие речевые команды. В роли приемника видеосигнала выступает устройство, способное получать цветные видеоданные и карту глубины. В роли приемника аудиосигнала выступает устройство, способное получать аудиоданные. Данные устройства получения сигналов устанавливают на мобильный информационный робот. Техническая проблема, решение которой обеспечивается настоящим изобретением, заключается в необходимости расширения функциональности мобильного информационного робота за счет использования многомодального человеко-машинного взаимодействия, под которым понимается управление мобильным информационным роботом через комбинирование аудио и видео модальностей. Технический результат достигается за счет комбинированной обработки видео- и аудиоинформации от пользователя.
Изобретение может быть использовано в любой ситуации, где необходимо бесконтактное взаимодействие различных групп пользователей, включая людей с ограниченными возможностями по слуху и зрению, с мобильными информационными роботами посредством автоматического распознавания жестовой и речевой информации
Карпов А.А.
г.н.с.
Доктор технических наук
Ронжин А.Л.
Директор
28.23.15
Распознавание образов. Обработка изображений
28.23.27
Интеллектуальные робототехнические системы
16.31.21
Автоматическая обработка текста. Автоматический перевод. Автоматическое распознавание речи
01.02.EP
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE
Дмитрий
Рюмин
Александрович
Разработка метода распознавания жестов
Алексей
Карпов
Анатольевич
Разработка функциональной схемы способа многомодального бесконтактного управления
Ильдар
Кагиров
Амирович
Аннотирование форм рук для вычисления визуальных признаков
Ирина
Кипятков
Сергеевна
Разработка метода распознавания речи
Александр
Аксёнов
Александрович
Разработка метода обнаружения лиц и рук пользователей
Минобрнауки России
Министерство образования и науки Российской Федерации
1047796287440
Организация
Министерство образования и науки Российской Федерации
Федеральные государственные казенные учреждения
СПБ ФИЦ РАН; ФГБУН СПБ ФИЦ РАН
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ "САНКТ-ПЕТЕРБУРГСКИЙ ФЕДЕРАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК"
1027800514411
Организация
Министерство науки и высшего образования Российской Федерации
Федеральные государственные бюджетные учреждения