Система мониторинга и анализа поведения обучающегося во время тестирования
Большие данные Аналитика данных Глубокое обучение Машинное обучение Компьютерное зрение Искусственный интеллект Нейросеть
Цель: разработка программно-аппаратного комплекса детектирования поведенческих аномалий обучающегося во время тестирования. После изучения всех необходимых материалов, связанных с темой исследования, были выявлены наиболее встречающиеся признаки проявления стрессового состояния у испытуемых: Учащенное сердцебиение; Бегающий взгляд; Дерганность (рубленность) движений; Проявление негативных эмоций (гнев, раздражение). Таким образом, можно сделать вывод, что для достижения поставленной цели необходимо было научиться делегировать данные признаки. Но человек является невероятно сложно устроенным механизмом, который имеет свойство изменяться, учиться, реагировать на одну и ту же ситуацию по-разному в зависимости, например, от возраста, пола, так как это параметры напрямую влияют на модель поведения людей. Один и тот же человек спустя 5 лет может абсолютно по-другому реагировать на одинаковые ситуации. Также в зависимости от того мужчина это или женщина поведение может иметь радикальные отличия. Следовательно, к уже выше перечисленным признакам необходимо было добавить эти два параметра (возраст, пол). Пол, как признак, имеет всего два типа: женщина и мужчина. Возраст же, как один из критериев, влияющих на результат, взят из-за отличающейся реакции представителей разных поколений (поколение Х, миллениалы, зумеры). В результате именно на этих признаках базировался процесс детектирования поведенческих аномалий (лжи) во время прохождения тестирования.  Прежде всего был установлен полный пайплайн обработки информации.  Необходимое оборудование: записывающие видео устроиство (web-камера), с которого производится видео-трансляция. С камеры поступал видеоряд (24 кадра в секунду), обработка происходила покадрово, то есть брался каждый кадр из видео и с ним производились следующие манипуляции: Из цветного изображения выделялся только серый канал для поиска лиц на изображении. Если такие присутствовали, то возвращался кортеж из координат, которые указывали, в каком именно месте обнаружено лицо. Так же их могло быть несколько, в таких случаях возвращалось столько кортежей, сколько было определено на изображении лиц; Из общего изображения брались более частные случаи. То есть, используя координаты из прошлого этапа, были вырезаны лица, и в дальнейшем шла обработка именно этих кадров. В случае детектирования более одного лица, запускался параллельный процесс на каждого человека; После определялся сердечный ритм человека. Для этого находилась область на лбу человека, так как там отсутствует растительность, и на основе изменения интенсивности излучения зеленого цвета, рассчитывался пульс человека; На данном этапе определялся возраст тестируемых людей, для этого использовалась сверточная нейронная сеть, обученная по лицам определять возраст человека. Так как данная операция не является постоянно необходимой, было принято решение запускать этот модуль только каждый десятый кадр, что в свою очередь позволило разгрузить машинные ресурсы. Определили пол человека, с которым работали. Для этого также была обучена сверточная нейронная сеть, на вход которой подавалось лицо человека, а на выходе активировало один из нейронов, отвечающих за каждый из полов (мужчина/женщина); Затем использовалась очередная нейронная сеть, задача которой - детектировать положение зрачков, что позволяло определять положение глаз и направление взгляда; После этого шло определение эмоции. Этот этап включал в себя нейронную сеть, в которую подавалось изображение лица человека, а на выходе она должна была классифицировать одну или несколько эмоций, запечатленных на лице. После этого данная информация агрегировалась и подавалась в верхнеуровневый алгоритм, задача которого на основе полученной информации сказать лжет ли человек. Это самый сложный этап из-за своей специфики. Алгоритм смотрит на имеющиеся параметры, и на основе этого определяет является ли это поведение типичным для наблюдаемого или он находиться в стрессовой ситуации. ПУЛЬС Этот модуль использует библиотеку с открытым исходным кодом OpenCV для определения местоположения лица пользователя, а затем изолирует область лба. Данные собираются из этого места с течением времени, чтобы оценить частоту сердечных сокращений пользователя. Это делается путем измерения средней оптической интенсивности в области лба только в зеленом канале фрагмента изображения (может существовать лучшее соотношение смешивания цветов, но синий канал имеет тенденцию быть очень шумным). Таким образом можно оценить физиологические данные благодаря характеристикам оптического поглощения гемоглобина. При хорошем освещении и минимальном уровне шума из-за движения стабильное сердцебиение должно быть изолировано примерно за 15 секунд. После оценки частоты пульса пользователя также вычисляется изменение фазы в реальном времени, связанное с этой частотой. Это позволяет предугадывать сердцебиение при рендеринге кадра постобработки, заставляя выделенное место на лбу пульсировать синхронно с собственным сердцебиением пользователя.  Для определения возраста была обучена сверточная нейронная сеть. Такие модели отлично подходят для анализа изображений из-за своего способа получения признаков. Они проходят по изображению ядром определенного размера, и сворачивают или разворачивают изображение, получая на первых сферах признаки низкого уровня, некоторые отдельные части изображения, явно указывающие на тот или иной объект. Так свертки признаков аккумулируют в себе эти признаки и анализируют более полную картину с увеличением номера. Также в зависимости от задачи можно использовать как анализ всех каналов изображения (стандартно RGB), так и взять только один канал. Так для поставленной задачи был взят датасет лиц с разметкой на их возраст, и обучена модель на этих данных. После сверточного модуля шла полносвязная часть модели, чья задача заключалась в анализе всех полученных признаков и таким образом решалась задача регрессии. Благодаря этому было достигнуто 90% accuracy на корпусе данных. Для задачи определения пола на выбор было два варианта: анализировать изображения или обрабатывать аудио дорожку с голосом. Первым происходило определение пола тестируемого по изображению. Для этого также использовались сверточные нейронные сети, но уже с классификацией на два класса (мужчина/женщина). Также был взять датасет лиц с разметкой на их пол. При обучении были достигнуты хорошие результаты 91% accuracy на собственных данных. Также были разработаны подходы для определения пола по голосу. Для этого использовались два метода, первый из которых заключался в следующих этапах: Преобразовывалась аудиосигнал в мел спектральное представление(MFCC). В основе этого метода лежит преобразование Фурье; MFCC подавались в модель с разметкой кто где говорит. Таким образом обучая её. Эта архитектура также базировалась на сверточных нейронных сетях; С уже полученной моделью подавались MFCC в неё, и получался класс. Эта давало отличную точность (95% accuracy). Второй метод заключался в экстрактинге d-векторов, а именно: Для получения d-векторов использовалась предобученная модель. Эта модель была обучена на огромном корпусе госов, а после был убран ее последний слой, что позволило получать скрытое представление каждой аудио дорожки; После получения всех векторов, рассчитывалось косинусное расстояние с заранее подготовленным вектором определенного пола; На основе этого получалось распределение каждого фрагмента в плоскости, что позволило легко кластеризовать их на два класса и получить отличный результат в классификации полов (97% accuracy). Но у этого подхода есть один явный минус: голоса людей смешиваются, перекрывают или вовсе отсутствуют, что усложняет получение необходимых данных для такого анализа.  Для определения направления взгляда была использована сверточная нейронная сеть, обученная находить глаза человека и его зрачки. И уже на основе этих данных рассчитывалось отклонение в ту или иную сторону, что позволяло определить направление взгляда человека.  Для задачи определения эмоций была также использована сверточная нейронная сеть для задачи классификации. Был взять корпус данных, содержащий человеческий лица и разметку на предмет эмоций запечатленных на них. Выбраны были следующие эмоции для классификации: злость, отвращение, испуг, счастье, нейтральность, грусть, удивление. Такой спектр эмоций наилучших образом описывает, что испытывает человек, так как является базовым набором, что позволяет наиболее точно определить это состояние. Обучив модель таким образом, получилось достичь результата 89% accuracy на собственном домене. Все вышеперечисленное позволило достичь необходимых, а где-то даже желаемых, результатов в детектировании ложного поведения у людей. Сейчас более плотно исследуется область звука, считая что она тоже может внести свой вклад в дело. Тембр голоса, паузы между словами - всё это может внести свой вклад и помочь разобраться в таком сложном устройстве человеческого организма.
Средний и крупный бизнес, государственные и частные организации, работающие в сфере образования, а именно: корпоративные  и частные учебные центры, инновационные образовательные организации (например, в инфраструктуре УНТИ), школы, ВУЗы и иные.
Елизавета
Пыдык
Валерьевна
Руководитель проекта
Отсутствует
Отсутствует
-
-
РОССИЯ
Елизавета
Пыдык
Валерьевна
Руководитель проекта
РОССИЯ
28.23.37
Нейронные сети
02.02.ES
COMPUTER SCIENCE, HARDWARE & ARCHITECTURE
Александр
Гайворонский
Петрович
Разработка ядра программы
РОССИЯ
Елизавета
Пыдык
Валерьевна
Разработка модулей программы
РОССИЯ
ФОНД СОДЕЙСТВИЯ ИННОВАЦИЯМ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ "ФОНД СОДЕЙСТВИЯ РАЗВИТИЮ МАЛЫХ ФОРМ ПРЕДПРИЯТИЙ В НАУЧНО-ТЕХНИЧЕСКОЙ СФЕРЕ"
1027739479734
СЕРГЕЙ
ПОЛЯКОВ
ГЕННАДЬЕВИЧ
Организация
Федеральное государственное бюджетное учреждение "Фонд содействия развитию малых форм предприятий в научно-технической сфере"
Федеральные государственные бюджетные учреждения
Елизавета
Пыдык
Валерьевна
Физическое лицо
РОССИЯ