Определение эмоционального состояния обучаемого-ребенка в цифровой образовательной среде по статическим изображениям с применением нейросети
Аннотация
В статье описаны исследования возможности распознавания детских эмоций на основе сверточных нейронных сетей для использования в цифровых образовательных средах таких как, например, ЦОС “ПиктоМир”. Рассмотрены альтернативные решения и изложен опыт создания собственной нейронной сети, обученной на экспериментальном наборе данных. Приводятся результаты тестирования системы с помощью различных метрик на основе валидационного набора данных и сравнение полученных результатов с наиболее популярными алгоритмами распознавания эмоций. Сделаны выводы о направлении дальнейших исследований, в частности, необходимость расширения обучающего набора данных, предложены дальнейшие шаги к доработке с целью интеграции в образовательную среду “ПиктоМир”.
Об авторах
М. С. ДьяченкоРоссия
Москва
А. Г. Леонов
Россия
Москва
М. В. Райко
Россия
Москва
А. А. Холькина
Россия
Москва
Список литературы
1. Е. Хрисанфова. Независимое издание о технологиях и бизнесе RB.RU [Электронный ресурс]: Эмоциональный ИИ: кто и зачем распознаёт эмоции в России и за рубежом. https://rb.ru/longread/emotion-ai/.
2. Ю. Н. Харари. 21 урок для XXI века. Синдбад, 2019. с. 52.
3. А Сергунов, Д.И., А.А. Артёмова и С.С. Гришунов. Система распознавания эмоций по голосу на основе сверточной нейронной сети. E-Scio, 7, 2019. https://cyberleninka.ru/article/n/sistema-raspoznavaniya-emotsiy-po-golosu-na-osnove-svertochnoy-neyronnoy-seti/viewer.
4. Галичий, Д.А., Г.И. Афанасьев и Ю.Г. Нестеров. Распознавание эмоций человека при помощи современных методов глубокого обучения. E-Scio, 5, 2019. https://cyberleninka.ru/article/n/raspoznavanie-emotsiy-cheloveka-pri-pomoschi-sovremennyh-metodov-glubokogo-obucheniya/viewer.
5. M. Singh, S. K. Sharma, S. Paul, J. P Sajeevan, S.Paul. Facial emotion recognition system. IJARIIE-ISSN(O)-2395-4396, Vol-6 Issue-6, 2020. https://www.researchgate.net/publication/347797356_FACIAL_EMOTION_RECOGNITION_SYSTEM
6. Сайт сервиса “Emojify” [Электронный ресурс]. https://emojify.info/menu. (дата обращения: 01.08.2022)
7. Сайт сервиса “EmoDetect” [Электронный ресурс]. https://emodetect.ru. (дата обращения: 01.08.2022)
8. Репозиторий “EmoPy” [Электронный ресурс]. https://github.com/thoughtworksarts/EmoPy. (дата обращения: 01.08.2022)
9. Набор данных с эмоциями “FER+” [Электронный ресурс]. https://github.com/Microsoft/FER-Plus. (дата обращения: 01.08.2022)
10. Оптимизатор Adam [Электронный ресурс]. https://pytorch.org/docs/stable/generated/torch.optim.Adam.html. (дата обращения: 01.08.2022)
11. Иванов, И.А., Е.А. Сопов, И.А. Панфилов. Многокритериальный подход к проектированию ансамбля нейросетевых классификаторов с отбором информативных признаков для решения задачи распознавания эмоций. Сибирский аэрокосмический журнал, 4, 2015. https://cyberleninka.ru/article/n/mnogokriterialnyy-podhod-k-proektirovaniyu-ansamblya-neyrosetevyh-klassifikatorov-s-otborom-informativnyh-priznakov-dlya-resheniya/viewer.
12. Курицкий, В.Ю., С.В. Садов. Нейросетевой алгоритм распознавания эмоций человека по изображению лица. Компьютерные технологии и анализ данных (CTDA’2020): материалы II Междунар. науч.-практ. конф., Минск, 2020: БГУ https://elib.bsu.by/bitstream/123456789/248683/1/245-248.pdf.
Рецензия
Для цитирования:
Дьяченко М.С., Леонов А.Г., Райко М.В., Холькина А.А. Определение эмоционального состояния обучаемого-ребенка в цифровой образовательной среде по статическим изображениям с применением нейросети. Труды НИИСИ. 2022;12(3):13-19.
For citation:
Diachenko M.S., Leonov A.G., Rayko M.V., Kholkina A.A. Determining the Emotional State of a Student-Child in a Digital Educational Environment From Static Images Using a Neural Network. SRISA Proceedings. 2022;12(3):13-19. (In Russ.)