Determining the Emotional State of a Student-Child in a Digital Educational Environment From Static Images Using a Neural Network
Abstract
The article describes research on the possibility of recognizing children's emotions based on convolutional neural networks for use in digital educational environments such as, PiktoMir. Alternative solutions are considered and the experience of creating your own neural network trained on an experimental data set is presented. The results of testing the system using various metrics based on the validation data set and comparing the results with the most popular emotion recognition algorithms are presented. Conclusions are drawn on the direction of further research, in particular, the need to expand the training data set, further steps are proposed for refinement in order to integrate into the PiktoMir educational environment.
About the Authors
M. S. DiachenkoRussian Federation
A. G. Leonov
Russian Federation
M. V. Rayko
Russian Federation
A. A. Kholkina
Russian Federation
References
1. Е. Хрисанфова. Независимое издание о технологиях и бизнесе RB.RU [Электронный ресурс]: Эмоциональный ИИ: кто и зачем распознаёт эмоции в России и за рубежом. https://rb.ru/longread/emotion-ai/.
2. Ю. Н. Харари. 21 урок для XXI века. Синдбад, 2019. с. 52.
3. А Сергунов, Д.И., А.А. Артёмова и С.С. Гришунов. Система распознавания эмоций по голосу на основе сверточной нейронной сети. E-Scio, 7, 2019. https://cyberleninka.ru/article/n/sistema-raspoznavaniya-emotsiy-po-golosu-na-osnove-svertochnoy-neyronnoy-seti/viewer.
4. Галичий, Д.А., Г.И. Афанасьев и Ю.Г. Нестеров. Распознавание эмоций человека при помощи современных методов глубокого обучения. E-Scio, 5, 2019. https://cyberleninka.ru/article/n/raspoznavanie-emotsiy-cheloveka-pri-pomoschi-sovremennyh-metodov-glubokogo-obucheniya/viewer.
5. M. Singh, S. K. Sharma, S. Paul, J. P Sajeevan, S.Paul. Facial emotion recognition system. IJARIIE-ISSN(O)-2395-4396, Vol-6 Issue-6, 2020. https://www.researchgate.net/publication/347797356_FACIAL_EMOTION_RECOGNITION_SYSTEM
6. Сайт сервиса “Emojify” [Электронный ресурс]. https://emojify.info/menu. (дата обращения: 01.08.2022)
7. Сайт сервиса “EmoDetect” [Электронный ресурс]. https://emodetect.ru. (дата обращения: 01.08.2022)
8. Репозиторий “EmoPy” [Электронный ресурс]. https://github.com/thoughtworksarts/EmoPy. (дата обращения: 01.08.2022)
9. Набор данных с эмоциями “FER+” [Электронный ресурс]. https://github.com/Microsoft/FER-Plus. (дата обращения: 01.08.2022)
10. Оптимизатор Adam [Электронный ресурс]. https://pytorch.org/docs/stable/generated/torch.optim.Adam.html. (дата обращения: 01.08.2022)
11. Иванов, И.А., Е.А. Сопов, И.А. Панфилов. Многокритериальный подход к проектированию ансамбля нейросетевых классификаторов с отбором информативных признаков для решения задачи распознавания эмоций. Сибирский аэрокосмический журнал, 4, 2015. https://cyberleninka.ru/article/n/mnogokriterialnyy-podhod-k-proektirovaniyu-ansamblya-neyrosetevyh-klassifikatorov-s-otborom-informativnyh-priznakov-dlya-resheniya/viewer.
12. Курицкий, В.Ю., С.В. Садов. Нейросетевой алгоритм распознавания эмоций человека по изображению лица. Компьютерные технологии и анализ данных (CTDA’2020): материалы II Междунар. науч.-практ. конф., Минск, 2020: БГУ https://elib.bsu.by/bitstream/123456789/248683/1/245-248.pdf.
Review
For citations:
Diachenko M.S., Leonov A.G., Rayko M.V., Kholkina A.A. Determining the Emotional State of a Student-Child in a Digital Educational Environment From Static Images Using a Neural Network. SRISA Proceedings. 2022;12(3):13-19. (In Russ.)