Preview

Труды НИИСИ

Расширенный поиск

Определение эмоционального состояния обучаемого-ребенка в цифровой образовательной среде по статическим изображениям с применением нейросети

Аннотация

В статье описаны исследования возможности распознавания детских эмоций на основе сверточных нейронных сетей для использования в цифровых образовательных средах таких как, например, ЦОС “ПиктоМир”. Рассмотрены альтернативные решения и изложен опыт создания собственной нейронной сети, обученной на экспериментальном наборе данных. Приводятся результаты тестирования системы с помощью различных метрик на основе валидационного набора данных и сравнение полученных результатов с наиболее популярными алгоритмами распознавания эмоций. Сделаны выводы о направлении дальнейших исследований, в частности, необходимость расширения обучающего набора данных, предложены дальнейшие шаги к доработке с целью интеграции в образовательную среду “ПиктоМир”.

Об авторах

М. С. Дьяченко
ФГУ ФНЦ НИИСИ РАН
Россия

Москва



А. Г. Леонов
ФГУ ФНЦ НИИСИ РАН; МГУ им. М. В. Ломоносова; МПГУ; Государственный университет управления
Россия

Москва



М. В. Райко
ФГУ ФНЦ НИИСИ РАН
Россия

Москва



А. А. Холькина
ФГУ ФНЦ НИИСИ РАН
Россия

Москва



Список литературы

1. Е. Хрисанфова. Независимое издание о технологиях и бизнесе RB.RU [Электронный ресурс]: Эмоциональный ИИ: кто и зачем распознаёт эмоции в России и за рубежом. https://rb.ru/longread/emotion-ai/.

2. Ю. Н. Харари. 21 урок для XXI века. Синдбад, 2019. с. 52.

3. А Сергунов, Д.И., А.А. Артёмова и С.С. Гришунов. Система распознавания эмоций по голосу на основе сверточной нейронной сети. E-Scio, 7, 2019. https://cyberleninka.ru/article/n/sistema-raspoznavaniya-emotsiy-po-golosu-na-osnove-svertochnoy-neyronnoy-seti/viewer.

4. Галичий, Д.А., Г.И. Афанасьев и Ю.Г. Нестеров. Распознавание эмоций человека при помощи современных методов глубокого обучения. E-Scio, 5, 2019. https://cyberleninka.ru/article/n/raspoznavanie-emotsiy-cheloveka-pri-pomoschi-sovremennyh-metodov-glubokogo-obucheniya/viewer.

5. M. Singh, S. K. Sharma, S. Paul, J. P Sajeevan, S.Paul. Facial emotion recognition system. IJARIIE-ISSN(O)-2395-4396, Vol-6 Issue-6, 2020. https://www.researchgate.net/publication/347797356_FACIAL_EMOTION_RECOGNITION_SYSTEM

6. Сайт сервиса “Emojify” [Электронный ресурс]. https://emojify.info/menu. (дата обращения: 01.08.2022)

7. Сайт сервиса “EmoDetect” [Электронный ресурс]. https://emodetect.ru. (дата обращения: 01.08.2022)

8. Репозиторий “EmoPy” [Электронный ресурс]. https://github.com/thoughtworksarts/EmoPy. (дата обращения: 01.08.2022)

9. Набор данных с эмоциями “FER+” [Электронный ресурс]. https://github.com/Microsoft/FER-Plus. (дата обращения: 01.08.2022)

10. Оптимизатор Adam [Электронный ресурс]. https://pytorch.org/docs/stable/generated/torch.optim.Adam.html. (дата обращения: 01.08.2022)

11. Иванов, И.А., Е.А. Сопов, И.А. Панфилов. Многокритериальный подход к проектированию ансамбля нейросетевых классификаторов с отбором информативных признаков для решения задачи распознавания эмоций. Сибирский аэрокосмический журнал, 4, 2015. https://cyberleninka.ru/article/n/mnogokriterialnyy-podhod-k-proektirovaniyu-ansamblya-neyrosetevyh-klassifikatorov-s-otborom-informativnyh-priznakov-dlya-resheniya/viewer.

12. Курицкий, В.Ю., С.В. Садов. Нейросетевой алгоритм распознавания эмоций человека по изображению лица. Компьютерные технологии и анализ данных (CTDA’2020): материалы II Междунар. науч.-практ. конф., Минск, 2020: БГУ https://elib.bsu.by/bitstream/123456789/248683/1/245-248.pdf.


Рецензия

Для цитирования:


Дьяченко М.С., Леонов А.Г., Райко М.В., Холькина А.А. Определение эмоционального состояния обучаемого-ребенка в цифровой образовательной среде по статическим изображениям с применением нейросети. Труды НИИСИ. 2022;12(3):13-19.

For citation:


Diachenko M.S., Leonov A.G., Rayko M.V., Kholkina A.A. Determining the Emotional State of a Student-Child in a Digital Educational Environment From Static Images Using a Neural Network. SRISA Proceedings. 2022;12(3):13-19. (In Russ.)

Просмотров: 17


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2225-7349 (Print)
ISSN 3033-6422 (Online)