<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">trudyniisi</journal-id><journal-title-group><journal-title xml:lang="ru">Труды НИИСИ</journal-title><trans-title-group xml:lang="en"><trans-title>SRISA Proceedings</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">2225-7349</issn><issn pub-type="epub">3033-6422</issn><publisher><publisher-name>НИЦ «КУРЧАТОВСКИЙ ИНСТИТУТ» - НИИСИ</publisher-name></publisher></journal-meta><article-meta><article-id custom-type="elpub" pub-id-type="custom">trudyniisi-13</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В УЧЕБНОЙ ИНФОРМАТИКЕ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>INFORMATION TECHNOLOGY IN EDUCATIONAL INFORMATICS</subject></subj-group></article-categories><title-group><article-title>Определение эмоционального состояния обучаемого-ребенка в цифровой образовательной среде по статическим изображениям с применением нейросети</article-title><trans-title-group xml:lang="en"><trans-title>Determining the Emotional State of a Student-Child in a Digital Educational Environment From Static Images Using a Neural Network</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Дьяченко</surname><given-names>М. С.</given-names></name><name name-style="western" xml:lang="en"><surname>Diachenko</surname><given-names>M. S.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Москва</p></bio><email xlink:type="simple">Mdyachenko@niisi.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Леонов</surname><given-names>А. Г.</given-names></name><name name-style="western" xml:lang="en"><surname>Leonov</surname><given-names>A. G.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Москва</p></bio><email xlink:type="simple">dr.l@vip.niisi.ru</email><xref ref-type="aff" rid="aff-2"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Райко</surname><given-names>М. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Rayko</surname><given-names>M. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Москва</p></bio><email xlink:type="simple">rayko@niisi.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Холькина</surname><given-names>А. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Kholkina</surname><given-names>A. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Москва</p></bio><email xlink:type="simple">kholkina@niisi.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff xml:lang="ru" id="aff-1"><institution>ФГУ ФНЦ НИИСИ РАН</institution><country>Russian Federation</country></aff><aff xml:lang="ru" id="aff-2"><institution>ФГУ ФНЦ НИИСИ РАН; МГУ им. М. В. Ломоносова; МПГУ; Государственный университет управления</institution><country>Russian Federation</country></aff><pub-date pub-type="collection"><year>2022</year></pub-date><pub-date pub-type="epub"><day>15</day><month>10</month><year>2025</year></pub-date><volume>12</volume><issue>3</issue><fpage>13</fpage><lpage>19</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Дьяченко М.С., Леонов А.Г., Райко М.В., Холькина А.А., 2025</copyright-statement><copyright-year>2025</copyright-year><copyright-holder xml:lang="ru">Дьяченко М.С., Леонов А.Г., Райко М.В., Холькина А.А.</copyright-holder><copyright-holder xml:lang="en">Diachenko M.S., Leonov A.G., Rayko M.V., Kholkina A.A.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.t-niisi.ru/jour/article/view/13">https://www.t-niisi.ru/jour/article/view/13</self-uri><abstract><p>В статье описаны исследования возможности распознавания детских эмоций на основе сверточных нейронных сетей для использования в цифровых образовательных средах таких как, например, ЦОС “ПиктоМир”. Рассмотрены альтернативные решения и изложен опыт создания собственной нейронной сети, обученной на экспериментальном наборе данных. Приводятся результаты тестирования системы с помощью различных метрик на основе валидационного набора данных и сравнение полученных результатов с наиболее популярными алгоритмами распознавания эмоций. Сделаны выводы о направлении дальнейших исследований, в частности, необходимость расширения обучающего набора данных, предложены дальнейшие шаги к доработке с целью интеграции в образовательную среду “ПиктоМир”.</p></abstract><trans-abstract xml:lang="en"><p>The article describes research on the possibility of recognizing children's emotions based on convolutional neural networks for use in digital educational environments such as, PiktoMir. Alternative solutions are considered and the experience of creating your own neural network trained on an experimental data set is presented. The results of testing the system using various metrics based on the validation data set and comparing the results with the most popular emotion recognition algorithms are presented. Conclusions are drawn on the direction of further research, in particular, the need to expand the training data set, further steps are proposed for refinement in order to integrate into the PiktoMir educational environment.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>нейросети</kwd><kwd>глубокое обучение</kwd><kwd>распознавание эмоций</kwd><kwd>классификация эмоций</kwd><kwd>ПиктоМир</kwd></kwd-group><kwd-group xml:lang="en"><kwd>neural networks</kwd><kwd>deep learning</kwd><kwd>emotion recognition</kwd><kwd>classification of emotions</kwd><kwd>PiktoMir</kwd></kwd-group><funding-group><funding-statement xml:lang="ru">Публикация выполнена в рамках государственного задания ФГУ ФНЦ НИИСИ РАН по теме № FNEF-2022-0010.</funding-statement></funding-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Е. Хрисанфова. Независимое издание о технологиях и бизнесе RB.RU [Электронный ресурс]: Эмоциональный ИИ: кто и зачем распознаёт эмоции в России и за рубежом. https://rb.ru/longread/emotion-ai/.</mixed-citation><mixed-citation xml:lang="en">Е. Хрисанфова. Независимое издание о технологиях и бизнесе RB.RU [Электронный ресурс]: Эмоциональный ИИ: кто и зачем распознаёт эмоции в России и за рубежом. https://rb.ru/longread/emotion-ai/.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Ю. Н. Харари. 21 урок для XXI века. Синдбад, 2019. с. 52.</mixed-citation><mixed-citation xml:lang="en">Ю. Н. Харари. 21 урок для XXI века. Синдбад, 2019. с. 52.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">А Сергунов, Д.И., А.А. Артёмова и С.С. Гришунов. Система распознавания эмоций по голосу на основе сверточной нейронной сети. E-Scio, 7, 2019. https://cyberleninka.ru/article/n/sistema-raspoznavaniya-emotsiy-po-golosu-na-osnove-svertochnoy-neyronnoy-seti/viewer.</mixed-citation><mixed-citation xml:lang="en">А Сергунов, Д.И., А.А. Артёмова и С.С. Гришунов. Система распознавания эмоций по голосу на основе сверточной нейронной сети. E-Scio, 7, 2019. https://cyberleninka.ru/article/n/sistema-raspoznavaniya-emotsiy-po-golosu-na-osnove-svertochnoy-neyronnoy-seti/viewer.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Галичий, Д.А., Г.И. Афанасьев и Ю.Г. Нестеров. Распознавание эмоций человека при помощи современных методов глубокого обучения. E-Scio, 5, 2019. https://cyberleninka.ru/article/n/raspoznavanie-emotsiy-cheloveka-pri-pomoschi-sovremennyh-metodov-glubokogo-obucheniya/viewer.</mixed-citation><mixed-citation xml:lang="en">Галичий, Д.А., Г.И. Афанасьев и Ю.Г. Нестеров. Распознавание эмоций человека при помощи современных методов глубокого обучения. E-Scio, 5, 2019. https://cyberleninka.ru/article/n/raspoznavanie-emotsiy-cheloveka-pri-pomoschi-sovremennyh-metodov-glubokogo-obucheniya/viewer.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">M. Singh, S. K. Sharma, S. Paul, J. P Sajeevan, S.Paul. Facial emotion recognition system. IJARIIE-ISSN(O)-2395-4396, Vol-6 Issue-6, 2020. https://www.researchgate.net/publication/347797356_FACIAL_EMOTION_RECOGNITION_SYSTEM</mixed-citation><mixed-citation xml:lang="en">M. Singh, S. K. Sharma, S. Paul, J. P Sajeevan, S.Paul. Facial emotion recognition system. IJARIIE-ISSN(O)-2395-4396, Vol-6 Issue-6, 2020. https://www.researchgate.net/publication/347797356_FACIAL_EMOTION_RECOGNITION_SYSTEM</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Сайт сервиса “Emojify” [Электронный ресурс]. https://emojify.info/menu. (дата обращения: 01.08.2022)</mixed-citation><mixed-citation xml:lang="en">Сайт сервиса “Emojify” [Электронный ресурс]. https://emojify.info/menu. (дата обращения: 01.08.2022)</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Сайт сервиса “EmoDetect” [Электронный ресурс]. https://emodetect.ru. (дата обращения: 01.08.2022)</mixed-citation><mixed-citation xml:lang="en">Сайт сервиса “EmoDetect” [Электронный ресурс]. https://emodetect.ru. (дата обращения: 01.08.2022)</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Репозиторий “EmoPy” [Электронный ресурс]. https://github.com/thoughtworksarts/EmoPy. (дата обращения: 01.08.2022)</mixed-citation><mixed-citation xml:lang="en">Репозиторий “EmoPy” [Электронный ресурс]. https://github.com/thoughtworksarts/EmoPy. (дата обращения: 01.08.2022)</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Набор данных с эмоциями “FER+” [Электронный ресурс]. https://github.com/Microsoft/FER-Plus. (дата обращения: 01.08.2022)</mixed-citation><mixed-citation xml:lang="en">Набор данных с эмоциями “FER+” [Электронный ресурс]. https://github.com/Microsoft/FER-Plus. (дата обращения: 01.08.2022)</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Оптимизатор Adam [Электронный ресурс]. https://pytorch.org/docs/stable/generated/torch.optim.Adam.html. (дата обращения: 01.08.2022)</mixed-citation><mixed-citation xml:lang="en">Оптимизатор Adam [Электронный ресурс]. https://pytorch.org/docs/stable/generated/torch.optim.Adam.html. (дата обращения: 01.08.2022)</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Иванов, И.А., Е.А. Сопов, И.А. Панфилов. Многокритериальный подход к проектированию ансамбля нейросетевых классификаторов с отбором информативных признаков для решения задачи распознавания эмоций. Сибирский аэрокосмический журнал, 4, 2015. https://cyberleninka.ru/article/n/mnogokriterialnyy-podhod-k-proektirovaniyu-ansamblya-neyrosetevyh-klassifikatorov-s-otborom-informativnyh-priznakov-dlya-resheniya/viewer.</mixed-citation><mixed-citation xml:lang="en">Иванов, И.А., Е.А. Сопов, И.А. Панфилов. Многокритериальный подход к проектированию ансамбля нейросетевых классификаторов с отбором информативных признаков для решения задачи распознавания эмоций. Сибирский аэрокосмический журнал, 4, 2015. https://cyberleninka.ru/article/n/mnogokriterialnyy-podhod-k-proektirovaniyu-ansamblya-neyrosetevyh-klassifikatorov-s-otborom-informativnyh-priznakov-dlya-resheniya/viewer.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Курицкий, В.Ю., С.В. Садов. Нейросетевой алгоритм распознавания эмоций человека по изображению лица. Компьютерные технологии и анализ данных (CTDA’2020): материалы II Междунар. науч.-практ. конф., Минск, 2020: БГУ https://elib.bsu.by/bitstream/123456789/248683/1/245-248.pdf.</mixed-citation><mixed-citation xml:lang="en">Курицкий, В.Ю., С.В. Садов. Нейросетевой алгоритм распознавания эмоций человека по изображению лица. Компьютерные технологии и анализ данных (CTDA’2020): материалы II Междунар. науч.-практ. конф., Минск, 2020: БГУ https://elib.bsu.by/bitstream/123456789/248683/1/245-248.pdf.</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
