Система розпізнавання емоцій людини на основі гібридної нейронної мережі CNN-LSTM та технології розпізнавання облич

Скорочена інформація про документ
dc.contributor.advisorПотапова, Катерина Романівна
dc.contributor.authorВітковський, Володимир Борисович
dc.date.accessioned2024-12-26T08:16:14Z
dc.date.available2024-12-26T08:16:14Z
dc.date.issued2024
dc.description.abstractАктуальність теми. У сучасному світі автоматизовані системи розпізнавання емоцій знаходять широке застосування у таких галузях, як медицина, освіта, маркетинг та безпека. Незважаючи на значний прогрес у розробці нейронних мереж, задача точної класифікації емоцій людини залишається актуальною через високі вимоги до точності, швидкості та стійкості систем. Запропоноване дослідження зосереджено на створенні гібридної моделі CNN-LSTM, яка поєднує здатність згорткових мереж до ефективного оброблення зображень із перевагами рекурентних мереж у врахуванні залежностей. Мета роботи: дослідження та аналіз застосування гібридної нейронної мережі CNN-LSTM для підвищення ефективності системи розпізнавання емоцій людини, оцінка ефективності та порівняння з класичною нейронною мережею CNN, а також створення веб-застосунку для інтеграції мережі в єдину автоматизовану систему. Об’єктом дослідження є процес розпізнавання емоцій людини на зображенні за допомогою гібридної нейронної мережі CNN-LSTM та технології розпізнавання облич. Предметом дослідження є алгоритми та методи побудови гібридних нейронних мереж CNN-LSTM для розпізнавання емоцій людини на зображенні із застосуванням технології розпізнавання облич. Методи дослідження. У дослідженні використано методи машинного навчання, зокрема згорткові нейронні мережі (CNN), рекурентні нейронні мережі з довготривалою пам'яттю (LSTM), технології розпізнавання облич, технології розробки веб-застосунків, а також метрики для оцінки точності класифікації. Наукова новизна полягає в наступному: 1. Система розпізнавання емоцій на зображенні, яка поєднує унікальну архітектуру гібридної нейронної мережі CNN-LSTM та технологію розпізнавання облич, що забезпечує високу точність і адаптивність до різних умов вхідних даних. 2. Аналіз та порівняння ефективності гібридної моделі CNN-LSTM із традиційною CNN за такими критеріями, як точність класифікації, стійкість до шумів, швидкодія та кількість параметрів. Практична цінність розробленої системи полягає у можливості її застосування для аналізу емоцій у реальному часі в таких галузях, як медицина, освіта, маркетинг, безпека тощо. Запропонований веб-застосунок забезпечує зручний інтерфейс для користувача, а також високу адаптованість до різних умов експлуатації, що дозволяє легко інтегрувати систему в реальні умови роботи та забезпечує ефективний моніторинг емоційного стану в різних сферах діяльності. Особистий внесок магістранта полягає у проведенні самостійних наукових досліджень у сфері розпізнавання емоцій людини на зображеннях та розробці архітектури гібридної моделі CNN-LSTM, а також створенні веб-застосунок для інтеграції розробленої системи. У роботах [4, 5] автором запропоновано підхід до розпізнавання емоцій людини із використанням згорткових нейронних мереж. У роботах [9, 10] автору належить вдосконалення архітектури мережі CNN шляхом додавання шарів нейронної мережі LSTM, а також наведено результати аналізу ефективності для задачі класифікації емоцій на зображеннях обличчя людини. Апробація результатів дисертації. Основні результати та положення дослідження були представлені на: ● XVII наукова конференція магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2024 (Київ, 20-22 листопада 2024 р.) та опубліковані у збірнику тез доповідей «Автоматичний аналіз емоцій людини за допомогою гібридної нейронної мережі CNN-LSTM та технології розпізнавання облич», 413-418с. ● Науковий журнал «Таврійський науковий вісник. Серія: Технічні науки», стаття «Ефективність застосування шарів нейронної мережі LSTM для задачі класифікації емоцій на обличчі людини», 41-53с. ● VIII International Scientific and Practical Conference London, United Kingdom 20-22 April 2023, p. 153-158. ● Вітковський В.Б., Вовк Л.Б., Потапова К.Р. Літературний письмовий твір наукового характеру «Програмний модуль: «Розпізнавання емоцій людини на основі згорткової нейронної мережі за допомогою технології розпізнавання облич». Свідоцтво про реєстрацію авторського права №128849, 5 серпня 2024 р. ● Потапова К.Р. Ініціативна кафедральна НДДКР «Дослідження методів і моделей розпізнавання текстів, нечіткого мовлення та візуальних образів у системах дистанційного навчання». Номер державної реєстрації 0123U104634, 22 листопада 2023 р. Публікації. За темою дисертації опубліковано 5 наукових праць, серед яких 1 стаття у фахових виданнях, 2 матеріали конференцій, 1 ініціативна НДДКР та 1 свідоцтво авторського права. Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох основних розділів, висновків та додатків. У вступі визначено актуальність теми, мету та завдання дослідження, обґрунтовано вибір методології та підходів. У першому розділі здійснено огляд існуючих підходів до розпізнавання емоцій на зображеннях. У другому розділі представлено теоретичні основи та принципи роботи гібридної нейронної мережі CNN-LSTM, її переваги та недоліки.. У третьому розділі міститься опис розробленої системи визначення емоцій людини на зображенні та процес навчання гібридної мережі. У четвертому розділі проведено експериментальні дослідження та тестування ефективності за визначеними критеріями розробленої системи. У висновках підведено підсумки дослідження та узагальнено отримані результати. Робота викладена на 96 аркуші, включає ілюстрації, таблиці, список використаних джерел. Ключові слова: автоматизована система, розпізнавання емоцій, гібридна нейронна мережа, CNN-LSTM, машинне навчання, класифікація, веб-застосунок
dc.description.abstractotherRelevance of the topic. In the modern world, automated emotion recognition systems are widely used in such fields as medicine, education, marketing, and security. Despite significant progress in the development of neural networks, the task of accurate classification of human emotions remains relevant due to the high requirements for accuracy, speed, and stability of systems. The proposed research focuses on creating a hybrid CNN-LSTM model, which combines the ability of convolutional networks to efficiently process images with the advantages of recurrent networks in taking into account dependencies. Purpose of the work: research and analysis of the application of the CNN-LSTM hybrid neural network to improve the efficiency of the human emotion recognition system, evaluation of its efficiency and comparison with the classical CNN neural network, as well as creation of a web application for integrating the network into a single automated system. The object of the study is the process of recognizing human emotions in an image using a hybrid CNN-LSTM neural network and face recognition technology. The subject of the study is algorithms and methods for building hybrid CNN-LSTM neural networks for recognizing human emotions in an image using face recognition technology. Research methods. The study used machine learning methods, in particular convolutional neural networks (CNN), recurrent neural networks with long-term memory (LSTM), face recognition technologies, web application development technologies, as well as metrics for assessing classification accuracy. The scientific novelty is as follows: 1. An image emotion recognition system that combines the unique architecture of the CNN-LSTM hybrid neural network and face recognition technology, which provides high accuracy and adaptability to various input data conditions. 2. Analysis and comparison of the effectiveness of the CNN-LSTM hybrid model with the traditional CNN according to criteria such as classification accuracy, noise resistance, speed and number of parameters. The practical value of the developed system lies in the possibility of its application for real-time emotion analysis in such industries as medicine, education, marketing, security, etc. The proposed web application provides a user-friendly interface, as well as high adaptability to various operating conditions, which allows easy integration of the system into real-world work conditions and provides effective monitoring of emotional state in various fields of activity. The personal contribution of the master's student is to conduct independent scientific research in the field of recognizing human emotions in images and develop the architecture of the CNN-LSTM hybrid model, as well as create a web application to integrate the developed system. In works [4, 5], the author proposed an approach to recognizing human emotions using convolutional neural networks. In works [9, 10], the author improved the architecture of the CNN network by adding layers of the LSTM neural network, and also presented the results of the efficiency analysis for the task of classifying emotions in images of human faces. Approbation of the dissertation results. The main results and provisions of the study were presented at: ● XVII Scientific Conference of Master's and PhD Students "Applied Mathematics and Computing" PMK-2024 (Kyiv, November 20-22, 2024) and published in the collection of abstracts "Automatic Analysis of Human Emotions Using the CNN-LSTM Hybrid Neural Network and Face Recognition Technology", 413-418p. ● Scientific journal "Tavria Scientific Bulletin. Series: Technical Sciences", article "Effectiveness of Using LSTM Neural Network Layers for the Problem of Classifying Emotions on a Human Face", 41-53p. ● VIII International Scientific and Practical Conference London, United Kingdom 20-22 April 2023, p. 153-158. ● Vitkovsky V.B., Vovk L.B., Potapova K.R. Literary written work of a scientific nature "Software module: "Recognition of human emotions based on a convolutional neural network using face recognition technology". Copyright registration certificate No. 128849, August 5, 2024 ● Potapova K.R. Initiative departmental R&D "Research on methods and models of text recognition, unclear speech and visual images in distance learning systems". State registration number 0123U104634, November 22, 2023 Publications. 5 scientific works have been published on the topic of the dissertation, including 1 article in professional publications, 2 conference proceedings, 1 initiative R&D and 1 copyright certificate. Structure and scope of the work. The master's thesis consists of an introduction, four main sections, conclusions, and appendices. The introduction defines the relevance of the topic, the purpose and objectives of the research, and justifies the choice of methodology and approaches. The first section reviews existing approaches to emotion recognition in images. The second section presents the theoretical foundations and principles of the CNN-LSTM hybrid neural network, its advantages and disadvantages. The third section contains a description of the developed system for determining human emotions in an image and the process of learning a hybrid model. The fourth section conducts experimental research and tests the effectiveness of the developed system for recognizing emotions in images according to the specified criteria. The conclusions summarize the results of the study and summarize the results obtained. The work is presented on 96 sheets, includes illustrations, tables, and a list of sources used. Keywords: automated system, emotion recognition, hybrid neural network, CNN-LSTM, machine learning, classification, web application
dc.format.extent96 с.
dc.identifier.citationВітковський, В. Б. Система розпізнавання емоцій людини на основі гібридної нейронної мережі CNN-LSTM та технології розпізнавання облич : магістерська дис. : 123 Комп'ютерна інженерія / Вітковський Володимир Борисович. – Київ, 2024. – 96 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/71347
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectавтоматизована система
dc.subjectрозпізнавання емоцій
dc.subjectгібридна нейронна мережа
dc.subjectCNN-LSTM
dc.subjectмашинне навчання
dc.subjectкласифікація
dc.subjectвеб-застосунок
dc.subjectautomated system
dc.subjectemotion recognition
dc.subjecthybrid neural network
dc.subjectmachine learning
dc.subjectclassification
dc.subjectweb application
dc.subject.udc004.8
dc.titleСистема розпізнавання емоцій людини на основі гібридної нейронної мережі CNN-LSTM та технології розпізнавання облич
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
Vitkovsky_VB_KV32mp_magistr_2024.docx
Розмір:
4.03 MB
Формат:
Microsoft Word XML
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (СПСКС)
Магістерські роботи