Система розпізнавання емоцій людини на основі гібридної нейронної мережі CNN-LSTM та технології розпізнавання облич
Ескіз недоступний
Дата
2024
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Актуальність теми. У сучасному світі автоматизовані системи розпізнавання емоцій знаходять широке застосування у таких галузях, як медицина, освіта, маркетинг та безпека. Незважаючи на значний прогрес у розробці нейронних мереж, задача точної класифікації емоцій людини залишається актуальною через високі вимоги до точності, швидкості та стійкості систем. Запропоноване дослідження зосереджено на створенні гібридної моделі CNN-LSTM, яка поєднує здатність згорткових мереж до ефективного оброблення зображень із перевагами рекурентних мереж у врахуванні залежностей.
Мета роботи: дослідження та аналіз застосування гібридної нейронної мережі CNN-LSTM для підвищення ефективності системи розпізнавання емоцій людини, оцінка ефективності та порівняння з класичною нейронною мережею CNN, а також створення веб-застосунку для інтеграції мережі в єдину автоматизовану систему.
Об’єктом дослідження є процес розпізнавання емоцій людини на зображенні за допомогою гібридної нейронної мережі CNN-LSTM та технології розпізнавання облич.
Предметом дослідження є алгоритми та методи побудови гібридних нейронних мереж CNN-LSTM для розпізнавання емоцій людини на зображенні із застосуванням технології розпізнавання облич.
Методи дослідження. У дослідженні використано методи машинного навчання, зокрема згорткові нейронні мережі (CNN), рекурентні нейронні мережі з довготривалою пам'яттю (LSTM), технології розпізнавання облич, технології розробки веб-застосунків, а також метрики для оцінки точності класифікації.
Наукова новизна полягає в наступному:
1. Система розпізнавання емоцій на зображенні, яка поєднує унікальну архітектуру гібридної нейронної мережі CNN-LSTM та технологію розпізнавання облич, що забезпечує високу точність і адаптивність до різних умов вхідних даних.
2. Аналіз та порівняння ефективності гібридної моделі CNN-LSTM із традиційною CNN за такими критеріями, як точність класифікації, стійкість до шумів, швидкодія та кількість параметрів.
Практична цінність розробленої системи полягає у можливості її застосування для аналізу емоцій у реальному часі в таких галузях, як медицина, освіта, маркетинг, безпека тощо. Запропонований веб-застосунок забезпечує зручний інтерфейс для користувача, а також високу адаптованість до різних умов експлуатації, що дозволяє легко інтегрувати систему в реальні умови роботи та забезпечує ефективний моніторинг емоційного стану в різних сферах діяльності.
Особистий внесок магістранта полягає у проведенні самостійних наукових досліджень у сфері розпізнавання емоцій людини на зображеннях та розробці архітектури гібридної моделі CNN-LSTM, а також створенні веб-застосунок для інтеграції розробленої системи. У роботах [4, 5] автором запропоновано підхід до розпізнавання емоцій людини із використанням згорткових нейронних мереж. У роботах [9, 10] автору належить вдосконалення архітектури мережі CNN шляхом додавання шарів нейронної мережі LSTM, а також наведено результати аналізу ефективності для задачі класифікації емоцій на зображеннях обличчя людини.
Апробація результатів дисертації. Основні результати та положення дослідження були представлені на:
● XVII наукова конференція магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2024 (Київ, 20-22 листопада 2024 р.) та опубліковані у збірнику тез доповідей «Автоматичний аналіз емоцій людини за допомогою гібридної нейронної мережі CNN-LSTM та технології розпізнавання облич», 413-418с.
● Науковий журнал «Таврійський науковий вісник. Серія: Технічні науки», стаття «Ефективність застосування шарів нейронної мережі LSTM для задачі класифікації емоцій на обличчі людини», 41-53с.
● VIII International Scientific and Practical Conference London, United Kingdom 20-22 April 2023, p. 153-158.
● Вітковський В.Б., Вовк Л.Б., Потапова К.Р. Літературний письмовий твір наукового характеру «Програмний модуль: «Розпізнавання емоцій людини на основі згорткової нейронної мережі за допомогою технології розпізнавання облич». Свідоцтво про реєстрацію авторського права №128849, 5 серпня 2024 р.
● Потапова К.Р. Ініціативна кафедральна НДДКР «Дослідження методів і моделей розпізнавання текстів, нечіткого мовлення та візуальних образів у системах дистанційного навчання». Номер державної реєстрації 0123U104634, 22 листопада 2023 р.
Публікації. За темою дисертації опубліковано 5 наукових праць, серед яких 1 стаття у фахових виданнях, 2 матеріали конференцій, 1 ініціативна НДДКР та 1 свідоцтво авторського права.
Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох основних розділів, висновків та додатків.
У вступі визначено актуальність теми, мету та завдання дослідження, обґрунтовано вибір методології та підходів.
У першому розділі здійснено огляд існуючих підходів до розпізнавання емоцій на зображеннях.
У другому розділі представлено теоретичні основи та принципи роботи гібридної нейронної мережі CNN-LSTM, її переваги та недоліки..
У третьому розділі міститься опис розробленої системи визначення емоцій людини на зображенні та процес навчання гібридної мережі.
У четвертому розділі проведено експериментальні дослідження та тестування ефективності за визначеними критеріями розробленої системи.
У висновках підведено підсумки дослідження та узагальнено отримані результати.
Робота викладена на 96 аркуші, включає ілюстрації, таблиці, список використаних джерел.
Ключові слова: автоматизована система, розпізнавання емоцій, гібридна нейронна мережа, CNN-LSTM, машинне навчання, класифікація, веб-застосунок
Опис
Ключові слова
автоматизована система, розпізнавання емоцій, гібридна нейронна мережа, CNN-LSTM, машинне навчання, класифікація, веб-застосунок, automated system, emotion recognition, hybrid neural network, machine learning, classification, web application
Бібліографічний опис
Вітковський, В. Б. Система розпізнавання емоцій людини на основі гібридної нейронної мережі CNN-LSTM та технології розпізнавання облич : магістерська дис. : 123 Комп'ютерна інженерія / Вітковський Володимир Борисович. – Київ, 2024. – 96 с.