Нейромережева модель класифікації повідомлень електронної пошти за важливістю
Ескіз недоступний
Дата
2024
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Актуальність теми. У сучасному інформаційному суспільстві електронна пошта є одним із основних засобів комунікації в бізнес-середовищі, освіті, науці та багатьох інших сферах. Однак, разом із численними перевагами, використання електронної пошти супроводжується низкою проблем, зокрема зростанням кількості спаму, фішингових повідомлень та інших небажаних чи шкідливих листів. Це створює значні труднощі для користувачів, які змушені витрачати час на сортування та фільтрацію пошти. У цьому контексті розробка ефективних методів класифікації електронної пошти є важливим завданням.
Сучасні методи класифікації спираються на використання нейронних мереж та штучного інтелекту, які дозволяють автоматизувати процеси сортування, підвищуючи точність і швидкість виявлення небажаних повідомлень. Розвиток таких моделей, як рекурентні нейронні мережі (RNN), згорткові нейронні мережі (CNN) та трансформери, відкриває нові можливості для більш ефективної класифікації електронної пошти, що є особливо актуальним у зв'язку з постійним збільшенням обсягів електронного листування.
Це підкреслює необхідність розробки та вдосконалення нейромережевих моделей для класифікації електронної пошти, що є важливим кроком до покращення якості обробки даних та забезпечення безпеки в цифровому середовищі.
Об’єктом дослідження є процес автоматизованої обробки та класифікації електронної пошти за рівнем важливості.
Предметом дослідження є нейромережеві моделі та методи класифікації електронної пошти з використанням алгоритмів машинного навчання.
Мета роботи: Метою даної магістерської дисертації є розробка нейромережевої моделі для класифікації електронної пошти, яка здатна ефективно і точно ідентифікувати різні категорії повідомлень, зокрема спам, фішингові листи та важливі електронні повідомлення. Для досягнення цієї мети буде здійснено дослідження та порівняння різних алгоритмів обробки текстових даних, а також реалізація нейронних мереж, таких як рекурентні мережі (RNN), згорткові мережі (CNN) та трансформери. Окрім цього, робота включає розробку практичної частини, що передбачає створення прототипу системи для автоматичної класифікації електронної пошти, що дозволить значно покращити ефективність обробки інформації та знизити навантаження на користувачів.
Основні завдання включають:
1. Аналіз існуючих підходів до класифікації електронної пошти. Оцінка існуючих методів, включаючи традиційні алгоритми та сучасні підходи, що використовують нейронні мережі для класифікації спаму та фішингових повідомлень.
2. Розробка нейромережевих моделей класифікації. Створення та тренування різних архітектур нейронних мереж, таких як рекурентні нейронні мережі (RNN), згорткові нейронні мережі (CNN) та трансформери для класифікації електронної пошти.
3. Оцінка ефективності моделей. Порівняння різних моделей класифікації за критеріями точності, швидкості та здатності до адаптації на нових наборах даних.
Наукова новизна полягає в розробці нової нейромережевої моделі для класифікації електронної пошти, яка поєднує сучасні методи обробки тексту та використання глибоких нейронних мереж, зокрема рекурентних (RNN), згорткових (CNN) та трансформерних моделей.
Практична цінність. Запропонована модель може бути впроваджена в реальні системи електронної пошти для підвищення точності фільтрації повідомлень, зменшення часу, витраченого на ручне сортування листів, та забезпечення безпеки користувачів. Розроблена система може бути корисною для бізнесу, організацій і окремих користувачів, які прагнуть ефективно обробляти великі обсяги електронних повідомлень, зменшуючи ризик попадання шкідливих листів до основної поштової скриньки.
Апробація роботи основні положення та результати роботи були представлення та обговорювались XVII науковій конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг - ПМК-2024» (Київ, 20-22 листопада 2024 р.).
Структура та обсяг роботи. Дисертація складається із вступу та чотирьох розділів. Робота складається з 89 аркушів, включає посилання на літературу.
У вступі обґрунтовується важливість класифікації електронної пошти в умовах зростаючого обсягу повідомлень та необхідності їх автоматизованої обробки. Робота охоплює теоретичні та практичні аспекти розробки таких систем, включаючи порівняння з іншими методами.
У першому розділі проводиться аналіз існуючих рішень у сфері класифікації електронної пошти. Розглядаються етапи розвитку технологій, починаючи від простих методів на основі правил до складних статистичних моделей, таких як Байєсівські класифікатори, метод опорних векторів (SVM) та сховані марківські моделі (HMM). Також акцентується увага на використанні нейромережевих моделей та трансформерів, які демонструють високі результати у задачах класифікації тексту. Завершується розділ аналізом перспектив вдосконалення цих підходів.
У другому розділі описуються методи та алгоритми, які застосовуються для класифікації електронної пошти. Деталізуються підходи до навчання моделей, включаючи контрольоване, неконтрольоване та напівконтрольоване навчання. Розглядаються методи попередньої обробки даних, такі як токенізація, нормалізація, видалення стоп-слів, стемінг і лематизація, а також перетворення тексту в числовий формат. Особлива увага приділяється архітектурам нейронних мереж, зокрема CNN, RNN, LSTM, GRU та трансформерам. Завершується розділ критеріями оцінки ефективності алгоритмів, такими як точність, метрики F1, ROC-крива та AUC.
У третьому розділі представлено процес розробки нейронної мережі для класифікації електронної пошти. Розглядається вибір архітектури нейронної мережі та підготовка даних, включаючи етапи очищення, токенізації та перетворення тексту у векторні подання. Описується реалізація моделі, її навчання та налаштування гіперпараметрів. Розділ завершується висновками про отримані результати та їхній вплив на ефективність класифікації.
У четвертому розділі представлені результати тестування розробленої моделі на реальних наборах даних. Проведено порівняння її ефективності з іншими існуючими методами класифікації. Акцент зроблено на наукову новизну отриманих результатів і їхній внесок у розвиток галузі. Розглядаються можливі шляхи вдосконалення моделі та перспективи її подальшого розвитку.
У висновках підсумовуються основні результати роботи, підтверджується досягнення мети та виконання поставлених завдань. Робота завершується висновками щодо значущості розробленої моделі для автоматизації класифікації електронної пошти та рекомендаціями щодо її впровадження у практичну діяльність.
Опис
Ключові слова
електронна пошта, штучний інтелект, нейронні мережі, текстовий аналіз, класифікація текстів, email, artificial intelligence, neural networks, text analysis, text classification
Бібліографічний опис
Бразицький, В. Д. Нейромережева модель класифікації електронної пошти за важливістю : магістерська дис. : 123 Комп'ютерна інженерія / Бразицький Валентин Дмитрович. – Київ, 2024. – 89 с