Алгоритмічне та програмне забезпечення для визначення 68 ключових точок обличчя

Скорочена інформація про документ
dc.contributor.advisorЛіщук, Катерина Ігорівна
dc.contributor.authorТкаченко, Марія Сергіївна
dc.date.accessioned2019-01-24T15:52:10Z
dc.date.available2019-01-24T15:52:10Z
dc.date.issued2018
dc.description.abstractenRelevance. The face is the most expressive characteristic of a person. Therefore it's not surprising that the analysis of a person's face is used to solve a wide variety of problems, such as face detection/recognition, detection of emotions, detection of face expressions, eye tracking etc. Face detection today is one of the most important problems. Nowadays the technology of face detection is used not only for identification mechanisms for access control, security systems, credit card verification, online payments, but also, for example, for smartphone unblocking. In 2017 Apple unveiled FaceId, which is used to unblock Apple smartphones. The problem of face detection is a very relevant issue. Today a lot of mathematical face detection methods exist. Amongst the most well-known are: principal component analysis, that used Karhunen–Loève transformation, etalon checking method, neural networks, hidden Markov models [8]. Most such algorithms have the following drawback: for a successful detection, the input images of the face have to be an almost frontal picture with bright regular lighting. To overcome this issue landmarks are often used, along with the picture. They are needed because the input pictures rarely are frontal and well-lit ones. The number of points depends on the issue being solved and availability of datasets. Most often 68 points are used. Connection with other scientific programs, plans and topics. Dissertation work was developed as part of scientific research works of Computer-Aided Management And Data Processing Systems Department of Faculty of Informatics and Computer Science, Igor Sikorsky Kyiv Polytechnic Institute № 0117U000914 “Mathematical models and technologies in decision making systems”. Goal and tasks. The main goal of this thesis is the development of the mathematical and algorithmical support for increasing the precision of the detection of 68 facial landmarks, especially when the face is turned or in bad lighting conditions; the integration of the developed algorithm in a software system used to recognize faces. To reach the stated goal the following highly interconnected sub-problems need to be solved: - analysis of existing approaches of face detection/recognition; - development of a neural network architecture with configurable blocks; - the following blocks should be configurable: residual blocks, pooling blocks, number of layers in block, filter count on each layer, number of consistent hourglass blocks, number of output landmarks; - analysis of the effectiveness of the developed approach. Research object. Face recognition from photo for face position detection and 68 facial landmarks position detection. Research subject. Methods and algorithms for 68 facial landmarks detection. Research methods. Machine learning methods, convolutional neural network, architecture hourglass, architecture unet, optical flow were used in research. For practical part – functional programming: python, framework tensorflow, open databases for machine learning IBug and 300VW. Scientific novelty is as follows: a) 68 facial landmarks detection algorithm was developed; b) Method that include combination of hourglass, unet, inception, resnet blocks was developed. Practical use. All proposed mathematical models and algorithms brought to practical implementation as part of software that is used for eye tracking. Developed software is used as external neural network graph that includes in other calculation modules. Publications. According to this research 2 scientific papers were published. One of them is indexing in the online database Copernicus, arXiv:1712.03228v1 [cs.SD] 8 Dec 2017uk
dc.description.abstractukАктуальність теми. Обличчя є найвиразнішою характеристикою людини. Тому не дивно, що аналіз обличчя використовується при вирішенні дуже різноманітного кола задач, таких як розпізнавання обличчя, розпізнавання емоцій, розпізнавання міміки, розпізнавання напрямку погляду людини (eye tracking), тощо. Розпізнавання обличь на сьогодні є однією з найрозповсюдженіших задач. На сьогодні технологія розпізнавання обличь використовується не тільки в системах контролю доступу, системах охорони, верифікації банківських карт, онлайн платежів, а й наприклад в розблокуванні телефонів. в 2017 році компанія Apple випустила систему FaceId, котра використовується для розблокування телефонів. Тому задача розпізнавання та ідентифікації людини за її обличчям є дуже актуальною. На сьогодні існує велика кількість математичних методів, котрі використовують для розпізнавання обличчя. Серед них часто використовуваними є наступні: метод головних компонент, котрий використовує перетворення Карунена-Лоева, метод порівняння з еталоном, нейронні мережі, приховані марковські моделі [8]. Більшість алгоритмів мають наступний недолік: для розпізнавання необхідне фронтальне зображення обличчя майже без відхилень та досить ярке світло. Для усунення цього недоліку часто використовують крім самої фотографії обличчя ще і його ключові точки. Необхідність використання для розпізнавання обличчя ключових точок обґрунтовується тим, що на фотографіях людина не завжди може дивитись прямо на камеру, інколи обличчя частково повернуте в сторону. Кількість точок та розміщення можуть варіюватися в залежності від обраної задачі та наявних баз даних. Найчастіше використовують 68 точок. [18] Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконувалась в рамках науково-дослідних робіт кафедри автоматизованих систем обробки інформації та управління факультету обчислювальної техніки та інформатики КПІ імені Ігоря Сікорського № 0117U000914 «Математичні моделі та технології в системах підтримки прийняття рішень». Мета і задачі дослідження. Основна мета роботи полягає в розробці математичного та алгоритмічного забезпечення для підвищення точності розпізнавання 68 ключових точок обличчя при поворотах голови та при поганому освітленні, інтеграція розробленого алгоритму в програмне забезпечення, котре використовується для розпізнавання обличчя. Для досягнення поставленої мети необхідно розв‘язати комплекс наступних взаємопов‘язаних задач: - аналіз існуючих методів розпізнавання обличь; - розробка архітектури нейронної мережі, з блоками, що можна налаштовувати; - налаштуванню мають підлягати такі блоки: резидуальні блоки, блоки зменшення розмірності, глибина блоків, фільтри на підблоках, кількість послідовних блоків, та кількість точок-результатів на виході. - дослідження ефективності розробленого алгоритму. Об’єкт дослідження. Процес розпізнавання обличчя за знімком для, котрий містить виявлення положення обличчя на фотографії та знаходження положення 68 ключових точок обличчя. Предмет дослідження. Методи та алгоритми, які використовуються для розпізнавання 68 ключових точок обличчя. Методи дослідження. При проведенні досліджень і розробок у дисертаційній роботі використовувались методи машинного навчання, згорткові нейронні мережі, архітектура hourglass, архітектура unet, optical flow. Для практичної частини – методи функціонального програмування: фреймворк tensorflow, відкриті бази даних для навчання IBug та 300VW. При проведенні досліджень і розробок у дисертаційній роботі використовувались методи машинного навчання, згорткові нейронні мережі, архітектура hourglass, архітектура unet, використання optical flow, для експериментального дослідження – методи об‘єктно-орієнтованого програмування: фреймворк tensorflow, відкриті бази даних IBug та 300VW Наукова новизна одержаних результатів полягає в наступному: а) розроблено алгоритм розпізнавання 68 ключових точок обличчя;. б) Ррозроблено метод комбінування блоків з існуючих архітектур нейронних мереж hourglass, unet, inception, resnet. Практичне значення одержаних результатів. Всі запропоновані математичні моделі і алгоритми доведені до практичної реалізації у рамках програмного забезпечення, котре використовується для розпізнавання напрямку погляду людини. Розроблене програмне забезпечення використовується як зовнішній граф нейронної мережі, який підключається до інших модулів обрахунків. Публікації. За результатами дослідження опубліковано 2 наукових праці, в тому числі 1 статті у наукових фахових виданнях, які індексуються у наукометричних базах Copernicus, arXiv:1712.03228v1 [cs.SD] 8 Dec 2017.uk
dc.format.page63 с.uk
dc.identifier.citationТкаченко, М. С. Алгоритмічне та програмне забезпечення для визначення 68 ключових точок обличчя : магістерська дис. : 121 Інженерія програмного забезпечення / Ткаченко Марія Сергіївна. – Київ, 2018. – 63 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/26036
dc.language.isoukuk
dc.publisher.placeКиївuk
dc.subjectархітектураuk
dc.subjectнейронна мережаuk
dc.subjectрозпізнавання обличчяuk
dc.subjectрозпізнавання напрямку погляду людиниuk
dc.subject68 ключових точок обличчяuk
dc.subjectзгорткаuk
dc.subjectзгорткові мережіuk
dc.subjectархітектура hourglassuk
dc.subjectархітектура unetuk
dc.subjectналаштовуваністьuk
dc.subjectarchitectureuk
dc.subjectneural networkuk
dc.subjectface recognitionuk
dc.subjecteye trackinguk
dc.subject68 facial landmarksuk
dc.subjectconvolutionuk
dc.subjectconvolution neural networkuk
dc.subjecthourglass architectureuk
dc.subjectunet architectureuk
dc.subjectconfigurabilityuk
dc.subject.udc004.021, 004.8, 004.93'12uk
dc.titleАлгоритмічне та програмне забезпечення для визначення 68 ключових точок обличчяuk
dc.typeMaster Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
Tkachenko_magistr.docx
Розмір:
4.84 MB
Формат:
Microsoft Word XML
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
7.74 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (АСОІУ)
Магістерські роботи