Інформаційна технологія безконтактного дистанційного визначення варіабельності серцевого ритму людини з відеопотоку

Скорочена інформація про документ
dc.contributor.authorНіколаєв, Сергій Сергійович
dc.date.accessioned2019-09-13T12:48:55Z
dc.date.available2019-09-13T12:48:55Z
dc.date.issued2019
dc.description.abstractenThe dissertation is devoted to creation of the modern video processing information technology that uses widely distributed web- and other video cameras for contactless remote measurement of heart rate variability that might provide an adequate level of heart health without changing person’s lifestyle and schedule. This task is extremely important for personalized, prognostic and preventive medicine paradigm, which is a global trend in the 21st century that stands for constant human heart monitoring before any illness have been detected. In the dissertation during the process of research and IT creation the following tasks have been solved: finding stable faces’ coordinates on the frames, taken from the webcam video stream; developing probabilistic skin detectors that with the help of RBF neural networks are capable of separating facial skin pixel mask and the background of the frames; obtaining the signal of skin tint change in a form of time series that capture slight fluctuations of oxygenated blood spectral characteristics during each heartbeat cycle; applying amplitude differential correction for removing cameras frame-to-frame adaptation ripples and blind source separation methods to find a projected component of skin tint signal to luminance independent plane that corresponds to rPPG signal; resampling of unevenly sampled raw rPPG signal and its further frequency filtration with a finite impulse response filter for noise reduction; annotating R-peaks that correspond to the moments in time of heart beats on the filtered rPPG signal and validating them for obtaining RR intervals. A newly proposed similarity criterion Q is used for estimating the time series of heart contractions moments (R-peaks) annotation accuracy compared to the reference series obtained from Holter monitor device in clinical conditions. During experimental phase people had been sitting in front of cameras with put on Holter monitoring device and as the result simultaneously two datasets were recorded: R-peaks from developed IT with corresponding high-quality video and R-peaks from Holter monitor ECG. People of different age groups and genders participated in experiment. Experiment were repeated for calm condition and immediately after 5 minutes of physical exercises. This setup allows to evaluate the quality and adjust the parameters of the proposed IT. The results of final finetuned developed system show high accuracy of individual heart contractions recognition in time and thus high quality of obtained HRV. Developed IT can be used, for example, in insurance medicine providing SaaS solution to enable early prediction and prevention of health issues and therefore greatly reduce insurance cases and losses. The essence of the service is to detect as soon as possible the (pre)illness conditions of insurance company clients via remote constant rPPG monitoring. The web-based service with thick client using the proposed information technology was designed for these insurance companies. The thick client in the developed IT is used to process video stream from widely distributed webcams on clients’ devices and to perform rPPG analysis, enabling remote contactless continuous geographically distributed HRV monitoring service. The general architecture and the implementation details, including database structure, classes diagrams, communication protocols of the service for both commercial and non-commercial use are presented in the thesis. This approach allows to get additional source of information and better reevaluate risks. The experimental evaluations of the proposed system were conducted on car drivers during intercity rides where strong correlations of stress index and tiredness levels were found depending on route length. Experiments were conducted on farmers during tractor driving in the field that has also shown correlations with farmers’ internal states and as the result it can be stated that in this case more specialized cameras are needed to cope with noise from tractor vibrations. Another set of experiments was conducted on students before and during exams for stress testing. It was shown that behind poker faces of students – some of them experience extraordinarily high stress while other are not stressed at all. Questionnaire of these students has proved that measurements of the system are in accordance with what students were experiencing during the experiment. It was clearly shown that experienced professor who was conducting the exam could not distinguish internal state of some students with mere external visual observation. Also, one set of experiments was related to extracting rPPG signal from recorded videos. It was successfully shown during analysis of D. Trump and H. Clinton debates video recordings that it is possible to retrieve rPPG signals having high quality video source.uk
dc.description.abstractruДиссертация посвящена созданию информационной технологии обработки видео с широко распространённых веб и других видеокамер для бесконтактного дистанционного измерения вариабельности сердечного ритма, которая позволит человеку без изменения распорядка и стиля его жизни, обеспечить надлежащий уровень здоровья сердца. Данная задача является чрезвычайно актуальной в парадигме персонализированной, прогностической и профилактической медицины, предусматривая постоянное наблюдение за состоянием сердца человека ещё до возникновения любых проявлений болезни. В диссертации при создании ИТ решены следующие основные задачи: стабильное нахождение лиц в видеопотоке; разработка вероятностного детектора пикселей кожи; получения сигнала изменения оттенка кожи во времени; подавление шумов амплитудно-дифференциальной коррекцией и частотной фильтрацией конечно импульсным фильтром; разметка моментов сокращения сердца на сигнале удалённой фотоплетизмограммы и их валидация. Предложен новый критерий оценки сходства двух разноразмерных последовательностей событий, и соответствующий метод вычисления их похожести на основании разбиения событий в этих последовательностях на классы эквивалентности. На базе ИТ реализовано систему дистанционного бесконтактного нахождения ВСР и спроектирован сервис страховой медицины. Основной результат работы использован в рамках выполнения Европейского проекта FP7 NIMSPPS.uk
dc.description.abstractukДисертацію присвячено створенню інформаційної технології обробки відео з широко розповсюджених веб- та інших відеокамер для безконтактного дистанційного вимірювання варіабельності серцевого ритму, яка дасть можливість людині без зміни розпорядку та стилю її життя, забезпечити належний рівень здоров’я серця. Дана задача є надзвичайно актуальною у парадигмі персоналізованої, прогностичної та профілактичної медицини, що передбачає постійне спостереження за станом серця людини ще до виникнення будь-яких проявів хвороби. У дисертації при створенні ІТ вирішено такі основні задачі: стабільне знаходження облич у відеопотоці; розробка ймовірнісного детектора пікселів шкіри; отримання сигналу зміни відтінку шкіри у часі; програмне подавлення шумів у сигналі амплітудно диференційною корекцією та подальшою частотною фільтрацією кінцевоімпульсним фільтром; розмітка моментів скорочення серця на сигналі віддаленої фотоплетизмограми та їх валідація. Запропоновано новий критерій оцінювання подібності двох різновимірних послідовностей подій, і відповідний метод обчислення їх схожості на підставі розбиття подій у цих послідовностях на класи еквівалентності. На базі ІТ реалізовано систему дистанційного безконтактного знаходження ВСР та спроектовано сервіс страхової медицини. Основний результат роботи використаний у рамках виконання Європейського проекту FP7 NIMSPPS.uk
dc.format.page26 с.uk
dc.identifier.citationНіколаєв, С. С. Інформаційна технологія безконтактного дистанційного визначення варіабельності серцевого ритму людини з відеопотоку : автореф. дис. … канд. техн. наук. : 05.13.06 – інформаційні технології технічні науки / Ніколаєв Сергій Сергійович. – Київ, 2019. – 26 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/29277
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectінформаційна технологіяuk
dc.subjectрозподілена обробка данихuk
dc.subjectінтелектуальне розпізнавання образівuk
dc.subjectобробка відеопотокуuk
dc.subjectнейронні мережіuk
dc.subjectрізновимірні часові рядиuk
dc.subjectфотоплетизмографіяuk
dc.subjectбезконтактний моніторингuk
dc.subjectваріабельність серцевого ритмуuk
dc.subjectПППМuk
dc.subjectinformation technologyuk
dc.subjectdistributed data processinguk
dc.subjectintellectual pattern recognitionuk
dc.subjectvideo stream processinguk
dc.subjectneural networksuk
dc.subjecttime series with different dimensionsuk
dc.subjectphotoplethysmographyuk
dc.subjectcontactless monitoringuk
dc.subjectheart rate variabilityuk
dc.subjectPPPMuk
dc.subjectинформационная технологияuk
dc.subjectраспределённая обработка данныхuk
dc.subjectинтеллектуальное распознавание образовuk
dc.subjectобработка видеопотокаuk
dc.subjectнейронные сетиuk
dc.subjectразноразмерные временные рядыuk
dc.subjectфотоплетизмографияuk
dc.subjectбесконтактный мониторингuk
dc.subjectвариабельность сердечного ритмаuk
dc.subjectПППМuk
dc.titleІнформаційна технологія безконтактного дистанційного визначення варіабельності серцевого ритму людини з відеопотокуuk
dc.typeThesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Nikolaiev_aref.pdf
Розмір:
1.07 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Автореферати (ММСА)
Автореферати (вільний доступ)