Удосконалення автоматизованої системи діагностування дорожнього покриття з використанням штучного інтелекту

Скорочена інформація про документ
dc.contributor.advisorПротасов, Анатолій Георгійович
dc.contributor.authorСторожик, Денис Володимирович
dc.date.accessioned2025-03-27T12:42:47Z
dc.date.available2025-03-27T12:42:47Z
dc.date.issued2024
dc.description.abstractВ дисертації отримані такі нові наукові результати: 1. удосконалено систему автоматизованого діагностування стану дорожнього покриття на основі мультимодального підходу із комплексуванням зображень шляхом впровадження підсистеми опрацювання (обробки) зображень, застосування методу аугментації теплових зображень та розробленої підсистеми класифікації дефектів дорожнього покриття; 2. вперше запропоновано та розроблено метод мультиспектрального злиття зображень з адаптивним визначенням вагових коефіцієнтів на основі вейвлет перетворення, який полягає в розкладанні початкових зображень на вейвлет коефіцієнти та визначені згортковою нейронною мережею вагових коефіцієнтів, що визначають частку початкового зображення в результуючому, і дозволяє збільшити інформативність результуючого зображення при проведенні діагностування дорожнього покриття; 3. вперше розроблено метод аугментації теплових зображень на базі злиття зображень для задач класифікації, який полягає в поєднанні вейвлет коефіцієнтів отриманих з початкових зображень одного об’єкту та зворотному перетворенню для отримання аугментованого зображення, і дозволяє підвищити ймовірність правильної класифікації дефектів при проведенні діагностування дорожнього покриття. Практична цінність дисертаційної роботи полягає в тому, що: розроблено алгоритмічне і програмне забезпечення реалізації підсистеми опрацювання зображень при автоматизованому діагностуванні дефектів дорожнього покриття; розроблено алгоритмічне і програмне забезпечення реалізації методу аугментації що базується на комплексуванні теплових зображень; розроблено алгоритмічне і програмне забезпечення реалізації підсистеми класифікації дефектів дорожнього покриття; сформовано навчальну вибірку розмічених для задач класифікації пар знімків у видимому та інфрачервоних спектрах дефектів дорожнього покриття; розроблено структурну схему автоматизованої системи діагностування дорожнього покриття зі злиттям зображень. У дисертаційній роботі описано, що дорожньо-транспортна система є однією з ключових ланок критичної інфраструктури будь-якої держави. В Україні цей сектор відіграє особливо важливу роль, адже загальна протяжність автомобільних доріг складає 169,5 тисяч кілометрів. Через постійний вплив транспортних навантажень дорожнє покриття зазнає природного зношування та руйнації. Для підвищення безпеки на дорогах та зменшення витрат на подальший ремонт проводиться регулярна діагностика стану доріг. За даними досліджень, своєчасне виявлення дефектів та проведення профілактичних ремонтних робіт здатне скоротити витрати на ремонтні заходи більш ніж утричі. Стан дорожнього покриття безпосередньо впливає на частоту дорожньотранспортних пригод (ДТП). Якість та параметри доріг належать до об'єктивних чинників, що можуть призводити до аварійних ситуацій. Об'єктивні фактори підлягають контролю та коригуванню, що відкриває можливості для зниження кількості ДТП. Оскільки автомобільні дороги є однією з найбільших інфраструктурних систем, їх діагностика та обслуговування є дуже ресурсоємними процесами. Витрати на проведення таких робіт, включаючи людські ресурси та час, досягають значних обсягів. Одним з оптимальних шляхів скорочення цих витрат є автоматизація процесів моніторингу стану покриття та ухвалення рішень щодо необхідних ремонтних робіт. Важливим бар'єром для масового впровадження автоматизованих систем є висока вартість обладнання, що використовується для точної діагностики дефектів дорожнього полотна. Наприклад, лазерні сканери, які здатні надавати високоточні результати, мають ціну в межах сотень тисяч доларів. У той час, менш дорогі сенсори, які можливо використовувати, такі як камери видимого та інфрачервоного спектрів, не забезпечують достатньої точності при ідентифікації дефектів. Фахівці зазначають, що зниження точності виявлення дефектів за допомогою камер часто пов'язане з низкою факторів, таких як оптичні спотворення, забруднення поверхні доріг, наявність тіней та погодні умови. У багатьох випадках ці фактори призводять до значних інформаційних перешкод. Наявні наукові дослідження пропонують використовувати методи обробки зображень для вирішення цієї проблеми. Однак, попри всі зусилля науковців, існуючі автоматизовані системи діагностики стану доріг все ще не досягли необхідного рівня ефективності, що потребує подальшого вдосконалення або розробки нових методик і технологій. Для вирішення існуючої проблеми запропоновано використати елементи штучного інтелекту, а саме нейромережеві технології. Проблему нестачі обсягу та різноманітності даних у навчальних вибірках нейронних мереж пропонується вирішити за рахунок запропонованого методу аугментації зображень, який заснований на їх комплексуванні з використанням вейвлет-перетворення. Метод має додаткову перевагу — підвищення інформативності результуючих зображень, що позитивно впливає на ефективність навчання нейронних мереж. Було проведено порівняння нового методу аугментації, розробленого на основі злиття зображень, з іншими наявними підходами для задач класифікації. У результаті проведених досліджень підтверджено, що новий метод не лише покращує точність класифікації, але й демонструє меншу алгоритмічну складність у порівнянні з методом випадкової заміни вейвлет-коефіцієнтів, так, для реалізації запропонованого методу потрібно лише два вихідних зображення, тоді як метод випадкової заміни вейвлет-коефіцієнтів вимагає шість зображень. Проблему впливу неінформативних елементів вихідних зображень на результат діагностики, пропонується вирішити запропонованим методом комплексування зображень з адаптивним визначенням вагових коефіцієнтів, що оптимально поєднує зображення двох спектрів з підвищенням інформативності результуючого зображення. Розроблено нейронну мережу для адаптивного визначення ваг у методі комплексування зображень. Мережа забезпечує автоматичне обчислення вагових коефіцієнтів, які використовуються для підвищення якості результатів. Було обґрунтовано структуру цієї мережі та проведено аналіз її ефективності на валідаційних наборах даних. Порівняння нового методу комплексування з іншими підходами показало його високу ефективність у створенні більш інформативних зображень. Для оцінки інформативності використовувався метод на основі ентропії. Було зібрано та оброблено навчальний набір даних, що включає зображення видимого та інфрачервоного спектрів, які містять дефекти дорожнього покриття. Це дало можливість емпірично розробити підсистему для обробки зображень, отриманих з камер лабораторій для діагностики дорожнього покриття. Запропоновано структурну схему автоматизованої системи діагностики та ремонту доріг, що використовує елементи штучного інтелекту. Ця система реалізовує повний цикл втручання, від діагностики до ремонту. Так, на основі отриманої інформації про стан при обробці зображень, підсистема підтримки прийняття рішень надає рекомендації щодо організації необхідної технології ремонту. Також були обґрунтовані процеси попередньої обробки даних для обох спектрів, що дозволило знизити інформаційні завади та підвищити точність діагностики. Було навчено модель для автоматизованого визначення типів дефектів дорожнього покриття, яка продемонструвала значно кращу точність у порівнянні з існуючими рішеннями. Удосконалення відбулося завдяки впровадженню запропонованих методів злиття зображень та методу аугментації. Це дозволило підвищити ймовірність коректного визначення типу дефекту на 0,66%, забезпечуючи більш надійні результати навіть при обмеженому обсязі навчальних даних. Запропонований підхід також зменшив необхідну кількість навчальних зображень до 3 тисяч, що еквівалентно 13,5 тисячам у існуючих рішеннях. Така оптимізація значно спрощує навчання моделі та підвищує її ефективність у задачах діагностування стану дорожнього покриття. А також, було обрано нейронну мережу для сегментації зображень, яка дозволяє точно визначати площу дефектів, забезпечуючи високу ефективність при використанні текстових підказок. Розроблено алгоритми для автоматизованого руху лабораторій та підсистеми обробки зображень. Реалізовано обробку зображень та прийняття рішень на базі хмарних сервісів, що скорочує час на впровадження нових версій та прискорило процес моделювання. Підсистема підтримки прийняття рішень надає рекомендації щодо проведення необхідних ремонтних робіт, оптимізуючи використання ресурсів та забезпечуючи своєчасне усунення виявлених дефектів. За результатами імітаційного моделювання підтверджено працездатність запропонованої системи, яка демонструє високі показники точності при визначенні типів дефектів дорожнього покриття та розрахунку їх площі.
dc.description.abstractotherThe dissertation presents the following new scientific results: 1. The automated road surface diagnostics system based on a multimodal approach with image integration was improved through the implementation of an image processing subsystem, the use of a thermal image augmentation method, and the developed subsystem for classifying road surface defects. 2. A method for multispectral image fusion with adaptive determination of weighting coefficients based on wavelet transformation was proposed and developed for the first time. The method involves decomposing initial images into wavelet coefficients and determining the weighting coefficients using a convolutional neural network. These coefficients define the contribution of the initial image to the resulting image and allow for an increase in the informativeness of the resulting image during road surface diagnostics. 3. A thermal image augmentation method based on image fusion for classification tasks was developed for the first time. This method combines wavelet coefficients obtained from initial images of the same object and applies inverse transformation to generate augmented images, which increases the probability of correct defect classification during road surface diagnostics. The practical value of the dissertation lies in the following developments: algorithmic and software tools for implementing an image processing subsystem in automated road defect diagnostics; algorithmic and software tools for implementing the augmentation method based on thermal image fusion; algorithmic and software tools for implementing the subsystem for classifying road surface defects; a labeled dataset of paired visible and infrared spectrum images of road surface defects for classification tasks; a structural scheme of the automated road surface diagnostics system using image fusion. The dissertation describes that the road transport system is one of the key components of critical infrastructure in any country. In Ukraine, this sector plays a particularly important role, with a total length of 169,500 kilometers of roads. Due to the constant influence of transport loads, road surfaces undergo natural wear and tear and degradation. To improve road safety and reduce repair costs, regular diagnostics of road conditions are conducted. Studies show that timely detection of defects and preventive repair work can reduce repair costs by more than three times. The condition of road surfaces directly affects the frequency of road traffic accidents (RTAs). Road quality and parameters are objective factors that can lead to accidents. These factors can be controlled and adjusted, offering opportunities to reduce the number of RTAs. Since roads are one of the largest infrastructural systems, their diagnostics and maintenance are highly resource-intensive processes. The costs of such work, including human resources and time, are significant. One optimal way to reduce these costs is to automate the monitoring of road conditions and decision-making regarding necessary repairs. A major barrier to the widespread implementation of automated systems is the high cost of equipment used for accurate diagnostics of road defects. For instance, laser scanners that provide highly accurate results cost hundreds of thousands of dollars. Meanwhile, less expensive sensors, such as visible and infrared cameras, do not ensure sufficient accuracy in defect identification. Experts note that the reduced accuracy of defect detection using cameras is often related to factors such as optical distortions, road surface contamination, the presence of shadows, and weather conditions. In many cases, these factors lead to significant informational noise. Existing scientific research suggests using image processing methods to address this issue. However, despite the efforts of researchers, existing automated road condition diagnostics systems have not yet achieved the necessary level of efficiency, requiring further improvement or the development of new methods and technologies. To address this issue, it is proposed to use elements of artificial intelligence, specifically neural network technologies. The problem of insufficient volume and diversity of data in the training sets of neural networks is proposed to be solved by the developed image augmentation method, which is based on image fusion using wavelet transformation. This method has an additional advantage—enhancing the informativeness of the resulting images, which positively impacts the efficiency of neural network training. A comparison of the newly developed augmentation method, based on image fusion, with other existing approaches for classification tasks has been conducted. The results of the study confirm that the new method not only improves classification accuracy but also demonstrates lower algorithmic complexity compared to the method of random wavelet coefficient replacement. Specifically, the proposed method requires only two initial images, whereas the random coefficient replacement method requires six. The problem of the impact of non-informative elements of the initial images on the diagnostic results is proposed to be solved by the developed image fusion method with adaptive determination of weighting coefficients, which optimally combines images from two spectra, increasing the informativeness of the resulting image. A neural network for adaptive weighting in the image fusion method has been developed. The network provides automatic calculation of weighting coefficients, which are used to improve the quality of results. The structure of this network has been substantiated, and its effectiveness has been analyzed using validation data sets. A comparison of the new fusion method with other approaches demonstrated its high efficiency in creating more informative images. Entropy-based methods were used to assess informativeness. A training dataset, including visible and infrared spectrum images containing road surface defects, was collected and processed. This enabled the empirical development of a subsystem for processing images obtained from cameras in road diagnostics laboratories. A structural scheme of an automated road diagnostics and repair system using artificial intelligence was proposed. This system implements a complete intervention cycle, from diagnostics to repair. Based on the processed image data, the decisionsupport subsystem provides recommendations for organizing the necessary repair technologies. Data preprocessing processes for both spectra were also substantiated, reducing informational noise and improving diagnostic accuracy. A model for automated defect type detection was trained, demonstrating significantly better accuracy compared to existing solutions. Improvements were achieved through the implementation of the proposed image fusion and augmentation methods. This approach increased the probability of correct defect type identification by 0.66%, ensuring more reliable results even with limited training data. The proposed approach also reduced the required number of training images to 3,000, equivalent to 13,500 in existing solutions. This optimization simplifies model training and increases its efficiency in road surface diagnostics tasks. A neural network for image segmentation was chosen, allowing accurate determination of defect areas and ensuring high efficiency using textual prompts. Algorithms for automated laboratory movement and image processing subsystems were developed. Image processing and decision-making were implemented using cloud services, reducing the time required for new version deployment and accelerating the modeling process. The decision-support subsystem provides recommendations for necessary repair work, optimizing resource use and ensuring timely elimination of detected defects. Simulation modeling confirmed the operability of the proposed system, which demonstrates high accuracy in identifying road surface defect types and calculating their areas.
dc.format.extent136 с.
dc.identifier.citationСторожик, Д. В. Удосконалення автоматизованої системи діагностування дорожнього покриття з використанням штучного інтелекту : дис. … д-ра філософії : 15 Автоматизація та приладобудування / Сторожик Денис Володимирович. – Київ, 2024. – 136 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/73128
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectдіагностика дорожнього покриття
dc.subjectкомплексування зображень
dc.subjectаугментація
dc.subjectкритерій якості
dc.subjectобробка сигналів
dc.subjectвейвлетперетворення
dc.subjectметоди неруйнівного контролю
dc.subjectнейронні мережи
dc.subjectавтоматизація
dc.subjectекспертна система
dc.subjectматематична модель
dc.subjectприйняття рішень
dc.subjectмашинне навчання
dc.subjectідентифікація
dc.subjectroad surface diagnostics
dc.subjectimage fusion
dc.subjectaugmentation
dc.subjectquality criterion
dc.subjectsignal processing
dc.subjectwavelet transformation
dc.subjectnon-destructive testing methods
dc.subjectneural networks
dc.subjectautomation
dc.subjectexpert system
dc.subjectmathematical model
dc.subjectdecision-making
dc.subjectmachine learning
dc.subjectidentification.
dc.subject.udc681.5
dc.titleУдосконалення автоматизованої системи діагностування дорожнього покриття з використанням штучного інтелекту
dc.typeThesis Doctoral

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Storozhyk_dys.pdf
Розмір:
5.43 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Дисертації (АСНК)
Дисертації (вільний доступ)