Математичне та програмне забезпечення обробки надвеликих масивів даних у форматі XML
Вантажиться...
Дата
2019-12
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Актуальність теми: XML – це популярний формат для передачі і зберігання даних. На цьом форматі побудовані стандарти для обміну даними у багатьох галузях діяльності. Тема роботи є актуальною, оскільки на сьогодні існуючі засоби роботи з XML не дають можливості аналітичної обробки надвеликих масивів даних.
Мета дослідження: розробка засобів аналітичної обробки надвеликих масивів XML-документів, що добре інтегруються з існуючими системами зберігання даних.
Для реалізації поставленої мети були сформульовані наступні завдання:
- розробити модель обробки XML-даних та надвеликих масивів таких даних;
- розробити метод перетворення даних з умовою масового паралельного виконання;
- розробити архітектуру програмного забезпечення, що реалізовує такий метод;
- реалізувати програмне забезпечення для обробки надвеликих масивів XML-даних;
- дослідити ефективність розробленого методу.
Об’єкт дослідження: надвеликі масиви даних у форматі XML
Предмет дослідження:.методи обробки надвеликих масивів даних у форматі XML.
Методи дослідження: при проведенні досліджень у дисертаційній роботі використовувались методи обробки надвеликих масивів даних на основі масових паралельних обчислень.
Наукова новизна: Найбільш суттєвими науковими результатами магістерської дисертації є:
– вперше створено метод обробки надвеликих масивів даних у форматі XML, що дозволяє виконання аналітичних запитів;
– розроблено програмне забезпечення, що використовує створений метод.
Практичне значення отриманих результатів визначається тим, що запропонований алгоритм багаторазово прискорює процес аналізу надвеликих масивів даних у форматі XML.
Зв’язок роботи з науковими програмами, планами, темами: дисертаційна робота виконувалась на кафедрі автоматизованих систем обробки інформації та управління Національного технічного університету України «Київський політехнічний інститут ім. Ігоря Сікорського» в рамках теми «Методи та технології високопродуктивних обчислень та обробки надвеликих масивів даних». Державний реєстраційний номер 0117U000924.
Апробація: Основні положення роботи доповідались і обговорювались на III Всеукраїнській науково-практична конференція молодих вчених та студентів «Інформаційні системи та технології управління» (ІСТУ-2019) у рамках доповіді на тему «Метод обробки надвеликих масивів XML даних».
Опис
Ключові слова
XML, великі дані, map reduce, повнотекстовий пошук, big data, full text search
Бібліографічний опис
Педоренко, О. Р. Математичне та програмне забезпечення обробки надвеликих масивів даних у форматі XML : магістерська дис. : 121 Інженерія програмного забезпечення / Педоренко Олег Русланович . - Київ, 2019. - 75 с.