Математичне та програмне забезпечення обробки надвеликих масивів даних у форматі XML

Скорочена інформація про документ
dc.contributor.advisorОлійник, Юрій Олександрович
dc.contributor.authorПедоренко, Олег Русланович
dc.date.accessioned2020-02-11T13:19:51Z
dc.date.available2020-02-11T13:19:51Z
dc.date.issued2019-12
dc.description.abstractenRelevance of the topic: XML is a popular format for transmitting and storing data. This format builds standards for data exchange in many industries. The topic of work is relevant, because today the existing XML tools do not allow analytical processing of large data sets. Research goal: development of analytical tools for processing large arrays of XML documents that integrate well with existing storage systems. The following tasks have been set to reach the goal: - develop a model for processing XML data and large arrays of such data; - to develop a method of data conversion with the condition of mass parallel execution; - develop a software architecture that implements this method; - implement software for processing oversized XML data sets; - to investigate the effectiveness of the developed method. Research object: extra-large XML data sets Research subject: methods of processing large data sets in XML format Research methods: the methods of processing of large data sets based on mass parallel calculations were used in the dissertation research. Scientific novelty: The most significant scientific results of the master's thesis are: – for the first time the method of processing of large data sets in XML format was created, which allows to perform analytical queries; – software developed using the created method. Practical value of the results: The practical value of the obtained results is determined by the fact that the proposed algorithm significantly improves the process of analysis of large data sets in XML format. Link to scientific programs: This dissertation was performet at the Department of Automated Information Processing and Management Systems of the National Technical University of Ukraine "Kyiv Polytechnic Institute named after Igor Sikorsky” within the topic “Methods and technologies of high-performance computing and processing of large data sets”. State Registration Number 0117U000924. Publications: The main provisions of the work were reported and discussed at the III All-Ukrainian Scientific and Practical Conference of Young Scientists and Students "Information Systems and Technologies of Management" (ISTU-2019) in the framework of the report on the method of processing large data sets of XML data.uk
dc.description.abstractukАктуальність теми: XML – це популярний формат для передачі і зберігання даних. На цьом форматі побудовані стандарти для обміну даними у багатьох галузях діяльності. Тема роботи є актуальною, оскільки на сьогодні існуючі засоби роботи з XML не дають можливості аналітичної обробки надвеликих масивів даних. Мета дослідження: розробка засобів аналітичної обробки надвеликих масивів XML-документів, що добре інтегруються з існуючими системами зберігання даних. Для реалізації поставленої мети були сформульовані наступні завдання: - розробити модель обробки XML-даних та надвеликих масивів таких даних; - розробити метод перетворення даних з умовою масового паралельного виконання; - розробити архітектуру програмного забезпечення, що реалізовує такий метод; - реалізувати програмне забезпечення для обробки надвеликих масивів XML-даних; - дослідити ефективність розробленого методу. Об’єкт дослідження: надвеликі масиви даних у форматі XML Предмет дослідження:.методи обробки надвеликих масивів даних у форматі XML. Методи дослідження: при проведенні досліджень у дисертаційній роботі використовувались методи обробки надвеликих масивів даних на основі масових паралельних обчислень. Наукова новизна: Найбільш суттєвими науковими результатами магістерської дисертації є: – вперше створено метод обробки надвеликих масивів даних у форматі XML, що дозволяє виконання аналітичних запитів; – розроблено програмне забезпечення, що використовує створений метод. Практичне значення отриманих результатів визначається тим, що запропонований алгоритм багаторазово прискорює процес аналізу надвеликих масивів даних у форматі XML. Зв’язок роботи з науковими програмами, планами, темами: дисертаційна робота виконувалась на кафедрі автоматизованих систем обробки інформації та управління Національного технічного університету України «Київський політехнічний інститут ім. Ігоря Сікорського» в рамках теми «Методи та технології високопродуктивних обчислень та обробки надвеликих масивів даних». Державний реєстраційний номер 0117U000924. Апробація: Основні положення роботи доповідались і обговорювались на III Всеукраїнській науково-практична конференція молодих вчених та студентів «Інформаційні системи та технології управління» (ІСТУ-2019) у рамках доповіді на тему «Метод обробки надвеликих масивів XML даних».uk
dc.format.page75 с.uk
dc.identifier.citationПедоренко, О. Р. Математичне та програмне забезпечення обробки надвеликих масивів даних у форматі XML : магістерська дис. : 121 Інженерія програмного забезпечення / Педоренко Олег Русланович . - Київ, 2019. - 75 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/31521
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectXMLuk
dc.subjectвеликі даніuk
dc.subjectmap reduceuk
dc.subjectповнотекстовий пошукuk
dc.subjectbig datauk
dc.subjectfull text searchuk
dc.subject.udc004.65uk
dc.titleМатематичне та програмне забезпечення обробки надвеликих масивів даних у форматі XMLuk
dc.typeMaster Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Pedorenko_magistr.pdf
Розмір:
1.42 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.06 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (АСОІУ)
Магістерські роботи