Архітектурне рішення для обробки великих обсягів статистичних даних на пристроях з низькими технічними можливостями

Скорочена інформація про документ
dc.contributor.advisorГоловченко, Максим Миколайович
dc.contributor.authorВальчук, Дмитро Володимирович
dc.date.accessioned2021-03-11T08:45:26Z
dc.date.available2021-03-11T08:45:26Z
dc.date.issued2020-12
dc.description.abstractenActuality of theme. The development of information technology is becoming increasingly important in many areas of human life, which provides technical progress in general and is accompanied by the creation of large amounts of data. Due to this, such areas of information technology as machine learning, artificial intelligence and data analysis are developing more and more rapidly. Outside of each company, the possibility of hiring such specialists or using the services of a cloud computing provider, as well as economic methods of analysis are becoming increasingly interesting for small industrial private industrial enterprises. The aim of the research. The goal is to build an architectural solution for the analysis of large data sets with minimal use of computer RAM, as well as the implementation of a web application using the proposed architecture. To achieve this goal, the following tasks were formed: explore existing methods of data analysis; explore methods of fast uploading files to the server; explore methods of working with data archives; explore methods and formats for storing large amounts of data on the server side; develop an experimental architectural solution using Python Jupyter Notebook; develop minimum client and server components to confirm the proposed architecture. The object data analysis. The subject data analysis on devices with low technical capabilities. Scientific Novelty: The scientific novelty lies in the development of an architectural solution based on the use of the server's hard disk while minimizing the use of RAM, which leads to cheaper calculations than similar solutions. The practical value of the results is a software product which demonstrates the main advantages of the proposed architectural solution. Relationship with scientific programs, plans, topics: the dissertation was carried out in the scope of initiative theme of the ASOIU department “Methods and technologies in the task of searching and storing data”. Testing: The main provisions of the work were reported and discussed at the 5th All-Ukrainian scientific-practical conference of young scientists and students "Information systems and management technologies" (ISTU-2020): Proceedings of the scientific conference of students, undergraduates and graduate students, Kyiv, November 27, 2020. Articles: Architectural solution for processing large volumes of statistical data on devices with low technical capabilities / Valchuk D.V., Golovchenko M.M. // V All-Ukrainian scientific-practical conference of young scientists and students "Information systems and management technologies" (ISTU-2020): Proceedings of the scientific conference of students, undergraduates and graduate students, Kyiv, November 27, 2020.uk
dc.description.abstractukАктуальність теми. Розвиток інформаційних технологій з кожним роком займає все більше значення у багатьох галузях людської життєдіяльності, це стимулює технічний прогрес у цілому і супроводжується створенням великої кількості даних. Завдяки цьому, все з більшою швидкістю розвиваються такі напрями інформаційних технологій як машинне навчання, штучний інтелект та аналіз даних. Але не у кожної компанії є можливість найняти собі такого спеціаліста або скористатись послугами провайдерів хмарних обчислень, тому економні методи аналізу даних стають все більш цікавими для невеликих підприємств чи приватних підприємців. Мета дослідження. Метою є побудова архітектурного рішення для аналізу великих масивів даних з мінімальним використанням оперативної пам’яті комп’ютера, а також реалізація веб додатку з використанням пропонованої архітектури. Для реалізації поставленої мети були сформульовані наступні завдання: дослідити існуючі методи аналізу даних; дослідити методи швидкого завантаження файлів на сервер; дослідити методи роботи з архівами даних; дослідити методи та формати зберігання великих обсягів даних на стороні серверу; дослідити бібліотеки для аналізу масивів даних; розробити експериментальне архітектурне рішення, використовуючи Python Jupyter Notebook; розробити мінімальні клієнтські та серверні компоненти для підтвердження ефективності запропонованої архітектури. Об’єкт дослідження – аналіз великих масивів статистичних даних. Предмет дослідження – аналіз даних на пристроях з низькими технічними можливостями. Наукова новизна: Наукова новизна полягає у розробці архітектмінімізуючи при цьому використання оперативної пам’яті, що призводить до більш дешевих обчислень ніж у аналогічних рішень. Практичне значення отриманих результатів визначається тим, що розроблено програмний продукт, який демонструє основні переваги запропонованого архітектурного рішення. Зв’язок роботи з науковими програмами, планами, темами: дисертація виконувалась в рамках ініціативної теми кафедри АСОІУ «Методи та технології в задача пошуку та збереження даних». Апробація: основні положення роботи доповідались і обговорювались на 5-й Всеукраїнській науково-практичній конференції молодих вчених та студентів «Інформаційні системи та технології управління»(ІСТУ-2020): Матеріали наукової конференції студентів, магістрантів та аспірантів, м. Київ, 27 листопада 2020. Публікації: Архітектурне рішення для обробки великих обсягів статистичних даних на пристроях з низькими технічними можливостями / Вальчук Д.В., Головченко М.М. // V Всеукраїнська науково-практична конференція молодих вчених та студентів «Інформаційні системи та технології управління»(ІСТУ-2020): Матеріали наукової конференції студентів, магістрантів та аспірантів, м. Київ, 27 листопада 2020.урного рішення, яке базується на використанні жорсткого диску серверного комп’ютераuk
dc.format.page89 с.uk
dc.identifier.citationВальчук, Є. О. Архітектурне рішення для обробки великих обсягів статистичних даних на пристроях з низькими технічними можливостями : магістерська дис. : 121 Інженерія програмного забезпечення / Вальчук Дмитро Володимирович. – Київ, 2020. – 89 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/39903
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectаналіз данихuk
dc.subjectмашинне навчанняuk
dc.subjectвідображення файлів в пам’ятьuk
dc.subjectнабір данихuk
dc.subjectPythonuk
dc.subjectVaexuk
dc.subjectApache Sparkuk
dc.subjectdata analysisuk
dc.subjectmachine learninguk
dc.subjectmemory mappinguk
dc.subjectdatasetuk
dc.subject.udc004.67uk
dc.titleАрхітектурне рішення для обробки великих обсягів статистичних даних на пристроях з низькими технічними можливостямиuk
dc.typeMaster Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Valchuk_magistr.pdf
Розмір:
2.29 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.1 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (АСОІУ)
Магістерські роботи