Методи організації ефективної обробки надвеликих масивів інформації на платформі Node.js

Скорочена інформація про документ
dc.contributor.advisorСелін, Юрій Миколайович
dc.contributor.authorХарламбов, Костянтин Костянтинович
dc.date.accessioned2019-01-25T13:43:53Z
dc.date.available2019-01-25T13:43:53Z
dc.date.issued2018
dc.description.abstractenActuality: the topic Big Data is now very relevant, since almost all the latest technologies are based on the processing of huge amounts of information. This can be verified by paying attention to work in machine learning, based on the processing of such volumes of data as Niels Nilson, David Stork, Henry Stokman and many other professionals. However, not all software platforms are able to interact with ecosystems that allow working with super-massive data. One of these platforms is Node.js, for which I decided to write my own solution as a new effective method for interacting with Big Data. The purpose of the research: writing a custom method for interacting with super-large data arrays on the platform Node.js, compare this method with other implementation methods such as Hadoop, Spark, Hive. To achieve the goal, the following objectives were formulated: 1. To get acquainted with the literature related to this subject, namely, with the technical implementation of the methods of processing super-large data arrays 2. Build your own mathematical model as the basis of your own method 3. To build a software model of its own ecosystem for further implementation of the method of information processing 4. To write own ecosystems, based on mathematical and software models 5. Compare the effectiveness of your own method with existing ones 6. Make conclusions based on comparison and forecast the next steps of development Object of research: efficient processing of super large data arrays. Subject of research: ecosystems and methods related to the efficient processing of large-scale data arrays. Methods of research: the method used to compare the effectiveness of the own method with others by parameters such as processing large amounts of data, accumulation on the system, use of RAM and testing for scalability. Scientific novelty: The most significant scientific results of the master's thesis are: - Create your own effective data processing method for extra large data arrays, currently unique on the Node.js platform. - substantiation of the advantages of the disadvantages of this method in comparison with the existing ones - formation of a clear report on the effectiveness of this method for the parameters specified in the research methods The practical value of the results obtained is determined by the fact that the proposed method is indeed effective for the interaction and processing of superlarge data arrays. Relationship of work with scientific programs, plans, themes: This work relates to ecosystems such as the Spark, Hadoop, Hive of the The Apache Software Foundation, with the official documentation of the above software solutions. Approbation: The main provisions of the work were described and discussed at the Faculty of Computer Science and Computing conference on November 29th.uk
dc.description.abstractukАктуальність теми: тема надвеликих масивів даних нині є дуже актуальною, оскільки майже усі новітні технології базуються на обробці величезних обсягів інформації. В цьому можна переконатися, звернувши увагу на праці в галузі машинного навчання, що базуються на обробці таких обсягів даних, як Нільса Нілльсона, Девіда Сторка, Генрі Стокмена та багатьох інших спеціалістів. Проте не усі програмні платформи здатні взаємодіяти з екосистемами, що дозволяють працювати с надвеликими масивами даних. Однією з таких платформ є Node.js, для якої я вирішив написати власне рішення у вигляді нового ефективного методу взаємодії з Big Data. Мета дослідження: написання власного методу взаємодії з надвеликими масивами даних на платформі Node.js, порівняти даний метод з іншими методами реалізації, такими як Hadoop, Spark, Hive. Для реалізації поставленої мети були сформульовані наступні завдання: 1. Ознайомитися з літературою, що повязана з даною тематикою, а саме з технічною реалізацією методів обробки надвеликих масивів даних 2. Побудувати власну математичну модель як основу власного методу 3. Побудувати програмну модель власної екосистеми для подальшої реалізації методу обробки інформації 4. Написати власну екосистему, базуючись на математичних та програмних моделях 5. Порівняти ефективність власного методу з вже існуючими 6. Зробити висновки на основі порівняння та спрогнозувати наступні кроки розвитку Об’єкт дослідження: ефективна обробка надвеликих масивів даних. Предмет дослідження: екосистеми та методи, пов’язані з ефективною обробкою надвеликих масивів даних. Методи дослідження: використовувався метод порівняння ефективності власного методу з іншими за такими параметрами, як час обробки надвеликих масивів даних, нагромадження на систему, використання оперативної пам'яті та тестування на масштабованість. Наукова новизна: Найбільш суттєвими науковими результатами магістерської дисертації є: - створення власного ефективного методу обробки надвеликих масивів даних, на даний момент єдиного на платформі Node.js. - обгрунтування переваг на недоліків даного методу в порівнянні вже с існуючими - сформування чіткого звіту щодо ефективності даного методу за параметрами, вказаними в методах дослідження Практичне значення отриманих результатів визначається тим, що запропонований метод дійсно є ефективним для взаємодії та обробці надвеликих масивів даних. Зв’язок роботи з науковими програмами, планами, темами: дана робота має зв'язок з такими екосистемами, як Spark, Hadoop, Hive корпорації The Apache Software Foundation, а саме з офіційною документацією вище перерахованих програмних рішень. Апробація: Основні положення роботи доповідались і обговорювались на конференції Факультету Інформатики та Обчислювальної Техніки 29 листопада.uk
dc.format.page65 с.uk
dc.identifier.citationХарламбов, К. К. Методи організації ефективної обробки надвеликих масивів інформації на платформі Node.js : магістерська дис. : 121 Інженерія програмного забезпечення / Харламбов Костянтин Костянтинович. – Київ, 2018. – 65 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/26062
dc.language.isoukuk
dc.publisher.placeКиївuk
dc.subjectархітектураuk
dc.subjectнадвеликі масиви данихuk
dc.subjectефективний метод обробки надвеликих масивів данихuk
dc.subjectnode.jsuk
dc.subjectпаралельна обробка данихuk
dc.subjectarchitectureuk
dc.subjectbig datauk
dc.subjectsuper large data arraysuk
dc.subjectefficient method for processing large data arraysuk
dc.subjectparallel processing of datauk
dc.subject.udc004.738.5, 004.45uk
dc.titleМетоди організації ефективної обробки надвеликих масивів інформації на платформі Node.jsuk
dc.typeMaster Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
Kharlambov_magistr.docx
Розмір:
547.35 KB
Формат:
Microsoft Word XML
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
7.74 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (АСОІУ)
Магістерські роботи