Методи організації ефективної обробки надвеликих масивів інформації на платформі Node.js
Ескіз недоступний
Дата
2018
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
Анотація
Актуальність теми: тема надвеликих масивів даних нині є дуже актуальною, оскільки майже усі новітні технології базуються на обробці величезних обсягів інформації. В цьому можна переконатися, звернувши увагу на праці в галузі машинного навчання, що базуються на обробці таких обсягів даних, як Нільса Нілльсона, Девіда Сторка, Генрі Стокмена та багатьох інших спеціалістів. Проте не усі програмні платформи здатні взаємодіяти з екосистемами, що дозволяють працювати с надвеликими масивами даних. Однією з таких платформ є Node.js, для якої я вирішив написати власне рішення у вигляді нового ефективного методу взаємодії з Big Data.
Мета дослідження: написання власного методу взаємодії з надвеликими масивами даних на платформі Node.js, порівняти даний метод з іншими методами реалізації, такими як Hadoop, Spark, Hive.
Для реалізації поставленої мети були сформульовані наступні завдання:
1. Ознайомитися з літературою, що повязана з даною тематикою, а саме з технічною реалізацією методів обробки надвеликих масивів даних
2. Побудувати власну математичну модель як основу власного методу
3. Побудувати програмну модель власної екосистеми для подальшої реалізації методу обробки інформації
4. Написати власну екосистему, базуючись на математичних та програмних моделях
5. Порівняти ефективність власного методу з вже існуючими
6. Зробити висновки на основі порівняння та спрогнозувати наступні кроки розвитку
Об’єкт дослідження: ефективна обробка надвеликих масивів даних.
Предмет дослідження: екосистеми та методи, пов’язані з ефективною обробкою надвеликих масивів даних.
Методи дослідження: використовувався метод порівняння ефективності власного методу з іншими за такими параметрами, як час обробки надвеликих масивів даних, нагромадження на систему, використання оперативної пам'яті та тестування на масштабованість.
Наукова новизна: Найбільш суттєвими науковими результатами магістерської дисертації є:
- створення власного ефективного методу обробки надвеликих масивів даних, на даний момент єдиного на платформі Node.js.
- обгрунтування переваг на недоліків даного методу в порівнянні вже с існуючими
- сформування чіткого звіту щодо ефективності даного методу за параметрами, вказаними в методах дослідження
Практичне значення отриманих результатів визначається тим, що запропонований метод дійсно є ефективним для взаємодії та обробці надвеликих масивів даних.
Зв’язок роботи з науковими програмами, планами, темами:
дана робота має зв'язок з такими екосистемами, як Spark, Hadoop, Hive корпорації The Apache Software Foundation, а саме з офіційною документацією вище перерахованих програмних рішень.
Апробація: Основні положення роботи доповідались і обговорювались на конференції Факультету Інформатики та Обчислювальної Техніки 29 листопада.
Опис
Ключові слова
архітектура, надвеликі масиви даних, ефективний метод обробки надвеликих масивів даних, node.js, паралельна обробка даних, architecture, big data, super large data arrays, efficient method for processing large data arrays, parallel processing of data
Бібліографічний опис
Харламбов, К. К. Методи організації ефективної обробки надвеликих масивів інформації на платформі Node.js : магістерська дис. : 121 Інженерія програмного забезпечення / Харламбов Костянтин Костянтинович. – Київ, 2018. – 65 с.