Алгоритм кластеризації Маркова для платформ розподілених обчислень Spark та Hadoop
Ескіз недоступний
Дата
2018
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
Анотація
Магістерська дисертація: 112 с., 31 рис., 30 табл., 2 додатки, 29 джерел.
Об’єкт дослідження: задача кластеризації графів.
Мета роботи – створення модифікації алгоритму кластеризації Маркова для платформ розподілених обчислень Spark та Hadoop.
Метод досліджень - методи аналізу і синтезу, системного аналізу, порівняння, логічного узагальнення результатів, проектування логічних структур даних.
У даній роботі було розроблено модифікацію алгоритму кластеризації Маркова на основі файлової системи HDFS, планувальника задач Apache YARN та платформи розподілених обчислень Apache Spark та створений відповідний програмний продукт для розподіленої кластеризації графів.
Апробація моделі була проведена на віртуальному кластері на локальному комп'ютері, що складався з трьох вузлів. Отримані результати показують, що дана розподілена реалізація з трьома обчислювальними вузлами на графах з кількістю вершин у 60000 є вдвічі швидшою за однопотокову канонічну імплементацію, зі збільшенням кількості вузлів, швидкість обробки зростає. Також, розподілена імплементація починає бути швидшою за однопотокову на графах з кількістю вершин більшою, ніж 2500.
Отримані результати можуть використовуватись у розподілених системах для аналізу великих даних, представлених у вигляді графів, у предметній області соціальних мереж, комп’ютерних мереж, біології, тощо.
Опис
Ключові слова
кластеризація, алгоритм кластеризації Маркова, кластерний аналіз, Apache, Hadoop, Spark, mapreduce, розподілені обчислення, clustering, Markov clustering algorithm, cluster analysis, Apache, Hadoop, Spark, mapreduce, distributed computing
Бібліографічний опис
Ходак, А. Р. Алгоритм кластеризації Маркова для платформ розподілених обчислень Spark та Hadoop : магістерська дис. : 122 Комп'ютерні науки / Ходак Антон Романович. - Київ, 2018. - 116 с.