Експериментальне дослідження енергоефективності обробки даних в розподіленому дата центрі

Скорочена інформація про документ
dc.contributor.advisorГлоба, Лариса Сергіївна
dc.contributor.authorПрокопець, Володимир Андрійович
dc.date.accessioned2019-05-21T14:15:18Z
dc.date.available2019-05-21T14:15:18Z
dc.date.issued2019
dc.description.abstractenThe work contains 99 pages, 31 figures and 12 tables, 52 sources have been used. The purpose of the study is to increase the energy efficiency and productivity of processing user requests in a heterogeneous data center (data center) of the telecommunications operator. Task: 1. Explore NFV (Network Function Virtualization) technology for its use in the LTE network. Determine the approach to calculating the load that will be delivered to the data centers of mobile operators of Ukraine. 2. Examine the existing load balancing algorithms in the server cluster, identify their advantages and disadvantages. 3. Develop an improved load balancing algorithm that will improve the energy efficiency of data processing based on the data obtained from the proposed calculation of the load. 4. Create a simulation model of the server cluster with load balancing function in the Matlab environment based on the data received. After testing the model, examine the effectiveness of the proposed algorithm on an example of a data center with an average size (100 nodes). 5. Develop cross-platform software (software) that will perform load balancing functions. The software should include the possibility of automated logical clustering among existing physical servers located both in the same physical network and in different, as well as support for load balancing functions among all nodes in the logical cluster. 6. Conduct the testing of the developed simulation model. Object of research: the process of balancing the load in distributed data centers (server clusters) of mobile operators. Subject of research: approaches to improving the efficiency of the heterogeneous, territorially distributed virtualized infrastructure of the mobile communications operator. Research methods: 1. Theoretical research - mathematical methods of system analysis, publicly available specifications of technologies, scientific works, statistics and forecasts of cellular operators; 2. Imation simulation - a program of mathematical modeling Matlab; 3. Test on the equipment - a server cluster of the Technical University of Dresden to verify the adequacy of the model load balancing algorithms. Novelty of work: The proposed approach to energy efficient planning of tasks is, unlike the known, from two main stages: 1. The stage of preliminary attestation; 2. Task planning stage. The stage of preliminary attestation is performed in the server cluster from time to time, when it is configured. The individual definition of the functions P = f (CPU) for each processing node and their subsequent use in the process of task planning is a key feature of the proposed approach. The second stage involves, in contrast to the known technical solutions, the solution of the optimization task by the criteria of energy efficiency and processing of tasks using individually determined energy models of nodes. The result of this process is to place each of the current tasks for processing on the server with optimal parameters. The proposed approach is presented as a task scheduler algorithm. The validity and reliability of scientific provisions, conclusions and recommendations: 1. An analysis of existing approaches to improving the energy efficiency of computations in the data center has been carried out, which has shown a number of methods aimed at reducing energy consumption during data processing, but do not take into account simultaneously the parameter of computing productivity. 2. A class of methods for increasing energy efficiency of calculations, namely, energy-efficient planning of tasks, in which it is expedient to make changes in order to improve energy efficiency and computational efficiency indicators, is selected. 3. An approach to increasing the energy efficiency of computing for a server cluster as an information and telecommunication unit of a data center infrastructure of a telecommunication operator or an online service provider is proposed, which is different at the same time taking into account the parameters of energy efficiency and productivity when assigning tasks. 4. An algorithm for increasing the energy efficiency of the calculations based on the proposed approach, which consists of the stage of preliminary individual attestation of the server cluster and the stage of energy efficient allocation of tasks, is developed. The consideration of the individual mathematical dependencies of the power consumption of servers, taking into account their load capacity, is the main distinguishing feature of the proposed approach. 5. The work of the proposed approach is tested experimentally and by simulation modeling. The analysis of the obtained results is carried out, and it is determined that the approach is more effective - up to 25% for performance and energy efficiency indicators at optimal weight ratios - for large heterogeneous clusters. The scientific significance of work: The approaches proposed in the dissertation to improve the load balancing process in distributed data centers (server clusters) of mobile operators expands the range of load balancing capabilities in the server cluster by improving the energy efficiency of the calculations that are performed on them while maintaining the current QoS level during communication service provision. The practical value of the results obtained: The approaches proposed in the work can be used to improve the energy efficiency of existing large-scale data centers of mobile operators. The saved energy will have both an economic effect (reducing operating costs for the functioning of the data centers) and the ecological (reduction of atmospheric emissions in the production of electricity) effect. At the same time, the quality indicators of information processing will not degrade and accordingly will not incur economic losses to communication operators. Master student's personal contribution: The simulation model was developed using the MATLAB environment. We tested the model on the real equipment of the server cluster (qualitative and quantitative composition of which was reproduced in the MATLAB model). Approval results indicate that the model configuration was performed correctly. Software has been developed that implements a load balancing approach that will improve the energy and performance in the data center of mobile operators.uk
dc.description.abstractukРобота містить 99 сторінок, 31 рисунок та 12 таблиць. Було використано 52 джерела. Мета дослідження – підвищити енергоефективність та продуктивність обробки запитів користувача в гетерогенному ЦОД (центрі обробки даних) оператора зв’язку. Завдання: 1. Дослідити технологію NFV (Network Function Virtualization), а також особливості її використання в мережі LTE. Визначити підхід щодо розрахунку обсягу навантаження, який надходитиме на ЦОД мобільних операторів зв’язку України. 2. Дослідити існуючі алгоритми балансування навантаження в серверному кластері, визначити їх переваги та недоліки. 3. Розробити удосконалений алгоритм балансування навантаження, який покращить енергоефективність обробки даних на основі даних, отриманих за запропонованим розрахунком обсягу навантаження. 4. Створити імітаційну модель серверного кластеру з функцією балансування навантаження в середовищі Matlab, базуючись на отриманих даних. Після проведеної апробації моделі дослідити ефективність запропонованого алгоритму на прикладі дата-центру з середнім розміром (100 вузлів). 5. Розробити крос-платформне ПЗ (програмне забезпечення), яке виконуватиме функції балансування навантаження. ПЗ має містити можливості автоматизованого формування логічних кластерів серед наявних фізичних серверів, які знаходяться як в одній фізичній мережі, так і в різних, а також підтримки функцій балансування навантаження серед усіх вузлів логічного кластера. 6. Провести апробацію розробленої імітаційної моделі. Об’єкт дослідження: процес балансування навантаження в розподілених дата-центрах (серверних кластерах) операторів мобільного зв’язку. Предмет дослідження: підходи щодо покращення ефективності гетерогенної територіально розподіленої віртуалізованої інфраструктури оператора мобільного зв’язку. Методи дослідження: 1. Теоретичне дослідження – математичні методи системного аналізу, загальнодоступні специфікації технологій, наукові праці, статистики та прогнози операторів стільникового зв’язку; 2. Імітаційне моделювання - програма математичного моделювання Matlab; 3. Апробація на обладнанні - серверний кластер Технічного університету Дрездена для перевірки адекватності моделі алгоритмів балансування навантаження. Новизна роботи: Запропонований підхід до енергоефективного планування завдань складається, на відміну від відомих, з двох основних етапів: 1. Етап попередньої атестації; 2. Етап планування завдань. Етап попередньої атестації проводиться у серверному кластері періодично, при його налаштуванні. Індивідуальне визначення функцій P = f(CPU) для кожного вузла обробки та їх подальше використання у процесі планування завдань є ключовою особливістю запропонованого підходу. Другий етап передбачає на відміну від відомих технічних рішень вирішення оптимізаційного завдання за критеріями енергоефективності та продуктивності обробки завдань з використанням індивідуально визначених енергетичних моделей вузлів. Результатом цього процесу є розміщення кожного поточного завдання для обробки на сервер із оптимальними параметрами. Запропонований підхід представлено у вигляді алгоритму планувальника завдань. Обгрунтованість і достовірність наукових положень, висновків і рекомендацій: 1. Проведено аналіз існуючих підходів до підвищення енергоефективності обчислень у центрі обробки даних, який показав наявність низки методів, що мають на меті зниження енергоспоживання під час обробки даних, але не враховують одночасно параметр продуктивності обчислень. 2. Виділено клас методів підвищення енергоефективності обчислень, а саме енергоефективне планування завдань, у рамках якого доцільним є внесення змін з метою покращення показників енергоефективності та продуктивності обчислень. 3. Запропоновано підхід до підвищення енергоефективності обчислень для серверного кластера як інформаційно-телекомунікаційної одиниці інфраструктури ЦОД оператора зв’язку або провайдера онлайн-послуг, який відрізняється одночасним врахуванням параметрів енергоефективності та продуктивності при розподілі завдань. 4. Розроблено алгоритм підвищення енергоефективності обчислень на основі запропонованого підходу, який складається з етапу попередньої індивідуальної атестації серверного кластера та етапу енергоефективного розподілу завдань. Врахування індивідуальних математичних залежностей енергоспоживання серверів з урахуванням їх завантаженості є основною відмінною рисою запропонованого підходу. 5. Перевірено роботу запропонованого підходу експериментально та шляхом імітаційного моделювання. Проведено аналіз отриманих результатів, та визначено, що підхід проявляє більшу ефективність – до 25% за показниками продуктивності та енергоефективності при оптимальних вагових коефіцієнтах – для великих гетерогенних кластерів. Наукове значення роботи: Запропоновані в дисертації підходи щодо удосконалення процесу балансування навантаження в розподілених дата-центрах (серверних кластерах) операторів мобільного зв’язку розширюють спектр можливостей балансування навантаження в серверному кластері, покращуючи енергоефективність обчислень, які в них виконуються, при збереженні поточного рівня QoS під час надання послуг зв’язку. Практичне значення отриманих результатів: Запропоновані в роботі підходи можуть бути використані для покращення енергоефективності існуючих масштабних дата-центрів мобільних операторів зв’язку. Зекономлена електроенергія матиме як економічний (зменшення операційних витрат на функціонування дата-центрів) так і екологічний (зменшення викидів в атмосферу при виробництві електроенергії) ефект. При цьому якісні показники обробки інформації не деградуватимуть і відповідно не нестимуть економічних збитків операторам зв’язку. Особистий внесок магістранта: Була виконана розробка імітаційної моделі з використанням середовища MATLAB. Проведена апробація моделі на реальному обладнанні серверного кластера (якісний і кількісний склад якого був відтворений у моделі MATLAB). Результати апробації вказують, що налаштування моделі було виконане правильно. Створене програмне забезпечення, яке реалізує підхід щодо балансування навантаження, яке дозволить покращити показники енергоспоживання та продуктивності в дата-центрі мобільних операторів зв’язку.uk
dc.format.page99 с.uk
dc.identifier.citationПрокопець, В. А. Експериментальне дослідження енергоефективності обробки даних в розподіленому дата центрі : магістерська дис. : 172 Телекомунікації та радіотехніка / Прокопець Володимир Андрійович. – Київ, 2019. – 99 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/27606
dc.language.isoukuk
dc.publisher.placeКиївuk
dc.subjectбалансування навантаженняuk
dc.subjectобробка інформації в дата-центрах оператора зв’язкуuk
dc.subjectвіртуалізація мережевих функційuk
dc.subjectенергоефективністьuk
dc.subjectvirtualization of network functionsuk
dc.subjectenergy efficiencyuk
dc.subjectload balancinguk
dc.subjectinformation processing in the data center of the telecommunication operatoruk
dc.subject.udc621.391+004.7uk
dc.titleЕкспериментальне дослідження енергоефективності обробки даних в розподіленому дата центріuk
dc.typeMaster Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Prokopets_magistr.pdf
Розмір:
2.23 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.06 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (ТС)
Магістерські роботи