Aggregation of information from diverse networks as the basis for training cyber security specialists on processing ultra large data sets

Скорочена інформація про документ
dc.contributor.authorLande, Dmytro
dc.contributor.authorPuchkov, Oleksandr
dc.contributor.authorSubach, Ihor
dc.date.accessioned2023-04-10T09:38:32Z
dc.date.available2023-04-10T09:38:32Z
dc.date.issued2021
dc.description.abstractThe basic principles of training cybersecurity specialists on processing large data sets to solve complex unstructured tasks in the course of their functional responsibilities based on the achievements of Data Science in the field of cybersecurity, by acquiring the necessary competencies and practical application of the latest information technologies based on methods of aggregation of large amounts of data are substantiatedand presented. The most common latest technologiesand tools in the field of cybersecurity, the list of which allows getting a fairly holistic view of what is used today by specialists in the field of Data Science, are considered. The tools you need to have to solve complex problems using big data are analyzed.The subject of the study is the fundamental provisions of the concept of “big data”; appropriate data models; architectural concepts of creating information systems for “big data”; big data analytics, as well as the practical application of big dataprocessing results. The theoretical basis of the training, which includes two sections: “Big Data: theoretical principles”, and “Technological applications for big data”, which, in turn, are logically divided into ten, is considered. As a material and technical basis for the acquisition of practical skills by students, a model based on the system “CyberAggregator” was created and described, which operates and is constantly improved in accordance with the expansion of the list of tasks assigned to it. The CyberAggregator system consists of three main parts: a server for collecting and primary processing of information; an information retrieval server (search engine); an interface server from which the service is provided to users and other systems via the API. The system is based on technological components such as the Elasticsearch information retrieval system, the Kibana utility, the Neo4j database graph management system, JavaScript-based results visualization tools (D3.js) and network information scanningmodules. The system provides the implementation of such functions as the formation of databases from certain information resources; maintaining full-text databases of information; detection of duplicates similar in content to information messages; full-text search; analysis of text messages, determination of tonality, formation of analytical reports; integration with the geographic information system; data analysis and visualization; research of thematic information flows dynamics; forecasting events basedon the analysis of the publications dynamics, etc. The suggested approach allows students to acquire the necessary competencies needed to process effectively large amounts of data from social networks, create systems for monitoring network information on cybersecurity, selection of relevant information from social networks, search engine implementation, analytical research, forecasting.uk
dc.description.abstractotherОбґрунтовано і представлено основні засади підготовки фахівців з кібербезпеки з питань оброблення надвеликих масивів даних для вирішення складних неструктурованих задач в ході виконання ними функціональних обов’язків на основі досягнень науки про дані у сфері кібербезпеки, шляхом набуття ними необхідних компетентностей, а також практичного застосування новітніх інформаційних технологій, що ґрунтуються на методах агрегації великих обсягів даних. Розглянуто найпоширеніші новітні технології та інструменти у сфері кібербезпеки, перелік яких дозволяє отримати досить цілісне уявлення про те, що використовують сьогодні фахівці в галузі Data Science. Проаналізовано інструменти, якими необхідно володіти, щоб вирішувати складні завдання з використанням великих даних. Предметом дослідження є фундаментальні положення про концепцію “великих даних”; відповідні моделі даних; архітектурні концепції створення інформаційних систем для “великих даних”; аналітика “великих даних”, а також практичного застосування результатів обробки “великих даних”. Розглянуто теоретичну основу підготовки, що включаєдва розділи: “Великі дані: теоретичні засади”і “Технологічні застосування для великих даних”, які, у свою чергу, логічно розбиті на десять тем. У якості матеріально-технічної бази для набуття практичних навичок тих, хто навчаються, створено та описано макет наоснові системи “КіберАгрегатор”, який функціонує і постійно удосконалюється відповідно до розширення переліку завдань, які на нього покладаються. Система “КіберАгрегатор” складається з трьох основних частин: сервер для збору та первинної обробки інформації; сервер пошуку інформації (пошукова система); інтерфейсний сервер, з якого послуга надається користувачам та іншим системам через API. Система базується на таких технологічних компонентах, як інформаційно-пошукова система Elasticsearch, утілити Kibana, графової системи керування базами даних Neo4j, засобів візуалізації результатів на основі JavaScript(D3.js) і модулів сканування мережевої інформації. Система забезпечує реалізацію таких функцій, як формування баз даних з визначених інформаційних ресурсів;ведення повнотекстових баз даних з інформації; виявлення дублікатів, схожих за змістом інформаційних повідомлень; повнотекстовий пошук; аналіз текстових повідомлень, визначення тональності, формування аналітичних звітів; інтеграцію з географічною інформаційною системою; аналіз та візуалізацію даних; дослідження динаміки тематичних інформаційних потоків; прогнозування розвитку подій на основі аналізу динаміки публікацій тощо. Запропонований підхід дозволяє тим, хто навчається отримати необхідні компетентності, які необхідні для ефективної обробки великих обсягів даних із соціальних мереж, створення систем моніторингу мережевої інформації з питань кібербезпеки, відбору релевантної інформації із соціальних мереж, впровадження пошукової системи, проведенні аналітичних досліджень, прогнозування.uk
dc.format.pagerangePp. 4-16uk
dc.identifier.citationLande, D. Determination of components of route hijack risk by internet connectionstopology analysis / Lande Dmytro, Puchkov Oleksandr, Subach Ihor // Information Technology and Security. – 2021. – Vol. 9, Iss. 1 (16). – 2021. – Pp. 4–16. – Bibliogr.: 17 ref.uk
dc.identifier.doihttps://doi.org/10.20535/2411-1031.2021.9.1.247256
dc.identifier.issnISSN 2411-1031
dc.identifier.orcid0000-0003-3945-1178uk
dc.identifier.orcid0000-0002-8585-1044uk
dc.identifier.orcid0000-0002-9344-713Xuk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/54421
dc.language.isoenuk
dc.publisherInstitute of Special Communication and Information Protection of National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”uk
dc.publisher.placeKyivuk
dc.relation.ispartofInformation Technology and Security : Ukrainian research papers collection, 2021, Vol. 9, Iss. 1 (16)uk
dc.rights.urihttps://creativecommons.org/licenses/by/4.0/
dc.subjectbig datauk
dc.subjectsocial networksuk
dc.subjectcybersecurityuk
dc.subjectinformation retrieval systemsuk
dc.subjectdata aggregationuk
dc.subjectdata scienceuk
dc.subjectinformation technologyuk
dc.subjectвеликі даніuk
dc.subjectcоціальні мережіuk
dc.subjectкібербезпекаuk
dc.subjectінформаційно-пошукові системиuk
dc.subjectагрегація данихuk
dc.subjectнаука про даніuk
dc.subjectінформаційна технологіяuk
dc.subject.udc004[942+056.5]uk
dc.titleAggregation of information from diverse networks as the basis for training cyber security specialists on processing ultra large data setsuk
dc.title.alternativeАгрегація інформації з різнорідних мереж як основа підготовки фахівців з кібербезпеки з питань оброблення надвеликих масивів данихuk
dc.typeArticleuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
247256-603327-1-10-20220727.pdf
Розмір:
1.54 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.1 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Information Technology and Security, Vol. 9, Iss. 1 (16)