Спосіб оптимізації передачі однотипних JSON-документів в компʼютерних мережах з врахуванням структури цих документів

Скорочена інформація про документ
dc.contributor.advisorМарченко, Олександр Іванович
dc.contributor.authorКолпаков, Пилип Сергійович
dc.date.accessioned2022-12-29T10:28:57Z
dc.date.available2022-12-29T10:28:57Z
dc.date.issued2022-12
dc.description.abstractenActuality of theme. The rapid transfer of large volumes of information is often the same "bottleneck" that limits the effectiveness of software products. Commonly accepted and widely used solutions are often outdated and unsuitable for updating or optimization. Developers are forced to spend their time either on situational optimizations or on adaptation to new, but not so simple and familiar solutions. This paper considers a specific data format — JSON, and a specific subset of cases — a large number of identical/similar documents. The task is to compress information (by reformatting, archiving, or in another way) while maintaining acceptable speed, or even improving it. This case is important because the REST architecture is widely used in today's IT industry. It most often involves the exchange of JSON requests, the structure of which is reduced to a small set of more or less similar classes (despite the fact that the JSON format itself does not provide for any classes). The object of the research is the process of transmitting the same type of JSON documents through computer networks. The subject of the research are methods of optimizing the transfering of the same JSON documents in terms of data volume and speed. The purpose of the work: to reduce the amount of data transfered while saving or speeding up the process of exchanging JSON messages. Scientific novelty. For the first time, a new method of optimizing the transfering of the same type of JSON documents is proposed, which consists in the preliminary analysis of messages and the use of a special format for data transfering, which differs from the existing ones by taking into account the structure of the transmitted documents and using a data format that does not contain structural information (the structure of objects , field names), and, as a result, allows to optimize the transfering of JSON documents by volume, reducing network traffic and not requiring the programmer to explicitly describe message data structures. Practical value. The software tool, which will work according to the proposed method, will allow to optimize the process of transmitting a large number of identical JSON messages in the following cases: on servers with REST architecture (the most common case); in some no-SQL databases (MongoDB, DocumentDB); when saving program logs, time-series data (if JSON format is used). The developed method makes it possible to reduce the size of a typical JSON message by more than two times if the stage of preliminary analysis with all necessary sample messages is performed correctly. At the same time, the algorithm does not require significant computing resources in the case of the same type of messages. Approbation of work. The main provisions and results of the work were presented and discussed at the 15th conference of master's and postgraduate students "Applied mathematics and computing" PMK-2022 (Kyiv, November 18, 2022). Publications. The results of the dissertation are presented in scientific works, including: • theses for the report at the 15th conference of master's and postgraduate students "Applied mathematics and computing" PMK-2022 on the topic "Analysis of existing ways of optimizing the transfering of the same type of JSON documents in computer networks"; • scientific journal "Computer-integrated technologies: education, science, production", 2022, No. 49, article on the topic "A method of optimizing the transfering of identical JSON documents through computer networks". Structure and scope of work. The master's thesis consists of an introduction, four chapters and conclusions. In the introduction, an assessment of the current state of the problem is made, the relevance of the research direction is substantiated, and the main cases of the specified problem are analyzed. In the first chapter, the existing methods of transmitting the same type of JSON documents through computer networks are considered, their advantages and disadvantages are analyzed, and the need to develop a new optimization method is formulated. The second chapter describes the principle of operation of the new method. Algorithms of the main stages of the new method are also generally considered. In the third section, the features of the software implementation of the developed method are given. The fourth chapter analyzes the effectiveness of the existing method and describes the prospects for further research. The conclusions. The results of the work are presented in the conclusions. The work is presented on 84 sheets, contains links to the list of used literary sources.uk
dc.description.abstractukАктуальність теми. Швидка передача великих об’ємів інформації часто є тим самим “пляшковим горлечком”, що обмежує ефективність програмних продуктів. Загальноприйняті та широковживані рішення нерідко є застарілими та непридатними до оновлення або виконання оптимізацій. Розробники вимушені витрачати свій час або на ситуативні оптимізації, або ж на адаптацію до нових, але не таких простих та звичних рішень. У даній роботі розглянутий конкретний формат даних — JSON, і конкретна підмножина випадків — велика кількість однотипних/схожих документів. Задача — стискання інформації (шляхом переформатування, архівування чи іншим шляхом) зі збереженням прийнятної швидкодії, або навіть з її покращенням. Цей випадок є важливим, оскільки в сучасній ІТ-індустрії є розповсюдженим використання REST-архітектури. Вона найчастіше передбачає обмін JSON-запитами, структура яких зводиться до невеликої множини більш-менш подібних класів (при тому, що сам формат JSON жодних класів не передбачає). Об’єктом дослідження є процеси передачі однотипних JSON-документів комп’ютерними мережами. Предметом дослідження є способи оптимізації передачі однотипних JSON-документів за об’ємом даних та за швидкістю. Мета роботи: зменшення об’єму даних, що передаються, при збереженні або прискоренні процесу обміну JSON-повідомленнями. Наукова новизна. Вперше запропоновано новий спосіб оптимізації передачі однотипних JSON-документів, який полягає у попередньому аналізі повідомлень та використанні для передачі даних спеціального формату, відрізняється від існуючих враховуванням структури документів, що передаються, і використанням формату даних, який не містить структурну інформацію (структура об’єктів, імена полів), та, в результаті, дозволяє оптимізувати передачу JSON-документів за обсягом, зменшуючи мережевий трафік та не вимагаючи явного опису програмістом структур даних повідомлень. Практична цінність. Програмний засіб, який буде працювати за запропонованим способом, дозволить оптимізувати процес передачі великої кількості однотипних JSON-повідомлень у наступних випадках: • на серверах з REST-архітектурою (найбільш поширений випадок); • у деяких no-SQL базах даних (MongoDB, DocumentDB); • при збереження логів програм, time-series даних (у разі використання JSON-формату). Розроблений спосіб дозволяє зменшити розмір типового JSON повідомлення більше ніж в два рази у разі коректного виконання етапу попереднього аналізу з усіма необхідними зразками повідомлень. Алгоритм при цьому не потребує значних обчислювальних ресурсів у випадку однотипності повідомлень. Апробація роботи. Основні положення і результати роботи були представлені та обговорені на ХV конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2022 (Київ, 18 листопада 2022 р.). Публікації. Результати дисертації викладено в наукових працях, у тому числі: • тези до доповіді на ХV конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2022 року за темою «Аналіз існуючих способів оптимізації передачі однотипних JSON-документів в комп’ютерних мережах»; • науковий журнал "Комп’ютерно-інтегровані технології: освіта, наука, виробництво", 2022, № 49, стаття за темою «Спосіб оптимізації передачі однотипних JSON-документів комп’ютерними мережами». Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів та висновків. У вступі зроблено оцінку сучасного стану проблеми, обґрунтовано актуальність напрямку досліджень, проаналізовано основні випадки зазначеної проблеми. У першому розділі розглянуто існуючі способи передачі однотипних JSON-документів компʼютерними мережами, проаналізовані їхні переваги та недоліки, сформульована необхідність розробки нового способу оптимізації. У другому розділі описаний принцип роботи нового способу. Також в загальному вигляді розглянуті алгоритми основних етапів нового способу. У третьому розділі наведено особливості програмної реалізації розробленого способу. У четвертому розділі виконано аналіз ефективності існуючого способу та описані перспективи подальших досліджень. У висновках представлені результати проведеної роботи. Робота представлена на 84 аркушах, містить посилання на список використаних літературних джерел.uk
dc.format.page93 с.uk
dc.identifier.citationКолпаков, П. С. Спосіб оптимізації передачі однотипних JSON-документів в компʼютерних мережах з врахуванням структури цих документів : магістерська дис. : 123 Комп'ютерна інженерія / Колпаков Пилип Сергійович. – Київ, 2022. – 93 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/51576
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectJSON-форматuk
dc.subjectJSON-документuk
dc.subjectJSON formatuk
dc.subjectJSON documentuk
dc.subject.udc004.42+004.45uk
dc.titleСпосіб оптимізації передачі однотипних JSON-документів в компʼютерних мережах з врахуванням структури цих документівuk
dc.typeBachelor Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Kolpakov_mahistr.pdf
Розмір:
1.25 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.1 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (СПСКС)
Магістерські роботи