Автоматизована система для підтримки прийняття рішень в “A/B тестуванні”
| dc.contributor.advisor | Малежик, Петро Михайлович | |
| dc.contributor.author | Кривко, Євген Олегович | |
| dc.date.accessioned | 2024-12-26T08:22:44Z | |
| dc.date.available | 2024-12-26T08:22:44Z | |
| dc.date.issued | 2024 | |
| dc.description.abstract | Актуальність теми. A/B тестування є важливим інструментом у продуктовій аналітиці, що дозволяє компаніям приймати обґрунтовані рішення на основі даних, тестуючи вплив змін на користувачів та бізнес-метрики. Правильна перевірка результатів на статистичну значущість допомагає уникнути помилкових висновків і знизити ризик прийняття неправильних рішень, які можуть негативно вплинути на розвиток продукту та загальну ефективність бізнесу. Таким чином, автоматизація та вдосконалення підходів до перевірки статистичної значущості є актуальним завданням, що сприяє підвищенню точності та надійності результатів A/B тестувань, а також мінімізації ризику невірно прийнятих рішень. Об’єктом дослідження є процеси та методи статистичного аналізу результатів A/B тестування для прийняття обґрунтованих рішень у продуктовій аналітиці. Предметом дослідження є автоматизована система підтримки прийняття рішень в A/B тестуванні, що базується на статистичних методах оцінки значущості Мета роботи. Дослідження методів перевірки статистичної значущості в A/B тестуванні та розробка автоматизованої системи, яка базується на порівнянні різних підходів до перевірки статистичної значущості, яка дозволяє зменшити ризик прийняття невірних рішень, підвищуючи точність аналізу результатів тестування. Наукова новизна. У роботі запропоновано вдосконалену автоматизовану систему для оцінки результатів A/B тестування, яка враховує порівняння різних підходів до визначення статистичної значущості та адаптується до особливостей різних метрик. Це дозволяє не лише зменшити час на аналіз, але й підвищити точність та ефективність прийняття рішень, забезпечуючи оптимальний вибір методу для різних типів бізнес-метрик. Практична цінність. Розроблено систему, яка дозволяє отримати результати порівняння тестової та контрольної групи. Система надає можливість швидко і зручно оцінити різницю між групами, забезпечуючи аналітикам надійну основу для прийняття обґрунтованих бізнес-рішень на основі результатів тестування. Апробація результатів дисертації. Результати та висновки дослідження були представлені та обговорювалися на наступних наукових конференціях: 1. «Прикладна математика та комп’ютинг – ПМК’2024» (м. Київ, 20-22 листопада 2024 року). 2. Х Міжнародна молодіжна науково-практична інтернет-конференція «Наука і молодь в ХХІ сторіччі» (Полтавський університет економіки і торгівлі, 28 листопада 2024 року). Тези доповідей включено до Додатку А. Також результати дослідження було впроваджено в продуктовій компанії, довідка включена до Додатку В. Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів, висновків та додатків. Повний обсяг дисертації – 106 сторінок, у тому числі 94 сторінок основного тексту, 9 рисунків. У вступі подано узагальнену характеристику роботи, визначено актуальність теми, сформульовано мету, об'єкт і предмет дослідження, а також окреслено завдання, що підлягають розв’язанню. У першому розділі розглянуто основи статистичного аналізу у контексті A/B тестування, висвітлено основні методи оцінки статистичної значущості, включаючи параметричні, непараметричні та ресемплінгові методи, а також запропоновано порівняльний аналіз цих підходів. Розглянуто сучасні платформи для автоматизації A/B тестувань. У другому розділі проведено класифікацію метрик у A/B тестуванні. Описано особливості аналізу кожного типу метрик та відповідність статистичних методів їхньому аналізу. Пояснено критерії вибору методу залежно від типу даних і поставлених цілей. У третьому розділі проведено експериментальне дослідження методів перевірки статистичної значущості для різних типів метрик. Виконано порівняння методів за точністю, швидкодією та універсальністю, а також визначено їхні переваги та недоліки для використання в A/B тестуванні. Четвертий розділ описує розробку автоматизованої системи для оцінки результатів A/B тестування. Представлено архітектуру системи, основні компоненти та їх функції, а також результати тестування системи на реальних даних. У висновках підбито підсумки виконаної роботи, зазначено досягнення мети, а також запропоновано напрями подальших досліджень. | |
| dc.description.abstractother | Actuality of theme. A/B testing is a crucial tool in product analytics that enables companies to make data-driven decisions by evaluating the impact of changes on users and business metrics. Properly verifying the statistical significance of results helps to avoid false conclusions and mitigate the risk of incorrect decisions, which can adversely affect product development and overall business performance. Therefore, the automation and refinement of approaches to statistical significance testing is an urgent task aimed at improving the accuracy and reliability of A/B testing results while minimizing the risk of erroneous conclusions. The object of the study is the processes and methods of statistical analysis of A/B testing results for making informed decisions in product analytics. The subject of the study is an automated decision support system in A/B testing based on statistical methods of significance evaluation. Purpose of the study. To research statistical significance testing methods in A/B testing and develop an automated system that integrates different approaches to statistical significance assessment. This system is aimed at reducing the risk of incorrect decisions by enhancing the accuracy and efficiency of test result analysis. Scientific novelty. The study introduces an improved automated system for evaluating A/B test results, which integrates and compares various methods of statistical significance assessment. This system adapts to the specific features of different types of metrics, offering a robust framework for decision-making. The proposed solution not only minimizes the time required for analysis but also ensures higher accuracy and effectiveness by enabling the optimal selection of a method tailored to the nature of the business metrics under investigation. Practical value. A system has been developed that allows to obtain results of comparison of the test and control groups. The system provides an opportunity to quickly and conveniently assess the difference between the groups, providing analysts with a reliable basis for making informed business decisions based on test results. Work approbation. The findings and conclusions of this research were presented and discussed at the following conferences: 1. "Applied Mathematics and Computing – PMC’2024" (Kyiv, November 20–22, 2024). 2. The X International Youth Scientific and Practical Online Conference "Science and Youth in the 21st Century" (Poltava University of Economics and Trade, November 28, 2024). The thesis abstracts are included in Appendix A. The results of the study were also implemented in a product company, and a reference is included in Appendix B. Structure and scope of the work. The introduction provides a general characterization of the research, highlighting its relevance, defining the aim, object, and subject of the study, and outlining the tasks to be addressed. In the first chapter, the theoretical foundations of statistical analysis in the context of A/B testing are reviewed. Key methods for assessing statistical significance, including parametric, non-parametric, and resampling methods, are detailed and comparatively analyzed. Contemporary platforms for automating A/B testing are also explored. The second chapter classifies metrics used in A/B testing. The analysis focuses on the specifics of various metric types and the applicability of statistical methods to their evaluation. Criteria for selecting an appropriate method based on data characteristics and objectives are provided. In the third chapter, experimental research is conducted to evaluate statistical significance methods for different metric types. These methods are compared in terms of accuracy, speed, and versatility, with advantages and limitations identified for practical application in A/B testing. The fourth chapter describes the development of an automated system for evaluating A/B testing results. It outlines the system's architecture, primary components, and their functions. The chapter also presents testing results of the system using real data. The conclusions summarize the outcomes of the study, highlighting the achievement of the stated goals and suggesting directions for future research, including methods to reduce Type I and Type II errors. Keywords. A/B testing, statistical significance, group comparison, metric analysis, business decisions, product improvement. | |
| dc.format.extent | 98 с. | |
| dc.identifier.citation | Кривко, Є. О. Автоматизована система для підтримки прийняття рішень в “A/B тестуванні” : магістерська дис. : 123 Комп’ютерна інженерія / Кривко Євген Олегович. – Київ, 2024. – 98 с. | |
| dc.identifier.uri | https://ela.kpi.ua/handle/123456789/71349 | |
| dc.language.iso | uk | |
| dc.publisher | КПІ ім. Ігоря Сікорського | |
| dc.publisher.place | Київ | |
| dc.subject | A/B тестування | |
| dc.subject | статистична значущість | |
| dc.subject | порівняння груп | |
| dc.subject | аналіз метрик | |
| dc.subject | бізнес-рішення | |
| dc.subject | покращення продукту | |
| dc.subject | A/B testing | |
| dc.subject | statistical significance | |
| dc.subject | group comparison | |
| dc.subject | metric analysis | |
| dc.subject | business decisions | |
| dc.subject | product improvement | |
| dc.subject.udc | 004.45 | |
| dc.title | Автоматизована система для підтримки прийняття рішень в “A/B тестуванні” | |
| dc.type | Master Thesis |
Файли
Контейнер файлів
1 - 1 з 1
Ескіз недоступний
- Назва:
- Kryvko_YO_KV32mp_magistr_2024.docx
- Розмір:
- 492.51 KB
- Формат:
- Microsoft Word XML
Ліцензійна угода
1 - 1 з 1
Ескіз недоступний
- Назва:
- license.txt
- Розмір:
- 8.98 KB
- Формат:
- Item-specific license agreed upon to submission
- Опис: