Автоматизована система для підтримки прийняття рішень в “A/B тестуванні”
Ескіз недоступний
Дата
2024
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Актуальність теми. A/B тестування є важливим інструментом у продуктовій аналітиці, що дозволяє компаніям приймати обґрунтовані рішення на основі даних, тестуючи вплив змін на користувачів та бізнес-метрики. Правильна перевірка результатів на статистичну значущість допомагає уникнути помилкових висновків і знизити ризик прийняття неправильних рішень, які можуть негативно вплинути на розвиток продукту та загальну ефективність бізнесу. Таким чином, автоматизація та вдосконалення підходів до перевірки статистичної значущості є актуальним завданням, що сприяє підвищенню точності та надійності результатів A/B тестувань, а також мінімізації ризику невірно прийнятих рішень.
Об’єктом дослідження є процеси та методи статистичного аналізу результатів A/B тестування для прийняття обґрунтованих рішень у продуктовій аналітиці.
Предметом дослідження є автоматизована система підтримки прийняття рішень в A/B тестуванні, що базується на статистичних методах оцінки значущості
Мета роботи. Дослідження методів перевірки статистичної значущості в A/B тестуванні та розробка автоматизованої системи, яка базується на порівнянні різних підходів до перевірки статистичної значущості, яка дозволяє зменшити ризик прийняття невірних рішень, підвищуючи точність аналізу результатів тестування.
Наукова новизна. У роботі запропоновано вдосконалену автоматизовану систему для оцінки результатів A/B тестування, яка враховує порівняння різних підходів до визначення статистичної значущості та адаптується до особливостей різних метрик. Це дозволяє не лише зменшити час на аналіз, але й підвищити точність та ефективність прийняття рішень, забезпечуючи оптимальний вибір методу для різних типів бізнес-метрик.
Практична цінність. Розроблено систему, яка дозволяє отримати результати порівняння тестової та контрольної групи. Система надає можливість швидко і зручно оцінити різницю між групами, забезпечуючи аналітикам надійну основу для прийняття обґрунтованих бізнес-рішень на основі результатів тестування.
Апробація результатів дисертації. Результати та висновки дослідження були представлені та обговорювалися на наступних наукових конференціях:
1. «Прикладна математика та комп’ютинг – ПМК’2024» (м. Київ, 20-22 листопада 2024 року).
2. Х Міжнародна молодіжна науково-практична інтернет-конференція «Наука і молодь в ХХІ сторіччі» (Полтавський університет економіки і торгівлі, 28 листопада 2024 року).
Тези доповідей включено до Додатку А.
Також результати дослідження було впроваджено в продуктовій компанії, довідка включена до Додатку В.
Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів, висновків та додатків. Повний обсяг дисертації – 106 сторінок, у тому числі 94 сторінок основного тексту, 9 рисунків.
У вступі подано узагальнену характеристику роботи, визначено актуальність теми, сформульовано мету, об'єкт і предмет дослідження, а також окреслено завдання, що підлягають розв’язанню.
У першому розділі розглянуто основи статистичного аналізу у контексті A/B тестування, висвітлено основні методи оцінки статистичної значущості, включаючи параметричні, непараметричні та ресемплінгові методи, а також запропоновано порівняльний аналіз цих підходів. Розглянуто сучасні платформи для автоматизації A/B тестувань.
У другому розділі проведено класифікацію метрик у A/B тестуванні. Описано особливості аналізу кожного типу метрик та відповідність статистичних методів їхньому аналізу. Пояснено критерії вибору методу залежно від типу даних і поставлених цілей.
У третьому розділі проведено експериментальне дослідження методів перевірки статистичної значущості для різних типів метрик. Виконано порівняння методів за точністю, швидкодією та універсальністю, а також визначено їхні переваги та недоліки для використання в A/B тестуванні.
Четвертий розділ описує розробку автоматизованої системи для оцінки результатів A/B тестування. Представлено архітектуру системи, основні компоненти та їх функції, а також результати тестування системи на реальних даних.
У висновках підбито підсумки виконаної роботи, зазначено досягнення мети, а також запропоновано напрями подальших досліджень.
Опис
Ключові слова
A/B тестування, статистична значущість, порівняння груп, аналіз метрик, бізнес-рішення, покращення продукту, A/B testing, statistical significance, group comparison, metric analysis, business decisions, product improvement
Бібліографічний опис
Кривко, Є. О. Автоматизована система для підтримки прийняття рішень в “A/B тестуванні” : магістерська дис. : 123 Комп’ютерна інженерія / Кривко Євген Олегович. – Київ, 2024. – 98 с.