(КПІ ім. Ігоря Сікорського, 2022-06) Марков, Артур Андрiйович; Яйлимова, Ганна Олексіївна
Тема роботи: Система автоаналiзу А/B тестувань.
Квалiфiкацiйна робота мiстить: 55 стор., 10 рисункiв, 15 джерел.
Метою дослiдження є: побудова системи А/B тестуваннь iз автоматичною перевiркою стабiльностi тесту. Задача дослiдження полягає у побудовi системи А/В тестувань, яка задовольняє вимогам продукту, та покриває бiльшу частину наявних тестувань. Об’єктом дослiдження є: А/B тестування на продуктових воронках, а предметом дослiдження – аналiз статистичних гiпотез. У цiй роботi розглянутi основнi пiдходи до побудови автоматичної системи А/B тестувань на основi Uber Experimentation Platform. Також був проведений аналiз робiт Cris Stucchio та Evan Miller щодо Баєсового пiдходу до аналiзу А/B тестувань. На їх основi було побудоване програмне рiшення, яке використовує аналiтичний вид функцiї втрат, що покращило точнiсть результатiв в порiвняннi з дискретним обрахуванням функцiї. Також була побудована система перевiрки стабiльностi тесту на основi методу sequential sampling та був проведений аналiз ефективностi цього пiдходу у порiвняннi iз iншими пiдходами. Результатом роботи є система А/B тестування, яка є повнiсттю iнтегрованою у бiльшiсть схожих продуктiв, що дозволяє майже повнiсттю автоматизувати А/B тестування на продуктi.