Платформа A/B тестирования

Этот проект представляет собой платформу, которая позволяет использовать A/B тестирование для проведения различных экспериментов. С помощью данной платформы у вас есть возможность легко и удобно загрузить свои данные, настроить параметры проведения теста и анализировать результаты.

Воспользоваться сервисом можно сейчас на Streamlit Cloud.

Функционал платформы

На платформе пользователь можешь выполнить следующее:

• Оценить размер выборки для эксперимента.
• Оценить Minimal Detectable Effect.
• Запустить A/A и синтетический A/B тест для поверки корректности эксперимента.
• Построить доверительный интервал Bootstrap.
• Вычислить метрику Revenue, Linearization, CUPED.
• Поддержка метода Post-Stratification.
• Проверить результаты эксперимента с указанием его дизайна.

Запуск приложения

Установите Python 3.11 зависимости для проекта:

pip install -r requirements.txt

Запустите Web сервис Streamlit с помощью команды:

streamlit run src/Home.py

Перейдите по ссылке сервиса localhost:8501.

Запуск сервиса Docker

Создайте образ Docker:

docker build -t ab_service .

Запустите контейнер с сервисом:

docker run -p 8501:8501 ab_service

Полезные ссылки

Ноутбуки с материалами:

• Основы статистики
• Тестирование гипотез
• MDE
• Дизайн эксперимента
• Доверительный интервал и Bootstrap
• Повышение чувствительности
• Стратификация
• CUPED
• Множественное тестирование
• Split система
• Линеаризация
• Последовательное тестирование

Другие источники:

• 5 лайфхаков для ускорения А/B-тестирования от аналитиков MyTracker
• Switchback-эксперименты в Ситимобил
• Reliable ML AB Testing & Causal Inference Meetup