🛠 Все
│
A/B Test калькулятор
Проверьте статистическую значимость вашего A/B теста. Chi-squared тест с расчётом p-value.
Вариант A (контроль)
Вариант B (тест)
Введите данные — результат рассчитается автоматически
Как работает калькулятор
Chi-squared тест
Используем тест хи-квадрат Пирсона для сравнения наблюдаемых и ожидаемых частот. Формула: χ² = Σ (O-E)²/E, где O — наблюдаемое значение, E — ожидаемое.
p-value и значимость
p-value — вероятность получить такую же (или большую) разницу случайно. Если p < 0.05, результат статистически значим с уверенностью 95%. Стандарт для A/B тестов — p < 0.05.
Uplift (подъём)
Показывает на сколько процентов вариант B лучше или хуже варианта A. Формула: Uplift = (CR_B - CR_A) / CR_A × 100%.
Что такое A/B Test калькулятор
Считает статистическую значимость разницы между двумя вариантами (A и B): p-value, доверительный интервал, нужный размер выборки.
Когда нужен
Перед заливом нового креатива — посчитать сколько надо трафика чтобы поймать разницу. После теста — проверить достоверность результата. При планировании эксперимента.
Что не делает
Не считает многомерные тесты (A/B/C/D одновременно). Не запускает тест — только статистика. Не учитывает Simpson paradox.
Частые вопросы
Что такое статистическая значимость? ▾
Степень уверенности, что разница между вариантами A и B не случайна. Чаще всего критерий: 95% значимость (p-value < 0.05). Меньше — рано делать выводы.
Какие тесты использует калькулятор? ▾
Chi-squared для бинарных конверсий (купил/не купил). Z-test для пропорций. T-test для непрерывных метрик (средний чек). Bayesian — для непрерывного A/B.
Сколько нужно трафика? ▾
Зависит от текущей конверсии и желаемого uplift. Например: 5% → 6% (uplift 20%) при alpha=0.05, power=80% требует ~6500 в каждой группе.
Зачем арбитражнику? ▾
Не выкатывать новый креатив на 100% трафика, пока не уверен в его превосходстве. Корректно сравнить два лендинга. Защита от ошибки выжившего.
Что такое power? ▾
Вероятность задетектить реально существующий uplift. 80% — стандарт. То есть в 20% случаев тест покажет «нет разницы», даже если она была.
Sequential testing — что это? ▾
Подход, позволяющий смотреть на результаты теста многократно без потери валидности. Альтернатива классическому A/B где нельзя «подсматривать».
Bayesian vs Frequentist? ▾
Frequentist (классика) — порог p < 0.05 или нет. Bayesian — вероятность что B лучше A 95%. Bayesian более интуитивный для бизнеса.