Z-Test

Статистический тест, который помогает определить, является ли различие между двумя вариантами реальным, а не случайным совпадением. Это инструмент, который отделяет арбитражника с аналитическими навыками от того, кто принимает решения на основе удачи.

Когда вы запускаете два креатива — один показывает CTR 10%, другой 12% — возникает вопрос: действительно ли найден лучший вариант или просто повезло на короткой дистанции в три дня и пятьсот кликов. Z-тест рассчитывает Z-значение и выдает p-value — если оно ниже 0.05, то разница между вариантами представляет реальную закономерность, а не случайный шум. Только тогда можно переходить к масштабированию.

Механика применения проста: берете данные по конверсиям и объему трафика по двум группам, используете бесплатный онлайн-калькулятор — считать вручную нет необходимости — и анализируете результат. Положительный результат означает возможность масштабирования варианта B, отрицательный — необходимость продолжить тестирование. Z-тест применяется в A/B тестировании креативов, лендингов, офферов и любых других гипотез, где есть две группы и метрика конверсии. Именно конверсии — не CPM или охват, а целевые действия, под которые Z-тест оптимизирован наилучшим образом.

Критически важный момент, который многие арбитражники игнорируют: Z-тест работает корректно только при большой выборке — от нескольких сотен конверсий на группу — и при нормальном распределении данных. Если вы запустили тест на 80 кликах, получили p-value 0.03 и начали масштабирование, то заплатили за статистическую иллюзию. При маленькой выборке следует использовать t-тест, который дает более точные результаты в таких условиях. Принципиально важно не прерывать тест преждевременно. Проверка p-value каждые два часа и остановка тестирования при первом достижении нужного значения — это не анализ, а самообман, который приводит к неверным выводам.