Z-Test

Это тот самый инструмент, который отделяет арбитражника с мозгами от того, кто масштабирует удачу 🐗 Запустил два крео — один дал CTR 10%, другой 12% — и теперь ты думаешь, что нашёл победителя. Может, нашёл. А может, просто повезло на дистанции в три дня и пятьсот кликов. Z-тест считает Z-значение и выдаёт тебе p-value — и если оно ниже 0.05, то разница между вариантами не случайный шум, а РЕАЛЬНАЯ история. Вот тогда можно идти в масштаб.

Механика простая: берёшь конверсии и объём по двум группам, скармливаешь калькулятору — их дофига бесплатных, считать руками нахуй не нужно — и смотришь на результат 😆 Зелёный — масштабируй B, красный — сиди жди. Применяется в A/B тестах крео, лендингов, офферов, любых гипотез где у тебя две группы и метрика конверсии. Именно конверсии — не CPM, не охват, а действие. Именно под это Z-тест заточен лучше всего 💪

Но тут есть один момент, который многие просто игнорируют 😩 Z-тест работает корректно при БОЛЬШОЙ выборке — от нескольких сотен конверсий на группу — и когда данные нормально распределены. Запустил тест на 80 кликах, получил p-value 0.03 и побежал масштабировать? Поздравляю, ты только что заплатил за статистическую иллюзию 🐗 Маленькая выборка — берёшь t-тест, он честнее в таких условиях. И главное — не трогай тест раньше времени. Смотреть на p-value каждые два часа и останавливаться как только увидел нужную цифру — это не анализ, это самообман 🗿

Нормально делай — нормально будет 🐗