Калькулятор размера выборки для A/B-теста — сколько трафика нужно

Тест идёт вторую неделю. Вариант B впереди на полпроцента, рука тянется объявить победителя, а разница может быть шумом. Пока не посчитан нужный объём трафика, остановка теста остаётся догадкой.

Поля выше закрывают вопрос заранее. Вводите текущую конверсию и прирост, который хотите поймать: калькулятор покажет, сколько посетителей собрать на вариант и сколько всего.

Когда стоит посчитать выборку

Вы планируете сплит-тест и прикидываете, потянет ли страница столько трафика. Или нужно назвать срок руководителю, а не отвечать «посмотрим по ходу». Бывает и обиднее: тест уже крутится, а команда спорит, пора останавливать или рано. Расчётный объём превращает спор в арифметику.

Что вписать в поля

Базовая конверсия в процентах. Берите ту, что сейчас на контрольном варианте.

Минимально детектируемый эффект: прирост, ради которого вы затеваете тест. Рядом переключатель формата. Абсолютный считает в процентных пунктах: с 5% до 6% это 1 п.п. Относительный берёт долю от базовой: те же 5% плюс 20% дают 6%.

Дальше три параметра строгости. Уровень значимости: 95% или 99%. Мощность: 80% или 90%, то есть шанс заметить реальный эффект, если он есть. Гипотеза: двусторонняя или односторонняя. Одностороннюю выбирают, когда проверяют только рост.

Пример на цифрах

Магазин с конверсией 3% хочет поймать прирост в полпроцентных пункта, до 3,5%. Значимость 95%, мощность 80%, гипотеза двусторонняя.

Калькулятор выдаёт 19 740 посетителей на вариант и 39 480 всего. Целевая конверсия 3,50%, z по значимости 1,960, z по мощности 0,842.

Теперь переводим в дни. При тысяче посетителей в сутки на обе группы тест займёт сорок дней. При пятистах уже под три месяца, и запускать такое перед высоким сезоном смысла нет.

Поднимем цель: не полпункта, а целый пункт, с 3% до 4%. Нужный объём падает до 5298 на вариант, то есть чуть больше десяти дней при той же тысяче в сутки. Вот как дорого стоит желание поймать мелкий эффект.

Порядок чисел без расчёта

Чтобы прикинуть масштаб до того, как трогать поля, вот четыре типовых расклада. Везде значимость 95%, мощность 80%, гипотеза двусторонняя.

• Конверсия 5%, эффект 1 п.п.: 8155 посетителей на вариант.
• Конверсия 3%, эффект 0,5 п.п.: 19 740 на вариант.
• Конверсия 2%, относительный эффект 20%: 21 106 на вариант.
• Конверсия 10%, эффект 2 п.п.: 3839 на вариант.

Видно главное. Чем ниже базовая конверсия и чем мельче эффект, тем дороже тест. Магазину с конверсией 10% хватает четырёх тысяч визитов, а сайту с двумя процентами нужно в пять раз больше.

Строгость тоже стоит денег. Тот же расклад с конверсией 3% и эффектом 0,5 п.п. при мощности 90% требует уже 26 427 на вариант, а при значимости 99% целых 29 373.

Что делать с результатом

Калькулятор возвращает пять чисел. «На вариант» и «Всего» складываются в план по трафику. «Целевая конверсия» показывает, куда должен дойти вариант B. Два значения z объясняют, откуда взялась цифра: одно отвечает за значимость, второе за мощность. Ниже раскрывается формула с подставленными значениями: n = (z_α + z_β)² × [p1(1−p1) + p2(1−p2)] / (p2 − p1)². Её удобно перенести в отчёт, когда расчёт приходится защищать.

А теперь арифметика. Поделите «Всего» на дневной трафик страницы и получите срок теста в днях. Вышло четыре месяца? В таком виде запускать бессмысленно. Поднимайте MDE или ищите более частое событие.

Трафика не хватает: что делать

Это самый частый исход расчёта, и он не тупик. Вариантов несколько, они перечислены от дешёвого к дорогому.

1. Поднимите MDE. Ловите не полпункта, а два. Тест станет короче в разы. Смысл при этом меняется: вы соглашаетесь не заметить мелкое улучшение, зато быстро поймаете крупное.
2. Возьмите событие выше по воронке. Клик по кнопке, переход в корзину, открытие формы случаются в десятки раз чаще покупки. Считайте выборку по ним, а покупку смотрите как контрольную метрику.
3. Тестируйте крупное, а не мелкое. При скромном трафике оттенок кнопки проверять нечем. Меняйте оффер, цену, структуру страницы целиком: такие правки дают эффект, который видно на малых числах.
4. Смягчите строгость. Мощность 80% вместо 90% и односторонняя гипотеза вместо двусторонней ощутимо снижают требования. В нашем примере с 3% односторонняя гипотеза роняет выборку с 19 740 до 15 550. Но односторонняя годится, только если падение варианта B вас реально не интересует.
5. Откажитесь от количественного теста. Пять коридорных интервью и запись сессий скажут о проблемах страницы больше, чем тест, который вы физически не досидите.

Почему нельзя подглядывать

Расчётная выборка это обещание, которое вы даёте сами себе. Смотреть на промежуточный результат каждый день и остановить тест в тот день, когда цифры понравились, значит сломать всю математику.

Работает это так. p-значение гуляет вокруг порога, пока данных мало. Если проверять его ежедневно и хватать первое пересечение, случайный всплеск вы поймаете почти наверняка. Заявленные 5% ошибки при таком подходе превращаются в двадцать и выше.

Отсюда правило. Объём фиксируется до старта, до этой цифры тест не трогают, вывод делают один раз. Если смотреть в отчёт всё-таки нужно, смотрите на скорость набора трафика, а не на победителя.

Чего калькулятор не считает

Формула работает с долями. Это конверсия, кликабельность, доля дочитавших, доля оплативших: любая метрика вида «сколько из скольких».

Средний чек, выручка на посетителя и время на странице устроены иначе. У них есть разброс внутри самой величины, и выборка для них считается по другой формуле, через стандартное отклонение. Подставите сюда рубли вместо процентов, и получите бессмысленное число.

Ещё два ограничения. Калькулятор считает ровно два варианта: для мультивариантного теста порог придётся ужесточать, иначе ложные победители полезут сами. И трафик он делит поровну, так что при сплите 80 на 20 план по объёму будет другим.

О чём помнить до запуска

• Чем мельче эффект вы ловите, тем больше нужно трафика. Маленькую разницу трудно отличить от случайных колебаний.
• Мощность 90% строже, чем 80%, и требует большей выборки.
• Набрали план и разницы нет? Это тоже результат. Гипотеза не подтвердилась, и это честный ответ.
• Данные никуда не уходят, всё считается у вас в браузере. Чтобы поля ожили, отметьте согласие над калькулятором.

Посчитайте выборку до старта. Набрали план, проверьте итог в калькуляторе значимости, а разброс по каждому варианту посмотрите в доверительном интервале конверсии.