Калькулятор MDE — минимально детектируемый эффект A/B-теста

Трафика на сайте столько, сколько есть. Руководитель спрашивает, когда будут результаты теста, а вы уже прикидываете: за две недели наберётся немного визитов, и прирост в полпроцента в них просто утонет.

Тогда вопрос переворачивается. Не «сколько трафика нужно», а «что я вообще успею заметить». Поля выше считают именно это: наименьший прирост конверсии, который тест поймает на вашем объёме.

Когда MDE полезнее размера выборки

Расчёт выборки отвечает, сколько ждать. MDE отвечает, стоит ли вообще начинать. Разница становится принципиальной, когда трафик вы поменять не можете.

Ситуации типовые. Вам дали на тест две недели и не дадут больше. Страницу посещают редко, а гипотезу проверить надо. Или на руках десяток идей, и надо понять, какие из них на этом сайте проверяемы.

Что вводить

Сверху переключатель ввода трафика. В режиме «Посетителей на вариант» вы ставите готовое число. В режиме «Дневной трафик и срок» указываете общий трафик за день и длительность теста в днях, а калькулятор сам делит его на два варианта.

Делит строго пополам и округляет вниз. 2000 визитов в день за 14 дней дают 14 000 на вариант. Если вы льёте на тест 70 на 30 или держите три ветки, число на вариант посчитайте руками и вводите его в первом режиме.

Дальше базовая конверсия в процентах: та, что сейчас на контроле. И три параметра строгости: значимость 95% или 99%, мощность 80% или 90%, гипотеза двусторонняя или односторонняя.

Сквозной пример

2000 визитов в день, две недели, базовая конверсия 5%, настройки по умолчанию. Калькулятор берёт 14 000 человек на вариант и выдаёт абсолютный MDE +0,76 процентного пункта, относительный +15,1%, детектируемую конверсию 5,76%.

Читается это так: прирост с 5% до 5,76% вы поймаете, а всё, что меньше, скорее всего утонет в шуме. Если от правки кнопки вы ждёте процентов пять относительного роста, две недели такой тест не закроют.

Поднимите строгость до значимости 99% и мощности 90%, и MDE вырастет до +1,05 п. п., то есть до +21,1% относительно базы. Перейдёте на одностороннюю гипотезу, планка опустится до +0,67 п. п., или +13,4%.

Сколько нужно трафика

Относительный MDE при базовой конверсии 5% и настройках по умолчанию:

• 500 визитов в день: неделя +45,4%, две недели +31,2%, месяц +21,7%.
• 1000 визитов в день: неделя +31,2%, две недели +21,7%, месяц +15,1%.
• 2000 визитов в день: неделя +21,7%, две недели +15,1%, месяц +10,6%.
• 5000 визитов в день: неделя +13,5%, две недели +9,4%, месяц +6,6%.

Закономерность видна сразу: чтобы уполовинить MDE, трафика нужно вчетверо больше. Удвоение срока даёт всего треть выигрыша.

База тоже решает. На тех же 14 000 на вариант конверсия 1% даёт относительный MDE +36,2%, конверсия 5% даёт +15,1%, а конверсия 20% уже +6,8%. Редкие события ловить тяжелее всего.

Как читать результат

Над плитками калькулятор пишет вывод целиком: «На таком трафике вы заметите прирост не меньше чем +0,76 п. п. (относительно +15,1%): с 5,00% до 5,76%». Эту строку можно нести в план теста как есть.

Чисел четыре. «Выборка на вариант» подтверждает, с каким объёмом считали. «MDE, абсолютный» это прирост в процентных пунктах. «MDE, относительный» тот же прирост в процентах от базовой. «Детектируемая конверсия» показывает, куда должен дорасти вариант B, чтобы разницу стало видно.

Дальше сверяете MDE со своими ожиданиями. Ждёте от правки скромного прироста, а калькулятор выдал относительный MDE в десятки процентов? Тест на таком трафике ничего не докажет.

Большой MDE означает одно: чувствительности не хватает. Лечится двумя способами: тест удлиняют или дают ему больше трафика на вариант. Есть и третий ход, не из калькулятора: проверять изменение покрупнее.

На совсем крошечных выборках планка уезжает за 100%, и калькулятор честно пишет, что трафика не хватает ни на какой реалистичный эффект.

Что делать дальше

MDE посчитан, решение принято. Дальше сценарий идёт по соседним страницам хаба.

1. Прирост вас устраивает? Зафиксируйте план в калькуляторе размера выборки: он скажет, сколько визитов и дней нужно под целевой эффект.
2. Тест отработал? Прогоните итог через калькулятор значимости: z-тест и p-value решают, случайна разница или нет.
3. Готовите отчёт? Добавьте к каждой конверсии границы из доверительного интервала. С коридором цифру принимают спокойнее.

О чём помнить

• Калькулятор работает с конверсией, то есть с долей. Средний чек и выручку так считать нельзя: у них другая формула.
• Прирост меньше MDE тест, скорее всего, не заметит. Это не значит, что прироста нет: ваш объём данных его просто не различает.
• Мощность 90% и значимость 99% поднимают планку. На том же трафике MDE вырастет, и ловить придётся более крупную разницу.
• Формула тут обращённая: уравнение размера выборки решается в обратную сторону, итеративно.
• Считаются два варианта и одна метрика. Тест на пять вариантов даст другую картину.
• Всё считается у вас в браузере. Чтобы поля ожили, отметьте согласие над калькулятором.

Посчитайте MDE до запуска. Иногда самый полезный результат это решение не запускать тест вовсе.