Доверительный интервал конверсии онлайн — интервал Уилсона и Вальда

В отчёте стоит «конверсия 6%». Все кивают, будто это точное число. А под ним лежат 30 заказов на 500 визитов, и на другой неделе те же 30 легко превратятся в 5% или 7%. Точечная оценка молчит о том, насколько она шаткая.

Доверительный интервал показывает коридор, в котором живёт настоящая конверсия. Введите конверсии, посетителей и уровень доверия: калькулятор посчитает оценку и границы по методу Уилсона.

Когда без интервала не обойтись

Маленькие числа: 3 заявки из 40 визитов дают 7,5%, и это почти ни о чём не говорит. Сравнение двух каналов или двух страниц, где разница в пару процентов вполне может оказаться случайностью. И отчёт, который будут оспаривать: границы показывают, что вы понимаете цену своих цифр.

Что вводить

Полей три. Конверсии: число целевых действий за период. Посетители: сколько людей могли их совершить. Берите один источник и один период, иначе коридор получится ни о чём.

Уровень доверия: 90%, 95% или 99%. По умолчанию стоит 95%. Это значит, что примерно в 95 случаях из 100 такой интервал накроет истинную конверсию. Возьмёте 99%, границы разъедутся шире, зато осторожнее.

Кнопки «посчитать» здесь нет. Числа пересчитываются, пока вы печатаете.

Пример: 30 заказов из 500 визитов

Точечная оценка 6,00%. Уилсон при доверии 95% даёт коридор от 4,23% до 8,44%. Настоящая конверсия может быть и четыре процента с небольшим, и восемь с половиной.

Поставьте доверие 90%, и коридор сожмётся до 4,48–8,00%. На 99% он разъедется до 3,80–9,35%. Сама конверсия не двигается: 6,00% остаётся 6,00%.

Как читать результат

Над плитками калькулятор пишет готовую фразу: «С вероятностью 95% истинная конверсия лежит между 4,23% и 8,44%». Её можно переносить в отчёт как есть. Ниже три плитки: точечная оценка, нижняя и верхняя границы Уилсона.

Последней строкой идёт классический интервал Вальда, для сравнения. На больших выборках обе оценки почти совпадают: 600 конверсий из 10 000 визитов дают у Уилсона 5,55–6,48%, у Вальда 5,53–6,47%. На маленьких выборках Вальд уезжает за шкалу, и калькулятор обрезает его по краю. Три заявки из сорока: у Уилсона 2,58–19,86%, у Вальда нижняя граница упирается в 0,00%. Ради таких случаев Уилсон и поставлен основным.

Сколько данных нужно

Возьмём одну и ту же конверсию 6% и посмотрим, как сужается коридор при доверии 95%:

• 6 из 100 визитов: от 2,78% до 12,48%. Решать на таких числах нечего.
• 60 из 1000: от 4,69% до 7,65%. Уже виден порядок величины.
• 600 из 10 000: от 5,55% до 6,48%. Тут можно спорить о десятых.

Правило простое: чтобы сузить коридор вдвое, данных нужно вчетверо больше.

Крайние случаи

Ноль конверсий. Вальд схлопнется в точку 0,00–0,00%, а Уилсон при 100 визитах покажет верхнюю границу 3,70%. Ноль в выборке не означает ноль в реальности.

Конверсия под 100%. Двадцать из двадцати дают у Уилсона 83,89–100,00%. Верхняя граница упирается в сотню, нижняя показывает, что до уверенности далеко.

Конверсий больше, чем посетителей. Калькулятор такой расчёт не делает и пишет: «Конверсий не может быть больше, чем посетителей». Проверьте, из какого отчёта взяты числа.

Что писать в отчёт

Одной строки хватает: «Конверсия 6,00%, доверительный интервал 4,23–8,44% при уровне доверия 95%; 500 визитов, 30 конверсий». Дальше добавьте вывод словами. Например: разница с прошлым месяцем укладывается в коридор, значит о росте говорить рано.

Число визитов в скобках ставьте обязательно. Без него границы нечем проверить, и первый же дотошный читатель об этом спросит.

Где интервал не поможет

Калькулятор считает только долю: сколько людей из скольких сделали действие. Средний чек, выручка, время на странице сюда не годятся. Для них нужен интервал по среднему, а он считается иначе.

Сравнение двух вариантов интервалом тоже не закрывается. Перекрылись коридоры, ничья ещё не объявлена; не перекрылись, вывод обычно верный, но проверять его надо по-другому. Для этого есть калькулятор значимости A/B-теста. До запуска теста прикиньте размер выборки, а калькулятор MDE покажет, какую разницу вы вообще поймаете на своём трафике.

О чём помнить

• Интервал говорит о случайной погрешности, а не о качестве данных. Криво настроенные цели он просто аккуратно упакует.
• Уровень доверия меняет ширину коридора, а не саму конверсию. Число в середине останется прежним.
• Уилсон и Вальд считаются по одним и тем же данным. Расходятся они только там, где наблюдений мало.
• Расчёт идёт у вас в браузере, числа никуда не уходят. Чтобы поля заработали, отметьте согласие над калькулятором.

Посчитайте интервал до того, как отправите отчёт. Строка с границами снимает половину вопросов на созвоне.