Считаем эффективность источника без достаточного количества конверсий
В прошлый раз я рассказал как считать доверительные интервалы. Сегодня немного практики, но пока без какой-либо автоматизации.
Наша задача, определить насколько какой-то элемент в рекламе эффективен. Я буду разбирать на примере площадок. Но можно так же построить оценку на фразе, креативе и т. д.
Разбор на примере площадок
Нам важно привлекать лиды по стоимости ниже 9 500 ₽. Это жесткая планка. Всё что выше, точно не окупится никогда (и эффект масштаба не работает).
Возьмём для примера три вида площадок:

Согласно этим данным, нам нужно отключить все площадки. Но нужно понять, а с 80% вероятностью, смогут ли эти площадки когда лидо выйти на планку в 9500 ₽. Может нам просто выборки не хватило.
Нам нужно посчитать не просто доверительный интервал. А понять какую максимальную конверсию в нашем доверительном интервале сможет показать каждая площадка. Рассчитывать можно через x² или бета-распределение. Вот формулы:
Форумла расчёта x²
σ×SQRT(КОНВЕРСИЯ×(1-КОНВЕРСИЯ/ВЫБОРКА)
80% точность σ = 1.28
Расчёт для первой площадки
1.28×SQRT(0,0020×(1-0,0020/5000))=0,08%
Тогда CRmax будет =0,28%
Формула расчёта Beta-распределения
=BETA.INV(0,9;КОНВЕРСИЙ;ВЫБОРКА-КОНВЕРСИЙ)
Расчёт для первой площадки
CRmax=BETA.INV(0,9;10;5000-10)=0,28%
Расчёт для всех площадок

Согласно этому расчёту потенциально, с 80% вероятностью, каждая площадка еще может показать результат, который нас всех устроит. Хотя прямо сейчас, в текущий момент, эти площадки не могут показать достаточный результат.
Безусловно нужно будет принимать решение в текущий момент времени с менеджментом или собственником бизнеса и проанализировать до продаж качество самих этих лидов.
Антон, можете пожалуйста, пояснить почему 80% точность σ = 1.28 ?
откуда цифра 1.28 ?
спасибо!
Алекс, есть правило 3х сигм. Подробней про это правило можно прочитать вот тут: https://wiki.loginom.ru/articles/3-sigma-rule.html (тут график поможет понять что я ниже напишу).
Кратко: при нормальном распределении (кривая гаусиана, колокол), область которая находится под самой кривой — это площадь возможных результатов. Для 1 сигмы — это 68,26% всех результатов, для 2 сигмы — это 95,44% всех результатов. Чтоб нам получить 80% точность (80% площади распределения), нам нужно взять отрезок между 1 и 2 сигмы. В данном случае это 1,28 сигмы.
Если быть точнее, там конечно не 1,28, а 1,281552, вот тут можно посмотреть примеры расчётов и форумулы расчёта по центральной предельной теоремы: https://en.wikipedia.org/wiki/Standard_deviation#Rules_for_normally_distributed_data
Понял, благодарю!