Считаем эффективность источника без достаточного количества конверсий

В прошлый раз я рассказал как считать доверительные интервалы. Сегодня немного практики, но пока без какой-либо автоматизации.

Наша задача, определить насколько какой-то элемент в рекламе эффективен. Я буду разбирать на примере площадок. Но можно так же построить оценку на фразе, креативе и т. д.

Разбор на примере площадок
Нам важно привлекать лиды по стоимости ниже 9 500 ₽. Это жесткая планка. Всё что выше, точно не окупится никогда (и эффект масштаба не работает).

Возьмём для примера три вида площадок:

Согласно этим данным, нам нужно отключить все площадки. Но нужно понять, а с 80% вероятностью, смогут ли эти площадки когда лидо выйти на планку в 9500 ₽. Может нам просто выборки не хватило.

Нам нужно посчитать не просто доверительный интервал. А понять какую максимальную конверсию в нашем доверительном интервале сможет показать каждая площадка. Рассчитывать можно через x² или бета-распределение. Вот формулы:

Форумла расчёта x²
σ×SQRT(КОНВЕРСИЯ×(1-КОНВЕРСИЯ/ВЫБОРКА)

80% точность σ = 1.28

Расчёт для первой площадки
1.28×SQRT(0,0020×(1-0,0020/5000))=0,08%

Тогда CRmax будет =0,28%

Формула расчёта Beta-распределения
=BETA.INV(0,9;КОНВЕРСИЙ;ВЫБОРКА-КОНВЕРСИЙ)

Расчёт для первой площадки
CRmax=BETA.INV(0,9;10;5000-10)=0,28%

Расчёт для всех площадок

Согласно этому расчёту потенциально, с 80% вероятностью, каждая площадка еще может показать результат, который нас всех устроит. Хотя прямо сейчас, в текущий момент, эти площадки не могут показать достаточный результат.

Безусловно нужно будет принимать решение в текущий момент времени с менеджментом или собственником бизнеса и проанализировать до продаж качество самих этих лидов.

Поделиться
Отправить
Запинить
3 комментария
Алекс 2023

Антон, можете пожалуйста, пояснить почему 80% точность σ = 1.28 ?
откуда цифра 1.28 ?
спасибо!

VK icon Антон Рожков 2023

Алекс, есть правило 3х сигм. Подробней про это правило можно прочитать вот тут: https://wiki.loginom.ru/articles/3-sigma-rule.html (тут график поможет понять что я ниже напишу).

Кратко: при нормальном распределении (кривая гаусиана, колокол), область которая находится под самой кривой — это площадь возможных результатов. Для 1 сигмы — это 68,26% всех результатов, для 2 сигмы — это 95,44% всех результатов. Чтоб нам получить 80% точность (80% площади распределения), нам нужно взять отрезок между 1 и 2 сигмы. В данном случае это 1,28 сигмы.

Если быть точнее, там конечно не 1,28, а 1,281552, вот тут можно посмотреть примеры расчётов и форумулы расчёта по центральной предельной теоремы: https://en.wikipedia.org/wiki/Standard_deviation#Rules_for_normally_distributed_data

Алекс 2023

Понял, благодарю!

Популярное