В прошлый раз я рассказал как считать доверительные интервалы и показал как это происходит на практике. Но одна из сложных (для меня) тем была: как сформировать гипотезу с точки зрения науки. Разберём эту тему на примере.

Допустим, вы прослушиваете звонки в колл-центре. И постоянно слышите вопрос от клиента сколько будет стоить услуга. А когда клиент узнает цену, то сразу же сбрасывает звонок.

На основе этой информации мы можем сформулировать гипотезу как можно улучшить этот процесс и повысить конверсию: «А давайте сразу же на сайте писать цену!». Первый вопрос, а для чего мы это делаем?

Чтоб повысить конверсию! Когда мы будем подводить итог, мы будем считать эффективность старой версии сайта, по сравнению с новой версией сайта.

Нулевая гипотеза
Сначала определяем нулевую гипотезу. Фактически это гипотеза, которая говорит нам о том, что всё должно быть так, как обычно. То есть мы отвергаем, что появление точной стоимости на сайте увеличит конверсию. Для нас нулевая гипотеза: «Когда мы начали показывать стоимость услуги, конверсия не увеличилась».

Альтернативная гипотеза
Второй шаг, определить альтернативную гипотезу. Это гипотеза, ради чего мы все это затеяли. В нашем случае: «Когда мы начали показывать стоимость услуг, конверсия увеличилась».

Стартуем эксперимент
После определения двух гипотез, мы должны начать эксперимент. Попыткой в нашем случае будет заход пользователя на сайт с рекламы. Удачной попыткой — запись в колл-центре. В идеале, нужно разделить трафик поровну. Половина отправляется на старую версию сайта, вторая половина — на новую версию сайта.

В идеале, стоит провести еще и AA тестирование. То есть трафик разделять не на 2 части, а на 3 части. Первая часть идёт на исходную страницу, вторая часть снова на исходную страницу, а третья часть на новую страницу. Это нужно, чтоб понять, что с трафик однороден. Но в реальности AAB-тестирование могут себе позволить только огромные проекты с большим количеством трафика.

Подведение итогов
И вот тут мы считаем доверительные интервалы. Нам нужно определить уровень статистической значимости. Если бы мы были учеными, то скорее всего мы бы взяли 95% значимость, чтоб уменьшить вероятность ошибочного эксперимента. Если эксперимент критичный (если ошиблись, получим смерти людей), тогда берут 99% значимости.

Для маркетинга достаточно брать уровень статистической значимости 80% (Сигма=1.28). Как считать доверительные интервалы, я уже писал. Если попыток мало, то лучше использовать формулу x², если попыток много (больше 5000), то я использую бета-распределение.

Если доверительные интервалы (ДИ) пересекаются (первый исход ДИ от 5% до 5,5%; второй исход 5,4% до 5,7% → пересечение между 5,4% (начало 2 ДИ) и 5,5% (конец 1 ДИ)), тогда мы не можем сказать что первая и вторая гипотезы отличаются.

Если доверительные интервалы расходятся, тогда победитель будет тот, у кого цифры в ДИ выше. Если выше цифры у нулевой гипотезы, значит эксперимент провалился. Если выше цифры у альтернативной гипотезы, значит эксперимент был успешен.

Сегодня пятница, и хочу поделиться выпуском подкаста Егора Егорова про выгорание, где он интервьюирует Ольгу Полищук. Ольга работает с людьми, которые столкнулись с синдромом эмоционального выгорания.

Ссылка в конце (на Я-Музыку).

Кратко, но в подкасте подробней:
— Выгорание — процесс. Он не случается неожиданно. Если забивать на усталость, то можно прийти к моменту выгорания.
— Симптомы: стал плохо спать, нарушение норм (приходишь на работу позже обычного), забивание на работу (прокрастинация), деформирование поведения (начинаешь избегать людей, когда до этого любил общаться, снижение либидо), потеря смысла.
— Как бороться: отдыхать, забыть о работе во время отдыха. Возвращение чувствительности (понимание своего тела, все ли ок с телом, спорт для удовольствия, медитация и т. п.). Поиск интереса (кроме работы и пользы, когда просто что-то делать в кайф).
— Профилактика: рутины каждый день. Отдых каждый день (да, отдыхать надо!). Прогулка без гаджетов лучше Ютуба или Нетфликса. Душ. Медитация. Почитать, то от чего кайфово, а не от чего польза. Спорт для удовольствия (а не чтоб похудеть или что там еще за причины могут быть).
— Норм прийти к начальнику/руководителю и сказать, что что-то не так, и чувствуешь себя хреново или тебе нужно отдохнуть.

https://music.yandex.ru/album/9223243/track/74260035

Так как я все чаще и чаще участвую в первых встречах, начал изучать разный опыт в этом вопросе. Натолкнулся на статью Интеркома по квалификации лидов. Вот какие вопросы советует задавать Интерком:

1. Что вас заинтересовало в нашем продукте? → Это типичный вопрос для сервиса, мне кажется в агентском бизнесе важна не услуга сама по себе, а как эксперты могут решить проблему. Поэтому можно начинать задавать сразу следующий вопрос.
2. Какую проблему вы хотите решить? → Это хороший вопрос, но немного общий. Можно спросить еще «С какой проблемой вы сейчас столкнулись?», «Какая задача перед вами сейчас стоит?», «Какие KPI ставятся перед вашим отделом» или «Как мы можем вам помочь?». В зависимости от ситуации можно использовать разные формулировки. На этом этапе важно понять, а сможем ли мы действительно быть полезными и сможем ли выполнить поставленные цели.
3. Как вы решаете эту проблему сейчас? → Это возможно узнать бюджет, ограничения и хотелки. А так же что идёт не так прямо сейчас. Возможно решение проблемы находится не в наших компетенциях.
4. Как вы измеряете достижение цели? → Есть ли у клиента сквозная отчётность? Как он принимает решение по итогам месячной рекламной кампании? Интерком рекомендует использовать ответ на этот вопрос, чтоб давить на клиента (пока с нами не работаете — теряете деньги). Но мне кажется это плохой идеей, это слишком сильно повышает ожидания, и любые проблемы на проектах будут разобщать агентство и клиента, а не сплачивать.
5. Как вы будете принимать решение какого подрядчика выбрать? → Я переформулировал вопрос Интеркома на агентский бизнес. Этот вопрос помогает понять что ожидает клиент от подрядчика и какие факторы для него критические. Тут можно понять, проходим ли мы в бюджет клиента, или нет.
6. Когда будет презентация решения и кого нам еще нужно будет привлечь на неё? Сможете ли вы дать решение по итогам презентации, или вам нужно будет посоветоваться с кем-то еще? → Переформулировал. Позволяет понять есть ли лица, которые будут так же принимать решение, помимо тех, кто есть на первом звонке.

Надо будет поспрашивать еще людей в ITA, которые часто общаются с клиентам, какие вопросы они задают. Полностью статью можно прочесть тут: https://www.intercom.com/blog/6-discovery-call-questions