В прошлый раз я рассказал как считать доверительные интервалы и показал как это происходит на практике. Но одна из сложных (для меня) тем была: как сформировать гипотезу с точки зрения науки. Разберём эту тему на примере.

Допустим, вы прослушиваете звонки в колл-центре. И постоянно слышите вопрос от клиента сколько будет стоить услуга. А когда клиент узнает цену, то сразу же сбрасывает звонок.

На основе этой информации мы можем сформулировать гипотезу как можно улучшить этот процесс и повысить конверсию: «А давайте сразу же на сайте писать цену!». Первый вопрос, а для чего мы это делаем?

Чтоб повысить конверсию! Когда мы будем подводить итог, мы будем считать эффективность старой версии сайта, по сравнению с новой версией сайта.

Нулевая гипотеза

Сначала определяем нулевую гипотезу. Фактически это гипотеза, которая говорит нам о том, что всё должно быть так, как обычно. То есть мы отвергаем, что появление точной стоимости на сайте увеличит конверсию. Для нас нулевая гипотеза: «Когда мы начали показывать стоимость услуги, конверсия не увеличилась».

Альтернативная гипотеза

Второй шаг, определить альтернативную гипотезу. Это гипотеза, ради чего мы все это затеяли. В нашем случае: «Когда мы начали показывать стоимость услуг, конверсия увеличилась».

Стартуем эксперимент

После определения двух гипотез, мы должны начать эксперимент. Попыткой в нашем случае будет заход пользователя на сайт с рекламы. Удачной попыткой — запись в колл-центре. В идеале, нужно разделить трафик поровну. Половина отправляется на старую версию сайта, вторая половина — на новую версию сайта.

В идеале, стоит провести еще и AA тестирование. То есть трафик разделять не на 2 части, а на 3 части. Первая часть идёт на исходную страницу, вторая часть снова на исходную страницу, а третья часть на новую страницу. Это нужно, чтоб понять, что с трафик однороден. Но в реальности AAB-тестирование могут себе позволить только огромные проекты с большим количеством трафика.

Подведение итогов

И вот тут мы считаем доверительные интервалы. Нам нужно определить уровень статистической значимости. Если бы мы были учеными, то скорее всего мы бы взяли 95% значимость, чтоб уменьшить вероятность ошибочного эксперимента. Если эксперимент критичный (если ошиблись, получим смерти людей), тогда берут 99% значимости.

Для маркетинга достаточно брать уровень статистической значимости 80% (Сигма=1.28). Как считать доверительные интервалы, я уже писал. Если попыток мало, то лучше использовать формулу x², если попыток много (больше 5000), то я использую бета-распределение.

Если доверительные интервалы (ДИ) пересекаются (первый исход ДИ от 5% до 5,5%; второй исход 5,4% до 5,7% → пересечение между 5,4% (начало 2 ДИ) и 5,5% (конец 1 ДИ)), тогда мы не можем сказать что первая и вторая гипотезы отличаются.

Если доверительные интервалы расходятся, тогда победитель будет тот, у кого цифры в ДИ выше. Если выше цифры у нулевой гипотезы, значит эксперимент провалился. Если выше цифры у альтернативной гипотезы, значит эксперимент был успешен.

Сегодня пятница, и хочу поделиться выпуском подкаста Егора Егорова про выгорание, где он интервьюирует Ольгу Полищук. Ольга работает с людьми, которые столкнулись с синдромом эмоционального выгорания.

Ссылка в конце (на Я-Музыку).

Кратко, но в подкасте подробней:

— Выгорание — процесс. Он не случается неожиданно. Если забивать на усталость, то можно прийти к моменту выгорания.
— Симптомы: стал плохо спать, нарушение норм (приходишь на работу позже обычного), забивание на работу (прокрастинация), деформирование поведения (начинаешь избегать людей, когда до этого любил общаться, снижение либидо), потеря смысла.
— Как бороться: отдыхать, забыть о работе во время отдыха. Возвращение чувствительности (понимание своего тела, все ли ок с телом, спорт для удовольствия, медитация и т. п.). Поиск интереса (кроме работы и пользы, когда просто что-то делать в кайф).
— Профилактика: рутины каждый день. Отдых каждый день (да, отдыхать надо!). Прогулка без гаджетов лучше Ютуба или Нетфликса. Душ. Медитация. Почитать, то от чего кайфово, а не от чего польза. Спорт для удовольствия (а не чтоб похудеть или что там еще за причины могут быть).
— Норм прийти к начальнику/руководителю и сказать, что что-то не так, и чувствуешь себя хреново или тебе нужно отдохнуть.

https://music.yandex.ru/album/9223243/track/74260035

Так как я все чаще и чаще участвую в первых встречах, начал изучать разный опыт в этом вопросе. Натолкнулся на статью Интеркома по квалификации лидов. Вот какие вопросы советует задавать Интерком:

1. Что вас заинтересовало в нашем продукте? → Это типичный вопрос для сервиса, мне кажется в агентском бизнесе важна не услуга сама по себе, а как эксперты могут решить проблему. Поэтому можно начинать задавать сразу следующий вопрос.
2. Какую проблему вы хотите решить? → Это хороший вопрос, но немного общий. Можно спросить еще «С какой проблемой вы сейчас столкнулись?», «Какая задача перед вами сейчас стоит?», «Какие KPI ставятся перед вашим отделом» или «Как мы можем вам помочь?». В зависимости от ситуации можно использовать разные формулировки. На этом этапе важно понять, а сможем ли мы действительно быть полезными и сможем ли выполнить поставленные цели.
3. Как вы решаете эту проблему сейчас? → Это возможно узнать бюджет, ограничения и хотелки. А так же что идёт не так прямо сейчас. Возможно решение проблемы находится не в наших компетенциях.
4. Как вы измеряете достижение цели? → Есть ли у клиента сквозная отчётность? Как он принимает решение по итогам месячной рекламной кампании? Интерком рекомендует использовать ответ на этот вопрос, чтоб давить на клиента (пока с нами не работаете — теряете деньги). Но мне кажется это плохой идеей, это слишком сильно повышает ожидания, и любые проблемы на проектах будут разобщать агентство и клиента, а не сплачивать.
5. Как вы будете принимать решение какого подрядчика выбрать? → Я переформулировал вопрос Интеркома на агентский бизнес. Этот вопрос помогает понять что ожидает клиент от подрядчика и какие факторы для него критические. Тут можно понять, проходим ли мы в бюджет клиента, или нет.
6. Когда будет презентация решения и кого нам еще нужно будет привлечь на неё? Сможете ли вы дать решение по итогам презентации, или вам нужно будет посоветоваться с кем-то еще? → Переформулировал. Позволяет понять есть ли лица, которые будут так же принимать решение, помимо тех, кто есть на первом звонке.

Надо будет поспрашивать еще людей в ITA, которые часто общаются с клиентам, какие вопросы они задают. Полностью статью можно прочесть тут: https://www.intercom.com/blog/6-discovery-call-questions

Готовлюсь к  февральскому митапу про то как в IT-Agency происходит найм (чуть позже будет анонс).

Вытащил статистику с августа по декабрь 2022:

Откликов: 2862
Отправлено тестового задания: 792
Сделано тестовых: 93
Приглашено на собеседования: 57
Приглашено на стажировку: 20
Наймы: 5 (джедаев) + 2 (менеджера) = 7

От тестовых 0,63% конверсия (792 → 5). От собеседований: ≈8,8% (57 → 5).

Те кто прошёл собеседование, но не смог завершить стажировку — очень крутые. Но чего-то не хватило (не сошлись наши ожидания и ожидания кандидата).

Тестовые добавили в прошлом году, статистика по найму не изменилась, а качество кандидатов выросло значительно.

В этот раз работали со своими источниками + платный HH.

Так как я ведущий, то у меня недельный календарь может выглядеть как-то так в начале недели:

И это еще не самый худший вариант. Проблема в том, что чем больше у тебя команда, тем чаще тебя будут звать на встречи. Сейчас у меня в команде 5 джедаев (2 старших, 3 мидла). У старших обычно по 2-3 пресейла в месяц + текущие проекты. У мидлов как минимум 1 действующий проект. И встречи будут появляться, это нормально, так и должно быть.

В такой момент очень важно прибить встречи, где я не приношу никакой пользы. Да, можно работать фоном, но обычно сконцентрироваться на таких встречах намного сложнее.

Раньше я очень редко отказывался от встречи, но чем больше проектов, тем чаще я спрашиваю зачем я на этой встрече нужен и действительно ли я смогу там чем-то помочь. Не нужно проводить планёрку ради планёрки, потому что так было заведено. Если обсуждать нечего, то лучше просто выслать пост-мит без мита.