Самый простой и удобный способ узнать, сколько денег принесла определенная рассылка, — посчитать заказы, сделанные после кликов по баннеру/кнопке внутри письма. Поэтому большинство организаций использует для анализа Google Analytics и другие сервисы с такой моделью атрибуции, так как они позволяют четко проследить, какой канал сколько прибыли приносит. На самом деле речь может идти не только о рассылках, а о любом канале CRM-коммуникации — пушах, sms, лендингах.

А теперь представьте, что после каждой рассылки (или другой коммуникации) вам необходимо ответить на следующие вопросы.

• Сколько клиентов пришло бы без рассылки? Принесла ли она вообще какую-то дополнительную прибыль?

• Это был самый удачный способ использовать рекламный бюджет, или другой канал коммуникации справился бы лучше?

В платформах по типу Google Analytics не найти ответы на эти вопросы, поэтому порой компании тратят деньги на рассылки, без которых можно было обойтись. Часто в кейсах пишут «Мы увеличили доход с емейл-канала в 2 раза!». Отлично, но повлияло ли это на общий доход компании? На деле же суммарная прибыль бизнеса не увеличивается, а просто распределяется между каналами. То есть где-то убыло, а где-то прибыло.

На графике пример, когда доход с email-канала увеличился в 2 раза, а общий доход не то чтобы остался прежним, а даже уменьшился из-за того, что сократилась прибыль по другим каналам.

Если вы уже столкнулись с подобной ситуацией или задавались вопросом «правильно ли мы распределяем деньги по разным маркетинговым каналам», то есть хорошая новость — ответить на такие вопросы могут тесты с контрольными группами. Это такой формат рассылки, когда часть подписчиков получает письмо с каким-то оффером, а другая часть — нет.

Казалось бы, так мы потеряем прибыль, но на самом деле это не правда. Наоборот, так мы узнаем, что нужно слать нашим клиентам, а какие письма приводят к отпискам и оттоку аудитории. Значит, контрольные группы помогут нам избежать потерь и придумать больше работающих и приносящих деньги рассылок.

Пример: как работает метод с контрольными группами

Эксперимент с контрольными группами перекочевал в маркетинг из науки. Например, в медицине такой подход к исследованию считается единственным способом доказать причинно-следственную связь между двумя факторами/процессами. То же самое и с CRM-коммуникацией: если вы хотите доказать, что эту прибыль принесло именно это письмо или что рассылки вообще дают дополнительный доход бизнесу, пока этот способ считается самым достоверным.

Вот простая схема того, как работает такой метод анализа:

Но все же лучше объяснить его на конкретном примере.

Вводные данные: мы хотим отправить рассылку с новогодней акцией на 100 000 email-адресов. Предложение действует 7 дней, включая день отправки.

Мы составили окончательную базу для рассылки, то есть очистили ее от отписавшихся и неактивных клиентов. В итоге осталось 90 000 емейлов.

Теперь нужно отделить часть адресов из 90 тысяч, чтобы не отправлять им письмо с акцией. Это будет контрольная группа, а оставшиеся клиенты — тестовая, или экспериментальная, так как именно на ней будет поставлен эксперимент, то есть эта группа получит письмо. Контрольная группа же покажет, как бы повели себя покупатели, если бы не получили письмо. В итоге мы будем сравнивать ее конверсию с конверсией тестовой группы.

Сколько адресов добавить в контрольную группу? Обычно отделяют 5-10% адресов от рассылки. Этот показатель зависит от того, сколько клиентов в итоговом списке и с какой точностью вы планируете замерить разницу. Если вы хотите увидеть доли процентов, на которые конверсия тестовой группы превысила конверсию контрольной группы, то вам нужна максимально большая контрольная группа. Но если вы ожидаете разницу в несколько раз, то достаточно нескольких сотен адресов.

Например, в вашем списке 1000 человек. В контрольной группе — 100 подписчиков, и из них заказ сделали 3 клиента (конверсия 3%). Высока вероятность того, что число заказов здесь зависит от личных обстоятельств, и если в тестовой группе конверсия составит 5-6%, разница не будет считаться достоверной. Но если при этом в тестовой группе заказ сделает 30% клиентов, то это явно значимые результаты, и рассылка была эффективной. А для того, чтобы разница между 3% и 5% оказалась достоверной, вам понадобится больше, чем 100 человек в контрольной группе.

Чтобы считать значимость результатов, существует множество калькуляторов А/В тестов: там вы можете ввести примерные цифры и понять, какая разница будет значимой, если вы выберете 5 или 10% в контрольную группу. Чем меньше контрольная группа, тем больше требуется разница в конверсиях, чтобы получить точные результаты.

Вот пример из калькулятора Optimizely — при конверсии в контрольной группе 3% мы хотим измерить разницу с 6% в тестовой группе (то есть в 2 раза больше или на 100%). Статистическая значимость указана по умолчанию 95% — в подавляющем большинстве случаев этого достаточно (оставляем так). В результате получаем размер контрольной группы в 430 адресов, который вам будет нужен, чтобы измерить такую разницу.

Кого отбирать? Этот вопрос — самая важная часть исследования. Нужно отобрать контрольную группу максимально случайно среди наших 90 тысяч. Это значит, что нельзя выбрать первые 10% по идентификатору клиента или по алфавиту — иначе результат эксперимента будет недостоверным. Дело в том, что в любом порядке будет содержаться какая-то логика: например, идентификаторы в начале — самые первые зарегистрированные клиенты, они могут быть менее активными, чем остальные 90% подписчиков. Получается, вы будете сравнивать активных пользователей с неактивными, и результат не будет иметь смысла.

Итак, мы случайным образом отобрали 10% клиентов, которым рассылка не уйдет. Остальные 81 000 подписчиков получат рассылку с новогодней акцией.

Считаем, какой процент клиентов сделал заказ, и получаем значения конверсии в каждой из групп.

Период, за который мы смотрим заказы, ограничен временем действия предложения в письме, то есть это 7 дней. Когда вы отправляете рассылки без ограничений по времени, период зависит от вашей аудитории, типа бизнеса и частоты рассылок — обычно выбирают срок в 1 или 2 недели.

Совет: проверьте на 10-20 рассылках, через сколько дней разница между контрольной и тестовой группой исчезает. Возможно, в вашем случае это 3 дня или наоборот, целый месяц.

Имейте в виду, что нужно считать все заказы всех клиентов в обеих группах (обычно это делается через CRM-систему), а не тех, кто кликнул или перешел по рассылке. Потому что цифры в них должны быть сравнимы.

Казалось бы, в нашем примере разница всего в 0,33%, но на самом деле этот результат значимый: конверсия увеличилась на 12,9%! Итого: рассылка принесла компании дополнительно 271 заказ.

Мы проверили это в одном из калькуляторов для подсчета значимости результатов А/В-тестов, некоторые из таких калькуляторов также дают подробное статистическое объяснение.

Мы посчитали, сколько дополнительных заказов принесла нам рассылка, но сколько денег она принесла бизнесу? Сразу отметим, ответ на вопрос «какие именно заказы были дополнительными» этот метод не даст (вероятно, как и любой другой). Но мы можем посчитать, каким был бы доход без рассылки, ориентируясь на доход от контрольной группы.

Доп. доход считаем по формуле: 2 556 612 — 243 763 / 9 000 * 81 000 = 362 745 руб

Наш дополнительный доход составил 362 745 рублей. Надо понимать, что эти расчеты, как и расчет дополнительных заказов, — приблизительны. Если бы мы действовали четко по предписаниям статистики, то получили бы интервал, в котором находится реальная сверхприбыль по рассылке. А таким упрощенным способом мы получили что-то вроде среднего из этого интервала, то есть самое вероятное значение.

Особенности и подводные камни A/B-тестирования

Метод выглядит достаточно просто на примере, но на практике вы наверняка столкнетесь со сложностями и начнете задавать вопросы о границах возможностей тестирования.

Когда нет смысла применять этот метод?

Если ваша база или конверсия недостаточна, чтобы замерить результат (используйте калькуляторы для подсчета размера выборки A/B-теста).

Когда у вас нет возможности считать конверсию по случайным группам клиентов.

Почему результат может оказаться незначимым?

Таких случаев может быть много, и нужно рассматривать каждую ситуацию отдельно, но чаще всего дело в несоблюдении правил, по которым проводится эксперимент.

Вот самые популярные причины.

1. Если вы сделали неслучайную выборку или по какой-то иной причине группы оказались неравномерными. Чтобы оценить эффект рассылки, нужно сравнивать группы, конверсия которых примерно равна (или не имеет значимой разницы), иначе вы измерите не эффект рассылки, а в целом разницу между активностью контрольной и тестовой группы. Сравните число заказов в тестовой и контрольной группах за последний месяц (до рассылки) — насколько значительно они расходятся? Значимой разницы быть не должно, иначе группы оказались неравномерными.

   

2. Ваша база «перегорела»: письма стали мало открывать и их воспринимают как кнопку перехода на сайт, когда решение о покупке уже принято. Если вы высылали аудитории много скучных и бессмысленных писем, то через какое-то время она перестанет на них реагировать.

3. Вы отправили рассылку «не тем» клиентам. Вы предложили женскую одежду мужской аудитории или рассказали о самых дорогих и эксклюзивных турах в ОАЭ клиентам с самым низким доходом. Такие рассылки могут вызвать негатив и даже уменьшить прибыль, так как клиент, который мог бы обратиться к вам, просто уйдет к конкуренту, который прислал актуальное письмо с действительно полезной информацией.

В каких каналах можно применять данный метод?

В любом, где есть возможность провести эксперимент на случайной части аудитории. Кроме email, это могут быть sms-рассылки, пуш-уведомления или рассылки в соцсетях. А если у вас есть офлайн-продажи, то этим методом можно измерить и их.

Как убедиться в том, что группы сравнимы?

Кроме довольно простого способа сравнить число заказов в тестовой и контрольной группах за последний месяц (или несколько, если у вас низкий коэффициент конверсии), можно также проводить А/А тесты. Это значит, что вы выбираете тестовую и контрольную группы, а затем отправляете им обеим одно и то же письмо. Если калькулятор покажет значимую разницу в конверсии, значит отбор групп получился не таким случайным, как хотелось бы.

Что в итоге?

Рассылки с контрольной группой помогут разобраться в том, какие письма действительно стоит слать клиентам, чтобы получить прибыль, или как долго будет приносить результат текущая триггерная серия писем. По сравнению с большинством онлайн-сервисов аналитики, в которых не найдется ни одной рассылки с нулевым результатом, контрольная группа продемонстрирует, каков реальный дополнительный доход, который вы получили с каждого письма.

WIM.Agency постоянно пользуется этим и другими методами, чтобы проанализировать различные подходы в коммуникации, в том числе эффективность акций и рассылок. Это позволяет нам предоставлять прозрачные отчеты о результатах работы, и что не менее важно — вовремя изменять подходы и форматы коммуникации, если предыдущие письма перестают работать.