Как среднее по базе начинает врать
Возьмём показатель «доля клиентов, купивших повторно». Он считается по всей базе разом: активные покупатели делятся на всех, кто когда-либо покупал. Число выглядит объективным, потому что взято из общей таблицы.
Проблема в знаменателе. В нём одновременно сидят человек, который пришёл вчера и физически не успел купить второй раз, и человек, который покупает третий год. Первый по определению снижает показатель, второй его поднимает — и результат зависит от того, кого сейчас больше.
Дальше это превращается в две зеркальные ошибки. Компания вкладывается в привлечение, доля новичков растёт, средний показатель падает — и это читается как ухудшение продукта, хотя ухудшения нет. Потом реклама останавливается, приток новичков иссякает, база «стареет», и тот же показатель поднимается — что читается как успех, хотя произошёл ровно обратный процесс.
Оба движения — артефакт смешивания. Показатель отреагировал на изменение состава, а не поведения.
Что такое когорта
Когорта — группа клиентов, объединённая датой первого события: первой покупки, регистрации, первой заявки. Признак выбран так, чтобы он не менялся: человек, пришедший в марте, останется в мартовской когорте навсегда.
Из-за этого свойства когорту можно наблюдать во времени. У всех внутри группы одинаковый стаж, поэтому фраза «на третий месяц осталось столько-то» имеет однозначный смысл. В смешанной базе такая фраза смысла не имеет — там третий месяц у каждого свой.
Второе следствие важнее первого: когорты сравнимы между собой на одинаковом сроке. Мартовскую группу на третьем месяце можно поставить рядом с январской на её третьем месяце — и увидеть, стало ли привлечение хуже.
Треугольник удержания
Отчёт традиционно выглядит как таблица с уступом: чем свежее когорта, тем меньше у неё прожитых месяцев. Условный пример.
| Когорта | Пришло | Месяц 1 | Месяц 2 | Месяц 3 | Месяц 4 |
|---|---|---|---|---|---|
| Январь | 200 | 120 | 92 | 78 | 72 |
| Февраль | 260 | 156 | 114 | 99 | — |
| Март | 400 | 200 | 132 | — | — |
| Апрель | 520 | 234 | — | — | — |
Числа условные, но устроены показательно. Общее количество активных клиентов растёт: в апреле в базе больше людей, чем в январе, оборот увеличивается, отчёт для руководства выглядит хорошо.
Одновременно каждая новая когорта держится хуже предыдущей. У январской группы к первому месяцу осталось около трёх пятых, у февральской — те же три пятых, у мартовской — ровно половина, у апрельской — меньше половины. Перелом произошёл между февралём и мартом.
Среднее по базе этого не покажет никогда. Приток новых клиентов перекрывает ухудшение, и поломка обнаружится через полгода — когда закончатся деньги на привлечение и станет видно, что удерживать нечего.
Три направления взгляда
По строке — жизнь одной когорты. Видно форму оттока: обрыв на первом шаге означает проблему с ожиданиями, ровное угасание — естественный износ, провал на третьем-четвёртом месяце часто указывает на окончание запаса, купленного в первый раз.
По столбцу — сравнение когорт на одинаковом сроке. Это главный столбец отчёта. Ухудшение сверху вниз означает, что привлечение стало приводить худших клиентов, и продолжать наращивать бюджет бессмысленно, пока причина не найдена.
По диагонали — общее событие. Если проседают все когорты одновременно, произошло что-то внешнее: сбой, смена цен, уход поставщика, сезон. Диагональ отделяет проблему привлечения от проблемы месяца.
Три взгляда отвечают на три разных вопроса, и путать их не стоит: строка говорит о продукте, столбец — о трафике, диагональ — о происшествиях.
Что меняется в решениях
Первое: становится видно, что растущий оборот и ухудшающееся качество базы совместимы. Это меняет разговор о бюджете — вместо «даём больше денег на рекламу» возникает вопрос, какой канал приводит когорты, отваливающиеся быстрее.
Второе: пожизненная ценность клиента считается по когортам, а не по базе. Средняя выручка на клиента по всей базе смешивает тех, кто ещё не дожил до второй покупки, с теми, кто купил десять раз, и получившееся число не описывает никого.
Третье: становится честной оценка окупаемости привлечения. Сравнение стоимости клиента с деньгами, которые он принёс, имеет смысл только внутри одной когорты — иначе затраты марта делятся на выручку клиентов, пришедших в прошлом году.
Четвёртое: у изменений появляется контрольная точка. Если в марте переписали посадочные страницы, эффект ищут в мартовской когорте, а не в общем графике, где он растворится.
Как собрать отчёт руками
Специальный инструмент не обязателен. Нужны две вещи: дата первого события для каждого клиента и даты последующих событий.
Порядок такой. Выгрузить из системы аналитики или CRM таблицу «клиент — дата первой покупки — дата покупки». Приписать каждому клиенту месяц первой покупки. Для каждой строки вычислить номер месяца от начала: покупка в мае у клиента из марта — это месяц два. Свернуть в сводную таблицу: строки — месяц когорты, столбцы — номер месяца, значения — число уникальных клиентов.
Один нюанс, на котором ломаются самодельные отчёты: номер периода считают от даты входа клиента, а не от календаря. Если считать по календарным месяцам, клиент, пришедший тридцатого числа, получит полный первый месяц длиной в один день.
Делить можно не только по дате
Дата прихода — самое частое основание, но не единственное. Когорту образует любое неизменное событие в прошлом:
- канал первого визита — показывает, чей трафик приводит клиентов, которые остаются;
- первый купленный товар — часто оказывается, что вход через одну категорию даёт совсем другую судьбу, чем через другую;
- тариф или условия на входе — особенно заметно там, где был вводный период;
- версия продукта или сайта — способ увидеть эффект крупного изменения без сплит-теста.
Правило одно: признак должен быть зафиксирован в момент входа и не меняться потом. «Клиенты с высоким чеком» — не когорта, потому что чек меняется, и человек перетекает из группы в группу, унося с собой историю.
Где когортный анализ не помогает
Мало клиентов. Когорта из нескольких человек через пару периодов вырождается, и колебания в ней — чистая случайность. Здесь либо укрупняют шаг до квартала, либо отказываются от метода.
Длинный цикл покупки. Если между покупками проходит год, первый осмысленный столбец появится через год после запуска отчёта. Всё это время таблица будет почти пустой.
Разовые продажи. Там, где повторная покупка не предполагается, удержание считать не по чему. Когорты в таком бизнесе имеют смысл только для сравнения источников на входе.
Ответа на вопрос «почему» нет. Таблица покажет, что мартовская группа хуже февральской, и остановится. Дальше нужны данные о том, что менялось: распределение по каналам, цены, сроки доставки, состав предложения.
Мусор на входе. Если дата первой покупки в CRM проставляется вручную или задним числом, когорты перемешиваются и весь отчёт становится декорацией.
Когорты дают ту разбивку, без которой юнит-экономика считается по средней температуре: клиенты разных месяцев ведут себя по-разному, и общий показатель это скрывает.
Спорное место
Аргумент «среднее по базе врёт» верен, но у когортного анализа есть своя цена, и о ней говорят реже.
Когортная таблица разрезает данные на десятки мелких групп. Каждая из них по отдельности шумная, и глядя на такую таблицу, человек почти всегда находит закономерность — просто потому, что при достаточном числе клеток какая-нибудь строка обязательно будет выделяться. Отчёт, который должен был защитить от самообмана, даёт для него больше поверхности, чем один усреднённый график.
Второе возражение практическое. Регулярно поддерживаемый когортный отчёт требует аккуратной фиксации дат по каждому клиенту, а этого нет ровно в тех компаниях, которым он нужнее всего. Внедрять его имеет смысл после того, как заработала цепочка учёта до сделки, а не вместо неё.
Честная позиция такая: когортный анализ незаменим для ответа на вопрос «ухудшается ли то, что мы покупаем за деньги», и почти бесполезен как регулярный отчёт для еженедельного просмотра. Смотреть в него имеет смысл редко и по конкретному поводу.
Частые вопросы
Чем когорта отличается от сегмента?
По какому периоду делить когорты — по дням, неделям или месяцам?
Сколько клиентов нужно, чтобы когортный анализ имел смысл?
Когортный анализ показывает причину оттока?
Зачем это, если есть отчёт по удержанию в целом?
Источники
- Cohort analysis — Wikipedia