Вопрос, на который отчёт не отвечает
Рекламный кабинет показывает, сколько заказов прошло через канал. Управленческий вопрос звучит иначе: сколько заказов не случилось бы, если канал выключить. Это два разных числа, и совпадают они редко.
Разница возникает потому, что отчёт фиксирует контакт, а не причину. Покупатель, который уже решил купить, погуглил название компании, кликнул по объявлению вместо органической ссылки — и попал в отчёт как приведённый рекламой. Никакого прироста при этом не произошло: продажа состоялась бы и без объявления, просто путь к ней был бы другим.
Инкрементальный эффект — та часть результата, которую создала реклама, а не перехватила. Всё остальное называется базовой линией: продажи, которые дал бы бизнес при нулевом бюджете за счёт постоянных клиентов, рекомендаций, прямых заходов и накопленной брендовой известности.
Пока базовая линия не оценена, показатели вроде ROMI и стоимости привлечения считаются от завышенного дохода — и завышены ровно на её величину.
Почему модель атрибуции этого не решает
Смена модели атрибуции перераспределяет заслуги между каналами, но не меняет общей суммы. Пирог делится иначе — размер пирога остаётся прежним.
Отсюда системное свойство любой модели: канал, через который прошли заказы, всегда получит ненулевой вклад. Первый клик, последний клик, линейное распределение — все они отвечают на вопрос «кто участвовал», и ни один не отвечает на вопрос «без кого бы не случилось». Механика распределения и её ограничения разобраны в материале об атрибуции.
Практическое следствие неприятное. Если сложить оценки всех каналов, полученные по разным моделям, сумма превысит фактическую выручку — каждый канал засчитывает себе одних и тех же покупателей. Проблема не в разметке и не в UTM-метках: они честно фиксируют переходы. Проблема в том, что переход и причина покупки — разные события, а отчёт умеет видеть только первое. Острее всего это видно сразу после запуска нового источника: если он забирает покупателей у старого, прирост засчитывается дважды, а суммарный итог почти не меняется, поэтому решение о втором канале проверяют отключением на части территории, а не строками отчёта.
Три способа получить группу сравнения
Прирост измеряется единственным принципом: часть аудитории рекламу видит, часть не видит, результаты сравниваются. Различаются способы разделить аудиторию.
| Способ | Как делится аудитория | Когда подходит | Главная слабость |
|---|---|---|---|
| Отключение по географии | Часть регионов без показов | Розница, доставка, филиальная сеть | Регионы неодинаковы по спросу |
| Встроенный тест площадки | Платформа сама держит контрольную группу | Крупные бюджеты в одной системе | Считает площадка, проверить нельзя |
| Отключение по времени | Периоды с рекламой чередуются с периодами без | Стабильный спрос без сезонности | Внешние события ломают сравнение |
| Разделение по базе | Часть подписчиков исключается из рассылки | Работа с существующими клиентами | Не измеряет привлечение новых |
| Порог по аудиториям | Одна аудитория исключается из таргетинга | Проверка отдельного сегмента | Пересечения аудиторий смазывают границу |
Ни один способ не даёт чистого эксперимента. Географическое разделение упирается в то, что регионы различаются платёжеспособностью и конкуренцией; временное — в то, что между периодами меняется погода, курс, поведение конкурентов. Чем длиннее тест, тем больше постороннего в него попадает, а чем короче — тем меньше наблюдений и шире доверительный интервал. Компромисс между этими двумя проблемами и есть основная работа при планировании.
Арифметика прироста на условном примере
Числа ниже условные, они нужны только чтобы показать порядок вычислений.
Регион А получает рекламу, регион Б — нет. За месяц в А оформлено 620 заказов, в Б — 500. Регионы не одинаковы по размеру, поэтому сравнивать абсолютные значения нельзя: до начала теста, в спокойный месяц без рекламы в обоих, А давал 480 заказов, Б — 450.
Пересчёт делается через отношение. Базовая линия А на период теста оценивается как 480 × (500 ÷ 450) ≈ 533 заказа — столько бы дал регион А, если бы менялся так же, как Б. Прирост: 620 − 533 = 87 заказов.
Дальше считается стоимость прироста. Если на кампанию потрачено 261 000 у. е., то стоимость одного заказа из отчёта — 261 000 ÷ 620 ≈ 421 у. е., а стоимость инкрементального заказа — 261 000 ÷ 87 = 3 000 у. е. Разница в семь раз, и решение о бюджете принимается по второму числу. Как этот показатель встраивается в общую модель, разобрано в юнит-экономике.
Расчёт держится на допущении, что без рекламы А изменился бы пропорционально Б. Проверяется допущение только одним способом — предварительным периодом, когда оба региона живут одинаково. Если графики до теста расходятся, сравнивать регионы нельзя, и никакой пересчёт этого не исправит.
Сумма продаж по всем каналам заметно больше выручки в учётной системе. Каналы засчитывают одних и тех же покупателей: человек видел баннер, кликнул по объявлению и пришёл из письма. Складывать такие отчёты нельзя. Сверять нужно с фактической выручкой, а вклад отдельных каналов оценивать через когорты или отключение, а не сложением строк.
Кампания на название компании даёт отличную окупаемость, а общая выручка не растёт. Классический перехват органического перехода. Проверяется отключением на несколько недель с наблюдением за суммой платного и бесплатного трафика: если сумма почти не изменилась, реклама перекладывала деньги из одного кармана в другой.
После отключения канала выручка не упала, но продажи «размазались» по другим строкам отчёта. Значит, канал не создавал спрос, а собирал его раньше остальных. Это не всегда плохо — короткий путь к покупке снижает потери в воронке, — но платить за такой канал как за источник новых клиентов нельзя.
Тест дал разницу, но она меньше обычного недельного разброса. Мощности не хватило. Либо продлевать наблюдение, либо признать, что метод не отвечает на вопрос при таком объёме заказов, и вернуться к контролю по целям в аналитике.
Где метод перестаёт работать
Инкрементальный тест применим не всегда, и границы у него жёсткие.
Мало заказов. При десятках сделок в месяц случайный разброс перекрывает любой эффект. Нужное число наблюдений растёт квадратично при уменьшении измеряемой разницы: чтобы поймать прирост в 5 %, наблюдений требуется во много раз больше, чем для прироста в 20 %. Та же логика работает в A/B-тестах, и упирается в неё большинство небольших проектов.
Длинный цикл сделки. Отключение на месяц при сделке в полгода измерит только начало воронки. Заявки просядут сразу, выручка — через два квартала, и связать одно с другим по итогам месяца невозможно.
Отложенный эффект узнаваемости. Бренд-кампании работают на спрос, который проявится позже периода наблюдения. Тест покажет отсутствие прироста, и вывод «канал не работает» окажется артефактом слишком короткого окна.
Цена отключения выше цены знания. Иногда остановка канала стоит дороже, чем ошибка в его оценке. Для небольшой статьи бюджета проще принять погрешность, чем терять продажи ради чистоты измерения. Планирование таких компромиссов — часть работы с рекламным бюджетом.
Сезонность и внешние события. Любое совпадение теста с распродажей, запуском конкурента или изменением цен делает сравнение непригодным. Задним числом это не чинится.
Что делать, когда тест невозможен
Отсутствие теста не означает, что оценивать нечего. Есть промежуточные приёмы, каждый со своей погрешностью.
Смотреть на сумму, а не на строки: платный и бесплатный трафик по одному запросу считать вместе, потому что они перетекают друг в друга. Отслеживать долю новых покупателей внутри канала — канал, приводящий только повторных, почти наверняка не создаёт спрос, а обслуживает существующую базу. Сравнивать конверсию сегментов, различающихся только наличием контакта с рекламой, помня, что они различаются и другим.
Все три приёма дают догадку, а не измерение. Их ценность в том, что они показывают, где догадка расходится с отчётом настолько, что стоит потратиться на настоящий тест.
Ещё один рабочий ход — сравнение с периодом, когда канала не было вовсе. Если реклама запускалась не с первого дня бизнеса, история до запуска уже содержит готовую базовую линию. Точность у такого сравнения низкая: за прошедшее время изменилось всё сразу. Но порядок величины оно даёт, и этого иногда достаточно, чтобы понять, идёт речь о прибавке в разы или о перераспределении внутри той же суммы.
Спорное место
Логика инкрементальности выглядит безупречной ровно до момента, когда её пробуют применить ко всему бюджету. Тогда выясняется неприятное: корректно измерить прирост можно у крупных каналов со стабильным потоком заказов, а у остальных — нет. И решение о них всё равно принимается по обычным отчётам, тем самым, которые признаны завышенными.
Отсюда перекос. Каналы, которые удалось протестировать, получают честную и обычно скромную оценку. Каналы, которые протестировать нельзя, продолжают отчитываться красивыми числами. Сравнение между ними становится нечестным — не потому, что кто-то обманывает, а потому, что измерены они разными линейками.
Второе возражение серьёзнее. Инкрементальность отвечает на вопрос «что будет, если убрать канал сейчас», а не «что будет, если убирать его год». Реклама, не дающая прироста сегодня, могла годами формировать ту самую базовую линию, относительно которой её теперь измеряют. Тест этого не различает, и вывод «прироста нет, отключаем» иногда означает медленное проедание собственного фундамента.
Частые вопросы
Чем инкрементальность отличается от атрибуции?
Можно ли посчитать прирост без отключения рекламы?
Почему брендовые кампании подозревают первыми?
Сколько длится корректный тест?
Что делать, если тест показал нулевой прирост?