Что отличает гипотезу от идеи
Гипотеза — утверждение, которое можно опровергнуть. Идея — предложение что-то сделать. Разница проверяется одним вопросом: какой результат заставит вас признать, что вы ошибались? Нет ответа — это идея, и никакое оформление в таблицу с приоритетами её не изменит.
Отсюда следует неприятное про большинство списков «гипотез роста». Строки вида «переписать заголовок на главной», «запустить рассылку по спящим», «добавить отзывы на страницу» — это работы. Они могут быть полезными, но результат по ним всегда объясним: стало лучше — сработало, стало хуже — сезон. Пока условие опровержения не записано, проверки не происходит, происходит выполнение.
Второе отличие — наличие механизма. Гипотеза объясняет, почему изменение должно привести к результату. Механизм важнее самого предсказания: он определяет, что делать при подтверждении. Если заголовок сработал, но неизвестно почему, повторить успех негде — знание не переносится ни на одну другую страницу.
Третье — гипотеза говорит о величине, а не о направлении. «Конверсия вырастет» подтверждается любым положительным колебанием, включая случайное. «Конверсия вырастет не меньше чем на четверть от текущего значения» уже можно опровергнуть, и именно эта часть формулировки определяет, сколько наблюдений понадобится и сколько времени займёт проверка.
Из чего состоит формулировка
Рабочая запись содержит четыре обязательные части и одну необязательную.
Первая — что меняем, конкретно и до уровня, по которому исполнитель поймёт работу без уточнений.
Вторая — почему это должно сработать. Здесь называется механизм: какое препятствие снимается, какое сомнение закрывается, какой шаг сокращается. Формулировка «потому что так лучше» механизмом не является.
Третья — какая величина изменится и насколько. Величина должна быть той, за которую вы отвечаете, и по возможности конечной. Рост числа переходов, не доходящий до сделок, — это перемещение людей, а не рост; связь между шагами разбирается в материале о воронке продаж.
Четвёртая — при каком результате гипотеза считается опровергнутой и к какому сроку. Без срока проверка длится до тех пор, пока результат не станет приемлемым.
Необязательная пятая часть — что вы сделаете при подтверждении. Она кажется избыточной, пока не выясняется, что подтвердившаяся гипотеза требует ресурса, которого нет. Записанное заранее следствие отсеивает проверки, результат которых применить некуда.
Пример записи целиком, числа условные: «Если на странице заказа показать срок доставки до оформления, доля доведённых до оплаты вырастет не менее чем на пятую часть, потому что неизвестность срока — самая частая причина отказа в записях разговоров с поддержкой. Проверяем четыре недели параллельными группами. Прирост меньше пятой части считаем опровержением». Механика параллельного сравнения — в материале об A/B-тестах.
По какому признаку строить очередь
Сортировать по ожидаемому эффекту — распространённая и дорогая ошибка: оценка эффекта делается тем, кто гипотезу придумал, и потому систематически завышена. Работающий признак другой — сколько неопределённости снимает проверка на единицу затрат.
| Критерий | Что означает | Как оценить | Где обманывает |
|---|---|---|---|
| Снимаемая неопределённость | Насколько план зависит от этого предположения | Что придётся переделать, если предположение неверно | Кажется низкой для привычных допущений, которые никто не проверял |
| Стоимость проверки | Деньги, часы и отвлечённые люди | Полная смета, включая разбор результата | Не учитывается очередь на разработку и время на анализ |
| Скорость ответа | Через сколько станет ясно | Длина цикла сделки плюс набор наблюдений | Быстрый промежуточный сигнал принимают за окончательный |
| Основание | Откуда взялась гипотеза | Есть ли за ней данные, разговор, отказ клиента | Ссылка на чужой опыт выглядит основанием и им не является |
| Цена ошибки | Что будет, если проверка навредит | Обратимость изменения и охват | Изменения в цене и обещаниях необратимы дольше, чем кажется |
Первая строка объясняет, почему очередь по эффекту неверна. Самое ценное — проверить то предположение, на котором держится весь план и которое никто не пробовал ставить под сомнение: что сегмент выбран верно, что люди понимают предложение, что канал вообще содержит вашу аудиторию. Такие проверки редко дают заметный прирост сами по себе, зато меняют всё остальное.
Третья строка требует арифметической оговорки. Чем меньше ожидаемое изменение, тем больше наблюдений нужно, чтобы отличить его от колебаний, и срок проверки растёт быстрее самого эффекта. Гипотеза с приростом в доли процента формально проверяема и практически недоступна: нужного объёма наблюдений не наберётся раньше, чем изменится всё остальное.
Пятая строка отделяет обратимые проверки от необратимых. Текст на странице возвращается за минуту, цена и публичное обещание — нет: рынок запоминает и то и другое. Необратимые гипотезы проверяют на ограниченном участке — одном канале, одной категории, одной территории; логика распределения ресурса при этом остаётся общей и описана в материале о маркетинговой стратегии. А там, где проверка обходится почти в цену самого запуска или ответ придёт позже срока решения, дробить бессмысленно — выгоднее запускать целиком с заранее записанной точкой выхода; эта развилка разобрана в сравнении быстрых проверок и большого запуска.
Где брать материал
Гипотезы не придумываются на встрече, а находятся в четырёх местах, и все четыре доступны без бюджета.
Первое — разрывы в собственных числах. Шаг, где теряется больше всего людей, и шаг, где потери выросли по сравнению с прошлым периодом, — разные места, и второе интереснее. Считается по конверсии шагов и по когортам, а не по общей выручке. Если собственных чисел по шагам пока нет, грубую картину даст диагностика маркетинговой цепочки: замер она не заменяет, зато показывает, с какого звена его начинать.
Второе — причины отказов. Записи разговоров, переписка с проигранными сделками, вопросы перед покупкой. Это единственный источник, где механизм гипотезы формулируется чужими словами, а не вашими предположениями; техника разбора — в материалах о портрете аудитории и о работе, ради которой нанимают продукт.
Третье — расхождение с ожиданием. Канал, который должен был работать и не работает, страница с хорошим трафиком и нулевым результатом, сегмент, реагирующий не так, как соседний. Каждое расхождение содержит невыполнившееся предположение, и его-то и стоит записать как гипотезу.
Четвёртое — свободные места на рынке. Сочетание свойств, которое никто не занял, превращается в гипотезу о спросе, а не в проект: сначала проверка, что такой запрос вообще формулируется людьми, потом продукт. Способ находить такие места разобран в материале о карте позиционирования, а сопоставление с чужими решениями — в анализе конкурентов.
Пятый источник, который я упомяну с оговоркой, — чужие рассказы об успехе. Они дают идеи и не дают оснований: условия чужой компании неизвестны, а публикуются в основном удачные случаи. Взятое оттуда переписывается в гипотезу с собственным механизмом и проверяется с нуля.
Что идёт не так при проверке
Все проверки заканчиваются успехом. Условие опровержения не записано, и результат трактуется задним числом. Введите правило: формулировка с числом и порогом опровержения фиксируется письменно до запуска, а решение принимает тот, кто эту запись читал; проверки без записи не считаются проведёнными.
Промежуточный показатель вырос, деньги не изменились. Эффект измеряли там, где его удобно увидеть, — на кликах, просмотрах, заявках. Перенесите оценку на конечную величину или заранее укажите, что вывод предварительный до закрытия когорты; связь шагов с деньгами — в материалах о стоимости привлечения и юнит-экономике.
Запустили три изменения, результат приписан одному. Проверки наложились на один поток, и разделить вклад нечем. Разводите гипотезы по разным аудиториям или по времени; если развести нельзя, признайте, что проверяется пакет целиком, и не делайте выводов об отдельных элементах.
Список гипотез растёт, проверок не прибавляется. Нет владельца очереди и нет ограничения на число одновременных проверок. Ограничьте количество активных проверок числом, которое команда физически доводит до вывода, и держите остальное в отложенном списке с датой возврата — иначе список превращается в свалку идей и перестаёт читаться.
Пятая поломка встречается реже и стоит дороже: проверка остановлена раньше срока, потому что результат уже выглядел хорошим. Ранняя остановка систематически завышает эффект, и решение принимается по шуму. Срок и объём наблюдений фиксируются заранее вместе с порогом опровержения.
Границы: что проверить нельзя
Решения о позиции и рынке. Выбор сегмента и категории не имеет контрольной группы: нельзя разделить компанию надвое и дать половинам разные стратегии. Такие решения проверяются последствиями через годы, и называть их гипотезами в том же смысле — самообман.
Редкие сделки. При единичных продажах в месяц любое сравнение групп упирается в отсутствие наблюдений. Здесь работают разговоры и разбор каждой сделки поштучно, а не статистика.
Долгие эффекты. Изменения, влияющие на удержание и повторные покупки, проявляются через месяцы; проверка требует терпения, несовместимого с квартальным отчётом. Практический компромисс — фиксировать промежуточный сигнал и отдельно закрывать когорту позже; пример такой связки — в материале об онбординге.
Мелкие эффекты при малом потоке. Прирост, который нельзя отличить от колебаний за разумный срок, непроверяем на ваших объёмах. Это не повод отказываться от изменения, это повод не называть его проверенным.
Ситуации, где измеритель сломан. Пока источник данных не согласован и величины в разных отчётах расходятся, любая проверка измеряет качество учёта. Сначала дашборд с одним источником истины, потом гипотезы.
Спорное место
Всё написанное выше подталкивает к дисциплине, и у дисциплины есть цена, которую я не могу свести к нулю.
Требование записывать условие опровержения смещает работу в сторону проверяемого. Проверяемое — обычно мелкое: тексты, страницы, письма, шаги оформления. Крупные решения — сменить сегмент, отказаться от направления, переделать продукт — под такую процедуру не подходят, и команда, дисциплинированно проверяющая гипотезы, годами улучшает воронку внутри выбора, который никто не ставит под сомнение. Формально всё измеряется, фактически проверяется только то, что легко измерить.
Второе возражение против себя касается очереди по снимаемой неопределённости. Признак верный по смыслу и почти неоцениваемый на практике: чтобы оценить, сколько неопределённости снимает проверка, нужно уже понимать структуру собственных допущений. Компании, которая этого понимания не имеет, критерий бесполезен, и она вернётся к сортировке по ожидаемому эффекту — то есть по оптимизму автора. Единственное, что я готов предложить взамен, скромнее самого критерия: выписать три утверждения, на которых держится текущий план, и начать с них, даже если они кажутся очевидными.
Третья слабость общая для всей практики проверок. Подтверждённая гипотеза говорит о том, что сработало в конкретных условиях: при этом трафике, этом сезоне, этом составе аудитории. Перенос вывода на другие условия — уже новое допущение, которое обычно не записывают и не проверяют. Из-за этого накопленный список подтверждённых гипотез со временем начинает описывать компанию, которой уже нет. Разумная гигиена — датировать каждый вывод и раз в год перечитывать список, вычёркивая то, что проверялось при обстоятельствах, которых больше не существует.
Частые вопросы
Чем гипотеза отличается от задачи в плане работ?
Сколько гипотез проверять одновременно?
Что делать с гипотезой, которая не подтвердилась?
Как оценивать эффект, если продажи идут долго?
Кто должен формулировать гипотезы?