Что именно спрашивает CSAT
CSAT задаёт один вопрос об одном событии: насколько вы довольны тем, что только что произошло. Событие — доставка, разговор с поддержкой, установка, возврат товара, первое использование. Ответ даётся по короткой шкале, к нему прикладывается открытое поле для причины.
Привязка к событию — единственное, что отличает CSAT от опросов вообще, и она же определяет его пользу. Ответ указывает на процесс. Если оценки проседают у обращений в поддержку и держатся у доставки, известно, куда идти. Общий вопрос об отношении к компании такого указания не даёт: он усредняет весь опыт, включая тот, что был полгода назад.
Второе свойство — скорость. Эпизод произошёл сегодня, оценка получена сегодня, изменение процесса отражается в оценках следующей недели. Показатели, спрашивающие об отношении в целом, реагируют с задержкой в месяцы, потому что отношение меняется медленнее, чем процессы.
Третье свойство неприятное: CSAT измеряет разрыв между ожиданием и полученным, а не качество само по себе. Один и тот же уровень сервиса получит разные оценки от клиентов с разными ожиданиями, и ожидания формируются вашей же рекламой. Просадка в оценках иногда означает не ухудшение работы, а расширение обещаний в объявлениях — проверять стоит обе версии.
Чем вопрос CSAT отличается от вопроса NPS
Разница между двумя показателями не в шкале и не в формуле, а в том, о чём спрашивают. Из этого следует всё остальное.
| Что сравнивается | CSAT | NPS |
|---|---|---|
| Предмет вопроса | Конкретный эпизод, только что случившийся | Отношение к компании в целом |
| К чему привязан ответ | К процессу, который можно починить | К накопленному опыту без указания места |
| Момент замера | Сразу после события | Периодически, вне связи с событием |
| Скорость реакции на изменения | Недели | Месяцы |
| Что ловит лучше | Сбой в конкретной точке обслуживания | Общий дрейф отношения и готовность рекомендовать |
| Чего не показывает | Останется ли клиент с вами вообще | Где именно сломалось |
Из таблицы следует практическое правило выбора. Если у вас есть процессы, которые могут сломаться без жалоб — курьер приехал не вовремя, поддержка ответила формально, инструкция не подошла, — начинайте с CSAT: он покажет адрес. Если процессы под контролем и нужен один индикатор отношения для отчёта, берите NPS и помните, что цифра сама по себе не действие.
Ошибка, которая случается почти у всех: два показателя ставят рядом и удивляются расхождению. Расхождение нормально и информативно. Высокий CSAT при низком NPS означает, что отдельные эпизоды проходят хорошо, а продукт или цена не устраивают. Обратное сочетание — что компанию любят, а какой-то процесс регулярно портит впечатление. Ни одна из комбинаций не является ошибкой замера. Смазать расхождение может сама анкета: если оба вопроса идут в ней друг за другом, ответ на первый подтягивает к себе второй, поэтому вопрос выбирают под решение, которое по нему примут, — по этому признаку NPS и CSAT и разведены.
Третий вопрос, который часто оказывается полезнее обоих, — про усилие: сколько сил пришлось потратить, чтобы решить задачу. Он ловит ту часть недовольства, которая не превращается ни в жалобу, ни в низкую оценку качества, а превращается в тихий уход; связь с уходом разобрана в материале об удержании клиентов.
Момент замера решает больше, чем формулировка
Вопрос, заданный не вовремя, измеряет не то, что предполагалось, и никакая формулировка это не исправит.
Правило: спрашивать после того, как результат получен, и до того, как впечатление стёрлось. Опрос сразу после оформления заказа измеряет удобство оформления — это законная задача, но к качеству товара она отношения не имеет. Опрос через две недели после доставки измеряет уже смесь из доставки, товара, поддержки и настроения.
Второе правило: одно событие — один вопрос. Соблазн добавить к оценке доставки ещё пять вопросов о компании понятен и разрушителен: длина опроса режет число ответов, а отвечать до конца остаются самые упорные, то есть самые довольные и самые злые. Форма из одного вопроса и одного открытого поля собирает ответы там, где форма из семи не собирает; техническая сторона — в материале о формах.
Третье — отбор адресатов. Спрашивать нужно всех, у кого произошло событие, а не тех, кого выбрал сотрудник. Ручной отбор гарантированно смещает выборку в сторону хорошего результата, и это происходит без злого умысла: человек естественным образом отправляет опрос туда, где уверен в ответе. Отправка должна идти по событию из CRM-системы, автоматически и без исключений — механику таких запусков разбирает материал об автоматизации работы с базой.
Отдельно про новых клиентов. Первый замер логично ставить в точке первого полученного результата, а не в день оплаты: до результата человеку нечего оценивать, кроме собственных надежд. Как определяется эта точка — в материале об онбординге.
Как считают показатель и что теряется при счёте
Два распространённых способа счёта дают разные числа из одних данных, и путать их нельзя.
Первый — доля верхних оценок. Из ста ответов по пятибалльной шкале: сорок пятёрок, тридцать четвёрок, пятнадцать троек, десять двоек, пять единиц. Доля оценок 4 и 5 составляет 70 %. Это и есть CSAT в наиболее употребимом виде.
Второй — среднее. По тем же данным: (40×5 + 30×4 + 15×3 + 10×2 + 5×1) / 100 = 390 / 100 = 3,9 из 5. В процентах от максимума это 78 % — на восемь пунктов выше первого способа.
Расхождение возникает потому, что среднее переносит вес недовольных на довольных, и наоборот. При этом пятнадцать человек из ста поставили 1 или 2 — то есть каждый седьмой эпизод закончился плохо, и в цифре 3,9 этого не видно вовсе. Правило простое: считайте долю верхних оценок как основной показатель, а долю нижних держите рядом как отдельное число. Среднее по шкале удобно для графика и бесполезно для решения.
Что теряется при любом способе счёта — причина. Ни одна цифра не объясняет, почему поставили тройку, и восстановить объяснение из динамики нельзя. Единственный источник — открытое поле рядом с оценкой; работа с CSAT на девяносто процентов состоит из чтения этого поля и группировки ответов по повторяющимся темам. Отраслевых норм для сравнения я здесь не привожу сознательно: они считаются по разным шкалам, разным моментам замера и разной доле ответивших, а значит, сопоставлять с ними своё число бессмысленно. Единственная корректная база сравнения — ваш собственный предыдущий период при неизменной методике.
Что ломает измерение
Показатель месяцами стоит на месте, хотя процессы менялись. Считается среднее по шкале, которое малочувствительно к сдвигам на краях распределения. Перейдите на долю верхних оценок и добавьте отдельной строкой долю нижних; движение обычно обнаруживается сразу, причём в разные стороны.
Оценки высокие, а клиенты уходят. Отвечают преимущественно довольные — недовольный чаще молча закрывает письмо. Сопоставьте долю ответивших с долей получивших опрос и посмотрите на долю ушедших отдельно среди ответивших и среди молчавших; если вторая группа уходит заметно чаще, показатель описывает не базу, а её лояльную часть.
Резкий скачок показателя без изменений в работе. Сменилась шкала, формулировка, момент отправки или канал — любое из четырёх делает периоды несравнимыми. Верните прежние условия или проведите обе версии параллельно на случайных группах, как в A/B-тестах, и только потом переключайтесь.
Сотрудники просят поставить пятёрку. Показатель привязан к премии, и его начали улучшать напрямую, минуя качество работы. Уберите оценку из личной мотивации, оставьте её в диагностике; премируйте за устранение причин, попадающих в открытые поля, — это единственная часть, которую нельзя подделать просьбой.
Пятая поломка не имеет симптома: собранные оценки никто не читает. Показатель считается, попадает в отчёт и не приводит ни к одному изменению процесса. Формально измерение работает, фактически его нет, и обнаруживается это только вопросом «что мы поменяли за квартал по результатам опросов».
Границы: где CSAT не отвечает на вопрос
Он не предсказывает уход. Довольный эпизодом клиент может уйти по цене, из-за переезда или потому, что задача исчезла. Связь оценки с удержанием нужно проверять на своих данных когортами, а не предполагать.
Он не работает без события. Продукт, который используется молча и не создаёт эпизодов взаимодействия, нечего оценивать по CSAT. Здесь остаются поведенческие признаки и прямые интервью.
Он смещён к недавнему. Оценка отражает последний эпизод сильнее, чем весь опыт. Для решения о процессе это плюс, для суждения об отношении к компании — минус.
Он не заменяет публичные отзывы. Внутренняя оценка видна вам, а решение будущего клиента формируют оценки на внешних площадках; это разные потоки, и один не подменяет другой — про сбор и ответы материалы о работе с отзывами и ответах на них.
Он бесполезен при малом числе событий. Десяток ответов в месяц не образует показателя: любое колебание объясняется составом отвечавших. Тогда честнее читать ответы поштучно и не строить график вовсе.
Спорное место
Я утверждаю, что CSAT практичнее NPS, потому что указывает на место поломки. Здесь есть слабость, которую стоит назвать прямо.
CSAT привязан к тем эпизодам, которые вы догадались измерить. Точки контакта, о существовании которых компания не подозревает, — неудачная страница оплаты, невразумительное письмо, ожидание ответа в мессенджере — не попадают в замер, и показатель по всем измеряемым эпизодам остаётся высоким при растущем недовольстве. Общий вопрос об отношении к компании этой слепоты лишён: он собирает всё, включая неизвестное. Получается парадокс — менее точный инструмент видит шире.
Второе возражение против себя касается механики улучшения. Оптимизируя процессы по CSAT, вы двигаетесь к продукту, который не раздражает. Это не то же самое, что продукт, который выбирают. Отсутствие раздражения удерживает, но не создаёт предпочтения, и компания с идеальными оценками по каждому эпизоду вполне может проигрывать конкуренту, который местами неудобен, но нужнее. Ни один индекс удовлетворённости этого не покажет, потому что спрашивает только своих клиентов и никогда — тех, кто выбрал другого.
Практический вывод из обеих оговорок такой: держать CSAT как инструмент диагностики процессов и не позволять ему становиться главным числом компании. Рядом обязаны стоять величины, измеряющие поведение, а не мнение, — повторные покупки, удержание когорт, доля вернувшихся после паузы. Мнение подсказывает, где искать; решение принимается по действиям.
Частые вопросы
Какая шкала лучше для CSAT — пятибалльная или десятибалльная?
CSAT или NPS — что внедрять первым?
Что делать с низкой оценкой сразу после её получения?
Сколько ответов нужно, чтобы показателю можно было верить?
Стоит ли показывать CSAT в мотивации сотрудников?
Источники
- Customer satisfaction — Wikipedia
- Net promoter score — Wikipedia