Просадка в отчёте: как отличить сбой сбора от реального падения

Первый вопрос звучит не так, как кажется

При виде провала на графике разбор обычно начинают с поиска виноватого канала. Это преждевременно. Сначала нужно ответить на вопрос, упало ли что-нибудь в реальности или упала только способность это измерять.

Разница принципиальна, потому что действия противоположны. Если посетителей действительно стало меньше, работают с причинами: спрос, конкуренция, позиции, бюджет. Если посетители на месте, а счётчик их не видит, любые действия по «возврату трафика» будут борьбой с призраком — и вдобавок испортят исторические данные, к которым потом придётся возвращаться.

Ответ даёт независимый источник — тот, который считает не тем же кодом. Годятся заявки и оплаты в учётной системе, показы и клики в панели вебмастера, статистика рекламного кабинета, число звонков, выручка за день. Если хотя бы два независимых источника не подтверждают падение, разбирать нужно сбор данных, а не маркетинг.

Именно поэтому в панель отчётности имеет смысл выводить не только визиты, но и что-то, посчитанное вне системы аналитики.

Три класса причин и как они выглядят на графике

Все просадки делятся на три группы, и форма графика подсказывает группу раньше, чем любой срез.

Последняя строка спасает больше времени, чем все остальные. При небольшом числе визитов дневные значения скачут сами по себе, и половина «просадок» на таких данных — не события, а разброс. Тот же эффект делает бессмысленными скоропалительные выводы в A/B-тестах.

Порядок проверки за один час

Последовательность идёт от самых частых причин к самым редким — так короче путь до ответа.

1. Журнал изменений за неделю до даты. Релизы, правки шаблонов, смена CMS, работы хостинга, изменения в рекламных кабинетах, новые настройки целей. Совпадение по дате объясняет большинство случаев за пять минут.
2. Исходный код страницы. Открыть ответ сервера и найти в нём код счётчика. Если кода нет — искать дальше не нужно, причина найдена. Проверять надо несколько типов страниц: главную, карточку, страницу благодарности.
3. Сверка с независимым источником. Число заявок за тот же период. Совпало падение — проблема реальная; не совпало — проблема в измерении.
4. Срез по источникам. Упало всё сразу или один канал. Падение всех источников одновременно почти всегда техническое: рынок не умеет синхронно отказываться от сайта.
5. Срез по страницам и устройствам. Локализация: один раздел, один тип устройств, одна страна. Локализованная просадка указывает на конкретную поломку, размазанная — на общую причину.
6. Проверка индексации. Если упал бесплатный поиск, смотреть, остались ли страницы в индексе и что показывают отчёты по ошибкам обхода.

Шаги 1 и 2 закрывают большую часть обращений. Смысл держать их первыми в том, что они самые дешёвые: они не требуют выгрузок и занимают минуты.

Что делать, когда падение реальное

Подтверждённая просадка разбирается по срезам, но с одним ограничением: срез показывает, где упало, и почти никогда — почему.

Первым сравнивается не «месяц к месяцу», а «период к тому же периоду год назад». Сравнение с предыдущим месяцем регулярно даёт ложную тревогу из-за разного числа выходных, праздников и просто длины месяца.

Дальше разделяются два вопроса: стало меньше спроса или стало меньше вашей доли в нём. Первое видно по общей динамике показов и по сезонности, второе — по позициям и по конкурентам. Ответы требуют разных решений, и путать их дорого: попытка нарастить бюджет при упавшем спросе поднимает стоимость контакта, не возвращая объём.

Отдельно проверяется структура трафика внутри канала. Иногда общий объём падает, а доля целевых визитов растёт — так бывает после чистки мусорных запросов или отключения слабых площадок. Такое падение улучшает экономику, и разглядеть его можно только в разрезе когорт или сегментов, а не в общем графике.

Журнал изменений — половина диагностики

Разбор просадки упирается не в инструменты, а в память. Через три недели никто не помнит, что во вторник поменяли шаблон карточки, а в среду подрядчик перенастроил кампанию. Восстановить это задним числом обычно нельзя.

Журнал решает задачу дешевле любого сервиса. Достаточно одного файла, куда записывают дату, что именно изменили и кто. Строки нужны короткие: «выкатили новую форму заявки», «отключили кампанию по общим запросам», «сменили хостинг», «переписали заголовки в каталоге». Ценность появляется на горизонте месяцев, когда график сопоставляется с записями и совпадение находится за минуту.

Отдельно стоит фиксировать изменения в самой аналитике: новые цели, изменённые условия срабатывания, фильтры, новые представления. Такие правки не влияют на бизнес вообще, но ломают сравнимость периодов — и именно они чаще всего выглядят как загадочная просадка конверсии без единой причины на стороне сайта.

Полезная привычка — помечать в отчётах периоды, признанные недостоверными. Через полгода никто не вспомнит, что в марте счётчик две недели не работал, и мартовские цифры честно уедут в презентацию как факт.

Границы метода

Разбор бессилен без истории изменений. Если никто не записывает, что и когда меняли, диагностика превращается в угадывание. Простейший текстовый журнал релизов и настроек экономит больше времени, чем любой инструмент.

Малые числа не диагностируются. При десятках визитов в день различить поломку и случайность невозможно до тех пор, пока падение не станет многократным. Ждать неприятно, но альтернатива — принимать решения по шуму.

Ретроспективно чинится не всё. Дни, когда данные не собирались, останутся пустыми навсегда. Восстановить их пересчётом нельзя, можно только пометить период как недостоверный, чтобы через полгода не строить на нём выводы.

Смена системы или настроек ломает сравнимость. После изменения правил учёта сессий или переезда на другую систему сравнивать «до» и «после» некорректно — расхождение будет и без всякого падения. Природа таких расхождений разобрана в сравнении двух систем аналитики.

Одновременных причин бывает несколько. Релиз, конец кампании и начало низкого сезона попадают в одну неделю чаще, чем хочется. Разделить их вклад по имеющимся данным обычно нельзя, и честный ответ звучит как «есть три кандидата», а не как один виноватый.

Спорное место

Порядок проверки выше построен на предположении, что причина одна и её можно найти. В практике аномалий значительная часть просадок так и остаётся без объяснения: журнал пуст, счётчик цел, заявки просели вместе с визитами, а рынок ничем не отличился. Через месяц показатели возвращаются сами.

Это неприятно, потому что от аналитики ждут ответа, а не признания неопределённости. Соблазн велик: назначить виноватым последнее заметное изменение и закрыть вопрос. Такое объяснение выглядит убедительно, ничего не стоит и почти всегда ошибочно — просто потому, что совпадение по времени не доказывает связи, а других доказательств в разборе просадки обычно нет.

Более честная позиция звучит скучно: отделить измеримое от неизвестного, зафиксировать проверенные версии, оставить остальное открытым. Ценность разбора не в том, чтобы всегда находить причину, а в том, чтобы не выдумывать её там, где данных для вывода не хватает — и не перестраивать работу вокруг вымышленной причины.

Частые вопросы

Источники

1. Временной ряд — Wikipedia
2. Google Search Console — Google