Что именно считается
Замер начинается с определения события, и от него зависит всё остальное. Событие здесь одно: домен появился в списке источников под ответом. Не «нас упомянули» и не «к нам пришли» — именно попадание в список ссылок, по которым ответ собран.
Соседние события существуют и считаются отдельными колонками: название компании в тексте ответа без ссылки и переход человека на сайт. Сложенные в одну строку, они дают показатель, который меняется по трём независимым причинам сразу и потому не читается ни по одной; как эти величины расходятся в аналитике, показано в материале про учёт трафика из нейросетей.
Как организовать само наблюдение — что записывать в каждом прогоне, каким должен быть список вопросов и почему его нельзя трогать — разобрано в материале про мониторинг упоминаний бренда. Эта страница про то, что начинается после: сколько прогонов нужно и какая разница в полученной доле вообще читается.
Что делает две волны сравнимыми
Сравнимость — не свойство данных, а следствие решений, принятых заранее. Нарушьте любое, и разница между волнами будет описывать вашу методику, а не положение дел.
| Что фиксируется | Что ломается, если не зафиксировать |
|---|---|
| Размер волны — число вопросов и число повторов | Итог зависит от объёма опроса, а не от положения дел |
| Периодичность — одинаковый интервал между волнами | Волны разной длины накапливают разное число событий |
| Платформа — отдельная колонка на каждую | Изменение в одной системе неотличимо от изменения в другой |
Первая строка — источник самой частой порчи замера. Абсолютное число цитирований привязано к объёму опроса: волна из двухсот вопросов даст его больше, чем волна из двадцати, даже если в мире ничего не изменилось. Поэтому единица результата — доля, а не число: сколько прогонов из общего количества закончились цитированием.
Одиннадцать мест на ответ меняют базу сравнения
Привычка считать шансы по первой десятке выдачи здесь мешает. Замер по 853 ответам даёт в среднем 11,2 цитируемых домена на один ответ — мест в источниках больше, чем позиций в органической десятке, при том что сам ответ короче страницы результатов.
Отсюда два следствия для замера, а не для оптимизации.
Первое: цель формулируется как вхождение в состав источников, а не как позиция. В списке источников нет первого места, есть присутствие или отсутствие, и показатель должен быть устроен так же — доля прогонов с присутствием, без ранжирования.
Второе, менее очевидное. В том же замере не встретилось ни одного запроса без источников. Значит, объяснение «по нашей теме ответы строятся без ссылок» проверено и не подтвердилось — по крайней мере в маркетинговой тематике и в одной поисковой системе. Отсутствие домена в источниках означает, что места заняты кем-то другим, и правильный следующий вопрос — кем именно. Состав соседей по ответу содержательнее собственной строки: он очерчивает круг, внутри которого система вас размещает, и по смыслу близок к доле голоса.
Оговорка обязательна: 11,2 — среднее по выборке, а не обещание одиннадцати мест в вашем ответе. Разброс замер не описывает, и в конкретной теме мест может быть заметно меньше. Правильное чтение — «мест обычно больше десяти», а не «их одиннадцать».
Сколько прогонов нужно, чтобы доля что-то значила
Ответ выводится арифметически и не требует ни статистики, ни допущений. Вес одного наблюдения равен единице, делённой на число прогонов в волне.
| Прогонов в волне | Вес одного наблюдения | Что из этого следует |
|---|---|---|
| 10 | 10 процентных пунктов | Различимы только очень крупные сдвиги |
| 20 | 5 пунктов | Разница меньше пяти пунктов не читается вовсе |
| 50 | 2 пункта | Заметны изменения от нескольких пунктов |
| 100 | 1 пункт | Один прогон перестаёт двигать картину |
| 200 | 0,5 пункта | Ограничением становится не размер волны, а трудозатраты |
Читать таблицу нужно как границу снизу, а не как достаточность. Она говорит, чего нельзя увидеть в принципе: при двадцати прогонах изменение с трёх присутствий до пяти — это два наблюдения, то есть ровно два минимальных шага шкалы, и назвать такой сдвиг ростом на две трети нельзя. Настоящий шум больше одного наблюдения, поэтому реальная различимая разница выше расчётной.
Второй вывод касается формы работы. Увеличивать волну можно двумя способами: добавлять вопросы или повторять один вопрос несколько раз. Это разные вещи. Больше вопросов расширяет охват тем и одновременно размывает сравнимость, потому что новые формулировки ведут себя иначе. Больше повторов одного вопроса уточняет долю по уже выбранным темам и ничего не добавляет к охвату. Для замера цитируемости обычно полезнее второе: устойчивая доля по двадцати вопросам говорит больше, чем однократный прогон двухсот.
Третий вывод неприятный: волна должна быть одинаковой. Сравнение доли из волны в двадцать прогонов с долей из волны в сто — сравнение двух шкал с разной ценой деления. Как обращаться с числами, у которых разная база, разобрано в методике замеров.
Как отличить сигнал от шума
Изменение доли между волнами объясняется четырьмя причинами, и только последняя из них — ваша работа.
Вариативность сборки. Один и тот же вопрос в один день даёт разный состав источников. Это устройство системы, а не событие. Лечится размером волны и накопленной долей за период, а не объяснениями.
Изменение состава выборки на стороне системы. Появился новый источник, старый выпал, изменились правила отбора. Наблюдением от предыдущей причины не отличается — обе выглядят как колебание доли.
Дрейф собственного списка. Формулировки переписали, добавили вопросы, часть убрали. Самая коварная причина, потому что она выглядит как улучшение методики и уничтожает сравнимость.
Изменение на вашей стороне. Появилась страница, переписан ответ в первом абзаце, закрыт или открыт доступ роботам. Единственная причина, ради которой замер и ставится, — и единственная, которую по одному замеру нельзя отделить от трёх остальных.
Разделяются они не внутри показателя, а рядом с ним. Помогают две вещи: журнал изменений на своей стороне с датами и колонка соседей по ответу. Если доля упала, а состав соседей не изменился — вероятнее ваша причина. Если сменились и соседи, и доля — вероятнее изменение выборки. Это не доказательство, а сужение версий, и честнее называть его именно так.
Доля скачет от волны к волне без видимых причин. Волна слишком мала, и одно наблюдение весит больше, чем разница, которую вы пытаетесь увидеть. Посчитайте вес наблюдения как единицу, делённую на число прогонов, и не обсуждайте сдвиги меньше этой величины.
Цитирований стало больше, а доля не выросла. Выросло число прогонов, а не присутствие. Верните базу к прежнему размеру или пересчитайте прошлые волны в доли — сравнивать абсолютные числа при разной базе нельзя.
В источниках есть домен, но ссылка ведёт не на вашу страницу. В ответ могла попасть сохранённая копия или соседний материал. Фиксируйте адрес целиком, а не домен: событие «процитирован сайт» и событие «процитирована нужная страница» различаются последствиями.
Замер идёт полгода, решений по нему не принято. Не назван порог: при каком значении доли вы что-то делаете и что именно. Назовите порог и действие до следующей волны: наблюдение без записанного порога продолжается бесконечно, а отчёт становится графиком ради графика.
Границы применимости
Замер даёт наблюдение, а не измерение, и его пределы стоит знать до того, как результат попадёт в отчёт.
- База — ваш список, а не мир. Доля считается от заданных вами вопросов и описывает вашу выборку, а не спрос. Это ошибка отбора по построению: расширение списка сдвигает границу, но не убирает её.
- Граница снизу не является достаточностью. Вес наблюдения говорит, чего увидеть нельзя, и молчит о том, чего хватает. Реальный разброс между волнами больше одного наблюдения, и насколько именно — из формулы не следует.
- Доли разных платформ не складываются. Машина со сносками и блок ответа в выдаче отбирают источники по-разному, и 20 % в одной не равны 20 % в другой; среднее по ним описывает пропорцию смешивания.
- Сужение версий — не доказательство. Журнал изменений и колонка соседей уменьшают список причин сдвига, но ни одну не подтверждают. Называть такой результат объяснением — переоценивать метод.
- Доля не переводится в деньги. Ни в визиты, ни в заявки эта величина не конвертируется, а коэффициент перевода вы придумаете сами. Переходы считаются отдельно — механика в материале про трафик из ассистентов.
- Замер не говорит, что делать. Между «доля упала» и конкретным действием лежит слой догадок; механика отбора источников разобрана в материале про попадание в ответы нейросетей.
Спорное место
Арифметика веса наблюдения выглядит надёжнее, чем она есть. Правило «единица, делённая на число прогонов» точно описывает, чего увидеть нельзя, и ничего не говорит о том, чего достаточно. Прочитать его как гарантию — «набрали сто прогонов, значит различаем изменения от одного пункта» — легко и неверно: реальный разброс между волнами больше одного наблюдения, а насколько больше, из самой формулы не выводится.
Проверяется это одним опытом, который почти никто не ставит: снять две волны подряд, ничего между ними не меняя, и посмотреть, насколько разошлись доли. Полученная величина и есть настоящая цена деления вашей шкалы — всё, что меньше, обсуждать бессмысленно. Опыт стоит одной лишней волны и заменяет любые рассуждения о достаточности, но делают его редко: он не даёт нового числа в отчёт, а только уменьшает доверие к уже собранным.
Второе сомнение — в самой цели. Доля прогонов с цитированием удобна тем, что считается, и этим же опасна: удобная величина вытесняет неудобные вопросы. Что именно сказано о компании, рекомендация это или перечисление в ряду других, точность или ошибка в описании — в процент не сворачивается и требует чтения текста руками. Замер, оставшийся без этой части, честно измеряет присутствие и незаметно подменяет им смысл. Что происходит с составом выдачи вокруг таких ответов, видно в разборе семи запросов, а порядок сборки регулярной отчётности — в материале про приборную панель. Держится ли этот состав во времени, проверено повторным съёмом тех же семи запросов: у части из них выдача одного дня расходилась сильнее, чем за месяц, — тот самый шум, который здесь отделяется от сигнала.
Частые вопросы
Чем цитирование отличается от упоминания?
Сколько прогонов нужно, чтобы результату можно было верить?
Почему нельзя просто считать число цитирований?
Можно ли усреднять результат по разным платформам?
Что делать, если домен не цитируется вовсе?