Что именно считается
Замер начинается с определения события, и от него зависит всё остальное. Событие здесь одно: домен появился в списке источников под ответом. Не «нас упомянули» и не «к нам пришли» — именно попадание в список ссылок, по которым ответ собран.
Соседние события существуют и считаются отдельными колонками: название компании в тексте ответа без ссылки и переход человека на сайт. Сложенные в одну строку, они дают показатель, который меняется по трём независимым причинам сразу и потому не читается ни по одной; как эти величины расходятся в аналитике, показано в материале про учёт трафика из нейросетей.
Как организовать само наблюдение — что записывать в каждом прогоне, каким должен быть список вопросов и почему его нельзя трогать — разобрано в материале про мониторинг упоминаний бренда. Эта страница про то, что начинается после: сколько прогонов нужно и какая разница в полученной доле вообще читается.
Что делает две волны сравнимыми
Сравнимость — не свойство данных, а следствие решений, принятых заранее. Нарушьте любое, и разница между волнами будет описывать вашу методику, а не положение дел.
| Что фиксируется | Что ломается, если не зафиксировать |
|---|---|
| Размер волны — число вопросов и число повторов | Итог зависит от объёма опроса, а не от положения дел |
| Периодичность — одинаковый интервал между волнами | Волны разной длины накапливают разное число событий |
| Платформа — отдельная колонка на каждую | Изменение в одной системе неотличимо от изменения в другой |
Первая строка — источник самой частой порчи замера. Абсолютное число цитирований привязано к объёму опроса: волна из двухсот вопросов даст его больше, чем волна из двадцати, даже если в мире ничего не изменилось. Поэтому единица результата — доля, а не число: сколько прогонов из общего количества закончились цитированием.
Одиннадцать мест на ответ меняют базу сравнения
Привычка считать шансы по первой десятке выдачи здесь мешает. Замер по 853 ответам даёт в среднем 11,2 цитируемых домена на один ответ — мест в источниках больше, чем позиций в органической десятке, при том что сам ответ короче страницы результатов.
Отсюда два следствия для замера, а не для оптимизации.
Первое: цель формулируется как вхождение в состав источников, а не как позиция. В списке источников нет первого места, есть присутствие или отсутствие, и показатель должен быть устроен так же — доля прогонов с присутствием, без ранжирования.
Второе, менее очевидное. В том же замере не встретилось ни одного запроса без источников. Значит, объяснение «по нашей теме ответы строятся без ссылок» проверено и не подтвердилось — по крайней мере в маркетинговой тематике и в одной поисковой системе. Отсутствие домена в источниках означает, что места заняты кем-то другим, и правильный следующий вопрос — кем именно. Состав соседей по ответу содержательнее собственной строки: он очерчивает круг, внутри которого система вас размещает, и по смыслу близок к доле голоса.
Оговорка обязательна: 11,2 — среднее по выборке, а не обещание одиннадцати мест в вашем ответе. Разброс замер не описывает, и в конкретной теме мест может быть заметно меньше. Правильное чтение — «мест обычно больше десяти», а не «их одиннадцать».
Сколько прогонов нужно, чтобы доля что-то значила
Ответ выводится арифметически и не требует ни статистики, ни допущений. Вес одного наблюдения равен единице, делённой на число прогонов в волне.
| Прогонов в волне | Вес одного наблюдения | Что из этого следует |
|---|---|---|
| 10 | 10 процентных пунктов | Различимы только очень крупные сдвиги |
| 20 | 5 пунктов | Разница меньше пяти пунктов не читается вовсе |
| 50 | 2 пункта | Заметны изменения от нескольких пунктов |
| 100 | 1 пункт | Один прогон перестаёт двигать картину |
| 200 | 0,5 пункта | Ограничением становится не размер волны, а трудозатраты |
Читать таблицу нужно как границу снизу, а не как достаточность. Она говорит, чего нельзя увидеть в принципе: при двадцати прогонах изменение с трёх присутствий до пяти — это два наблюдения, то есть ровно два минимальных шага шкалы, и назвать такой сдвиг ростом на две трети нельзя. Настоящий шум больше одного наблюдения, поэтому реальная различимая разница выше расчётной.
Второй вывод касается формы работы. Увеличивать волну можно двумя способами: добавлять вопросы или повторять один вопрос несколько раз. Это разные вещи. Больше вопросов расширяет охват тем и одновременно размывает сравнимость, потому что новые формулировки ведут себя иначе. Больше повторов одного вопроса уточняет долю по уже выбранным темам и ничего не добавляет к охвату. Для замера цитируемости обычно полезнее второе: устойчивая доля по двадцати вопросам говорит больше, чем однократный прогон двухсот.
Третий вывод неприятный: волна должна быть одинаковой. Сравнение доли из волны в двадцать прогонов с долей из волны в сто — сравнение двух шкал с разной ценой деления. Как обращаться с числами, у которых разная база, разобрано в методике замеров.
Как отличить сигнал от шума
Изменение доли между волнами объясняется четырьмя причинами, и только последняя из них — ваша работа.
Вариативность сборки. Один и тот же вопрос в один день даёт разный состав источников. Это устройство системы, а не событие. Лечится размером волны и накопленной долей за период, а не объяснениями.
Изменение состава выборки на стороне системы. Появился новый источник, старый выпал, изменились правила отбора. Наблюдением от предыдущей причины не отличается — обе выглядят как колебание доли.
Дрейф собственного списка. Формулировки переписали, добавили вопросы, часть убрали. Самая коварная причина, потому что она выглядит как улучшение методики и уничтожает сравнимость.
Изменение на вашей стороне. Появилась страница, переписан ответ в первом абзаце, закрыт или открыт доступ роботам. Единственная причина, ради которой замер и ставится, — и единственная, которую по одному замеру нельзя отделить от трёх остальных.
Разделяются они не внутри показателя, а рядом с ним. Помогают две вещи: журнал изменений на своей стороне с датами и колонка соседей по ответу. Если доля упала, а состав соседей не изменился — вероятнее ваша причина. Если сменились и соседи, и доля — вероятнее изменение выборки. Это не доказательство, а сужение версий, и честнее называть его именно так.
Доля скачет от волны к волне без видимых причин. Волна слишком мала, и одно наблюдение весит больше, чем разница, которую вы пытаетесь увидеть. Посчитайте вес наблюдения как единицу, делённую на число прогонов, и не обсуждайте сдвиги меньше этой величины.
Цитирований стало больше, а доля не выросла. Выросло число прогонов, а не присутствие. Верните базу к прежнему размеру или пересчитайте прошлые волны в доли — сравнивать абсолютные числа при разной базе нельзя.
В источниках есть домен, но ссылка ведёт не на вашу страницу. В ответ могла попасть сохранённая копия или соседний материал. Фиксируйте адрес целиком, а не домен: событие «процитирован сайт» и событие «процитирована нужная страница» различаются последствиями.
Замер идёт полгода, решений по нему не принято. Не назван порог: при каком значении доли вы что-то делаете и что именно. Назовите порог и действие до следующей волны: наблюдение без записанного порога продолжается бесконечно, а отчёт становится графиком ради графика.
Границы применимости
Замер даёт наблюдение, а не измерение, и его пределы стоит знать до того, как результат попадёт в отчёт.
- База — ваш список, а не мир. Доля считается от заданных вами вопросов и описывает вашу выборку, а не спрос. Это ошибка отбора по построению: расширение списка сдвигает границу, но не убирает её.
- Граница снизу не является достаточностью. Вес наблюдения говорит, чего увидеть нельзя, и молчит о том, чего хватает. Реальный разброс между волнами больше одного наблюдения, и насколько именно — из формулы не следует.
- Доли разных платформ не складываются. Машина со сносками и блок ответа в выдаче отбирают источники по-разному, и 20 % в одной не равны 20 % в другой; среднее по ним описывает пропорцию смешивания.
- Сужение версий — не доказательство. Журнал изменений и колонка соседей уменьшают список причин сдвига, но ни одну не подтверждают. Называть такой результат объяснением — переоценивать метод.
- Доля не переводится в деньги. Ни в визиты, ни в заявки эта величина не конвертируется, а коэффициент перевода вы придумаете сами. Переходы считаются отдельно — механика в материале про трафик из ассистентов.
- Замер не говорит, что делать. Между «доля упала» и конкретным действием лежит слой догадок; механика отбора источников разобрана в материале про попадание в ответы нейросетей.
Спорное место
Арифметика веса наблюдения выглядит надёжнее, чем она есть. Правило «единица, делённая на число прогонов» точно описывает, чего увидеть нельзя, и ничего не говорит о том, чего достаточно. Прочитать его как гарантию — «набрали сто прогонов, значит различаем изменения от одного пункта» — легко и неверно: реальный разброс между волнами больше одного наблюдения, а насколько больше, из самой формулы не выводится.
Проверяется это одним опытом, который почти никто не ставит: снять две волны подряд, ничего между ними не меняя, и посмотреть, насколько разошлись доли. Полученная величина и есть настоящая цена деления вашей шкалы — всё, что меньше, обсуждать бессмысленно. Опыт стоит одной лишней волны и заменяет любые рассуждения о достаточности, но делают его редко: он не даёт нового числа в отчёт, а только уменьшает доверие к уже собранным.
Второе сомнение — в самой цели. Доля прогонов с цитированием удобна тем, что считается, и этим же опасна: удобная величина вытесняет неудобные вопросы. Что именно сказано о компании, рекомендация это или перечисление в ряду других, точность или ошибка в описании — в процент не сворачивается и требует чтения текста руками. Замер, оставшийся без этой части, честно измеряет присутствие и незаметно подменяет им смысл. Что происходит с составом выдачи вокруг таких ответов, видно в разборе семи запросов, а порядок сборки регулярной отчётности — в материале про приборную панель. Держится ли этот состав во времени, проверено повторным съёмом тех же семи запросов: у части из них выдача одного дня расходилась сильнее, чем за месяц, — тот самый шум, который здесь отделяется от сигнала.