Как измерять видимость бренда в нейросетях и сравнивать замеры
Показатель видимости имеет смысл только вместе с вопросами, системами, датами и правилами подсчёта. В отчёте должно быть понятно, сколько ответов изучено, какой признак в них искали и какие проверки не удалось выполнить.
У каждой доли должны быть числитель и знаменатель
Для доли упоминаний считают ответы, в которых найдено название бренда, относительно указанного набора учтённых ответов. Для доли рекомендаций нужен отдельный признак: предлагает ли сервис выбрать или рассмотреть компанию. Эти показатели нельзя незаметно подменять друг другом.
Поясняйте границы рядом с числом. Если часть проверок не выполнена, это должно быть видно. Ошибка доступа, отказ от ответа и полученный ответ без бренда — разные состояния. Исследователь может отдельно анализировать отказы, но правила включения в каждый показатель нужно зафиксировать заранее.
Не смешивайте разные условия
Сначала смотрите результаты по сервисам, режимам и группам вопросов. Если в одной системе проверяли преимущественно брендовые вопросы, а в другой — выбор без названия компании, общий процент не позволяет честно определить, какая нейросеть «лучше знает» бренд.
Для региональных проверок сохраняйте город со слов участника и остальные условия. Разница ответов между городами может сопровождаться различиями времени, аккаунта или истории диалога. Поэтому наблюдаемую разницу не стоит сразу объяснять влиянием географии.
- Упоминания и рекомендации — разные признаки.
- Показанные источники — отдельный результат разбора.
- Вопросы без бренда и вопросы о бренде — отдельные группы.
- Отказы, ошибки и невыполненные проверки — отдельные статусы.
Повторный замер должен оставаться сопоставимым
Сохраните исходную панель вопросов, выбранные системы и режимы. Если появились новые темы, покажите их отдельно от прежней панели. Иначе изменение результата может отражать изменение состава исследования, а не изменение ответов на те же вопросы.
Измеренная доля ответов не равна доле покупателей, охвату людей или продажам. Переходы на сайт, обращения и сделки оценивают по собственным данным аналитики и CRM. В Userra таблица позволяет вернуться от показателя к наблюдениям, на которых он основан. Это полезно и для обсуждения результатов с руководителем, и для подготовки следующей проверки.