Разбор продуктовых метрик

Текст

---
name: metrics-review
description: Разбирает и анализирует продуктовые метрики: анализ динамики и выводы, по которым можно действовать. Используй при еженедельном, ежемесячном или квартальном разборе метрик, при расследовании внезапного скачка или падения, при сравнении показателей с целями или когда нужно превратить сырые цифры в карту показателей с рекомендуемыми действиями.
argument-hint: "<time period or metric focus>"
---

Разбор метрик

Если встретишь незнакомые подстановки или понадобится узнать, какие инструменты подключены, смотри [CONNECTORS.md](../../CONNECTORS.md).

Разберись в продуктовых метриках, выяви тренды и сформулируй выводы, по которым можно действовать.

Использование

/metrics-review $ARGUMENTS

Рабочий процесс

1. Собери данные по метрикам

Если подключена ~~product analytics:

• Подтяни ключевые продуктовые метрики за нужный период
• Получи данные для сравнения (предыдущий период, тот же период прошлого года, цели)
• Подтяни разбивку по сегментам, если она доступна

Если инструмент аналитики не подключён, попроси пользователя дать:

• Метрики и их значения (вставить таблицу, скриншот или описать)
• Данные для сравнения (предыдущий период, цели)
• Контекст недавних изменений (запуски, инциденты, сезонность)

Спроси пользователя:

• За какой период делать разбор? (прошлая неделя, прошлый месяц, прошлый квартал)
• На каких метриках сосредоточиться? Или разобрать весь набор продуктовых метрик?
• Есть ли конкретные цели, с которыми нужно сравнивать?
• Известны ли события, которые могут объяснить изменения (запуски, сбои, маркетинговые кампании, сезонность)?

2. Упорядочи метрики

Структурируй разбор по иерархии метрик: наверху ключевая метрика (North Star), затем индикаторы здоровья L1 (привлечение, активация, вовлечённость, удержание, выручка, удовлетворённость) и диагностические метрики L2 для детализации. Полные определения смотри ниже в разделе Иерархия продуктовых метрик.

Если у пользователя не определена иерархия метрик, помоги ему определить ключевую метрику (North Star) и основные метрики L1, прежде чем продолжать.

3. Проанализируй тренды

По каждой ключевой метрике:

• Текущее значение: чему равна метрика сегодня?
• Тренд: растёт, падает или стоит на месте по сравнению с предыдущим периодом? За какой отрезок времени?
• Относительно цели: как она соотносится с целью?
• Скорость изменения: тренд ускоряется или замедляется?
• Аномалии: есть ли внезапные изменения, скачки или падения?

Найди корреляции:

• Совпадают ли изменения одной метрики с изменениями другой?
• Есть ли опережающие индикаторы, которые предсказывают изменения запаздывающих метрик?
• Показывает ли разбивка по сегментам, что общий тренд определяется конкретной когортой?

4. Составь разбор

Резюме

2–3 предложения: общее здоровье продукта, самые заметные изменения, главное, на что стоит обратить внимание.

Карта показателей

Табличный формат для быстрого просмотра:

Анализ трендов

По каждой метрике, которую стоит обсудить:

• Что произошло и насколько значительно изменение
• Почему это, вероятно, произошло (причина по известным событиям, связанным метрикам, анализу сегментов)
• Это разовое событие или устойчивый тренд

Светлые пятна

Что идёт хорошо:

• Метрики, которые опережают цели
• Положительные тренды, которые нужно поддерживать
• Сегменты или функции с сильными показателями

Зоны беспокойства

Что требует внимания:

• Метрики, не достигающие целей или идущие вниз
• Ранние предупреждающие сигналы, пока они не стали проблемами
• Метрики, по которым нам не хватает видимости или понимания

Рекомендуемые действия

Конкретные следующие шаги на основе анализа:

• Расследования (глубже разобрать тревожный тренд)
• Эксперименты (проверить гипотезы о том, что могло бы улучшить метрику)
• Вложения (усилить то, что работает)
• Оповещения (внимательнее следить за метрикой)

Контекст и оговорки

• Известные проблемы с качеством данных
• События, влияющие на сопоставимость (сбои, праздники, запуски)
• Метрики, которые нам стоило бы отслеживать, но пока не отслеживаем

5. Дальнейшие шаги

После составления разбора:

• Спроси, нужно ли глубже изучить какую-то метрику
• Предложи подготовить спецификацию дашборда для постоянного мониторинга
• Предложи подготовить предложения по экспериментам для зон беспокойства
• Предложи настроить шаблон разбора метрик для регулярного использования

Иерархия продуктовых метрик

Ключевая метрика (North Star)

Единственная метрика, которая лучше всего отражает основную ценность, которую продукт даёт пользователям. Она должна быть:

• Согласована с ценностью: меняется, когда пользователи получают от продукта больше пользы
• Опережающей: предсказывает долгосрочный успех бизнеса (выручка, удержание)
• Управляемой: продуктовая команда может влиять на неё своей работой
• Понятной: каждый в компании понимает, что она значит и почему важна

Примеры по типам продуктов:

• Инструмент для совместной работы: недельное число активных команд, в которых участвуют 3 и более человек
• Маркетплейс: недельное число завершённых транзакций
• SaaS-платформа: недельное число активных пользователей, завершивших основной рабочий процесс
• Контент-платформа: недельное время активного чтения или просмотра
• Инструмент для разработчиков: недельное число развёртываний с использованием инструмента

Метрики L1 (индикаторы здоровья)

5–7 метрик, которые вместе рисуют полную картину здоровья продукта. Они соответствуют ключевым этапам жизненного цикла пользователя:

Привлечение: находят ли продукт новые пользователи?

• Новые регистрации или старты пробного периода (объём и тренд)
• Конверсия в регистрацию (посетители в регистрации)
• Набор каналов (откуда приходят новые пользователи)
• Стоимость привлечения (для платных каналов)

Активация: доходят ли новые пользователи до момента ценности?

• Доля активации: % новых пользователей, выполнивших ключевое действие, которое предсказывает удержание
• Время до активации: сколько проходит от регистрации до активации
• Доля завершивших настройку: % тех, кто прошёл шаги адаптации
• Первый момент ценности: когда пользователи впервые ощущают основную ценность продукта

Вовлечённость: получают ли активные пользователи пользу?

• DAU / WAU / MAU: активные пользователи за разные периоды
• Соотношение DAU/MAU (липкость): какая доля месячных пользователей возвращается ежедневно
• Частота основного действия: как часто пользователи делают самое важное
• Глубина сессии: сколько пользователи делают за одну сессию
• Освоение функций: % пользователей, использующих ключевые функции

Удержание: возвращаются ли пользователи?

• Удержание D1, D7, D30: % пользователей, вернувшихся через 1 день, 7 дней, 30 дней
• Кривые удержания по когортам: как удержание меняется для каждой когорты регистраций
• Доля оттока: % пользователей или выручки, потерянных за период
• Доля возвращений: % ушедших пользователей, которые вернулись

Монетизация: превращается ли ценность в выручку?

• Конверсия: из бесплатных в платные (для модели freemium)
• MRR / ARR: ежемесячная или годовая регулярная выручка
• ARPU / ARPA: средняя выручка на пользователя или клиента
• Выручка от расширения: рост выручки от существующих клиентов
• Чистое удержание выручки (net revenue retention): удержание выручки с учётом расширения и сокращения

Удовлетворённость: что пользователи думают о продукте?

• NPS: индекс потребительской лояльности (Net Promoter Score)
• CSAT: индекс удовлетворённости клиентов
• Число обращений в поддержку и время их решения
• Оценки в магазинах приложений и тональность отзывов

Метрики L2 (диагностические)

Детальные метрики, которые используются, чтобы разбираться в изменениях метрик L1:

• Конверсия воронки на каждом шаге
• Использование и освоение на уровне функций
• Разбивки по сегментам (по тарифу, размеру компании, географии, роли пользователя)
• Показатели производительности (время загрузки страницы, доля ошибок, задержка API)
• Вовлечённость по типам контента (какие функции, страницы или типы контента вовлекают лучше)

Распространённые продуктовые метрики

DAU / WAU / MAU

Что они измеряют: уникальных пользователей, которые совершают квалифицирующее действие за день, неделю или месяц.

Ключевые решения:

• Что считать «активным»? Вход? Просмотр страницы? Основное действие? Определи это тщательно — разные определения рассказывают разные истории.
• Какой период важнее всего? DAU — для продуктов ежедневного использования (мессенджеры, почта). WAU — для продуктов еженедельного использования (управление проектами). MAU — для менее частых продуктов (налоговые программы, бронирование поездок).

Как их использовать:

• Соотношение DAU/MAU (липкость): значения выше 0,5 говорят о ежедневной привычке. Ниже 0,2 — о редком использовании.
• Тренд важнее абсолютного числа. Растёт ли активное использование, стоит на месте или падает?
• Сегментируй по типу пользователей. Активные и случайные пользователи ведут себя совершенно по-разному.

Удержание

Что оно измеряет: из пользователей, начавших в периоде X, какой процент остаётся активным в периоде Y?

Распространённые периоды удержания:

• D1 (на следующий день): был ли первый опыт достаточно хорош, чтобы вернуться?
• D7 (через неделю): сформировал ли пользователь привычку?
• D30 (через месяц): удержан ли пользователь надолго?
• D90 (через три месяца): это устойчивый пользователь?

Как использовать удержание:

• Стройте кривые удержания по когортам. Ищи: резкое падение в начале (проблема активации), устойчивое снижение (проблема вовлечённости) или выход на плато (хорошо — у тебя есть стабильная удержанная база).
• Сравнивай когорты во времени. Удерживаются ли новые когорты лучше старых? Это значит, что улучшения продукта работают.
• Сегментируй удержание по поведению при активации. Пользователи, прошедшие адаптацию, и не прошедшие. Пользователи, которые использовали функцию X, и не использовавшие.

Конверсия

Что она измеряет: % пользователей, переходящих с одного этапа на следующий.

Распространённые конверсионные воронки:

• Посетитель в регистрацию
• Регистрация в активацию (ключевой момент ценности)
• Из бесплатных в платные (конверсия пробного периода)
• Из пробного периода в платную подписку
• С месячного на годовой тариф

Как использовать конверсию:

• Опиши всю воронку и измерь конверсию на каждом шаге
• Найди самые крупные точки потерь — это твои самые эффективные возможности для улучшения
• Сегментируй конверсию по источнику, тарифу, типу пользователя. Разные сегменты конвертируются очень по-разному.
• Отслеживай конверсию во времени. Улучшается ли она по мере доработки опыта?

Активация

Что она измеряет: % новых пользователей, которые доходят до момента, когда впервые ощущают основную ценность продукта.

Как определить активацию:

• Сравни удержанных и ушедших пользователей. Какие действия совершили удержанные, а ушедшие — нет?
• Событие активации должно сильно предсказывать долгосрочное удержание
• Его должно быть возможно достичь в первой сессии или в первые несколько дней
• Примеры: создал первый проект, пригласил коллегу, завершил первый рабочий процесс, подключил интеграцию

Как использовать активацию:

• Отслеживай долю активации для каждой когорты регистраций
• Измеряй время до активации — быстрее почти всегда лучше
• Строй потоки адаптации, которые ведут пользователей к моменту активации
• Проводи A/B-тесты потоков активации и оценивай влияние на удержание, а не только на долю активации

Рамки постановки целей

OKR (цели и ключевые результаты)

Цели (Objectives): качественные, вдохновляющие цели, описывающие, чего вы хотите добиться.

• Вдохновляющие и запоминающиеся
• Ограничены по времени (квартал или год)
• Задают направление, а не конкретную метрику

Ключевые результаты (Key Results): количественные измерители того, достигнута ли цель.

• Конкретные и измеримые
• Ограничены по времени и имеют чёткую цель
• Основаны на результате, а не на объёме выполненной работы
• 2–4 ключевых результата на одну цель

Пример:

Цель: сделать наш продукт незаменимым в ежедневных рабочих процессах

Ключевые результаты:
- Повысить соотношение DAU/MAU с 0,35 до 0,50
- Повысить удержание D30 для новых пользователей с 40% до 55%
- 3 основных рабочих процесса с долей выполнения задач >80%

Лучшие практики OKR

• Ставь амбициозные, но достижимые OKR. Для «растяжных» OKR целевой уровень выполнения — 70%.
• Ключевые результаты должны измерять итоги (поведение пользователей, бизнес-результаты), а не объём выполненной работы (выпущенные функции, завершённые задачи).
• Не заводи слишком много OKR. 2–3 цели по 2–4 ключевых результата хватит с запасом.
• OKR должны быть некомфортными. Если ты уверен, что достигнешь всех, они недостаточно амбициозны.
• Пересматривай OKR в середине периода. Перераспредели усилия, если какие-то ключевые результаты явно отстают.
• Честно оценивай OKR в конце периода. 0,0–0,3 = провал, 0,4–0,6 = прогресс, 0,7–1,0 = достигнуто.

Постановка целевых значений метрик

• Исходный уровень: чему равно текущее значение? Нужен надёжный исходный уровень, прежде чем ставить цель.
• Эталон: чего достигают сопоставимые продукты? Отраслевые эталоны дают контекст.
• Траектория: каков текущий тренд? Если метрика уже растёт на 5% в месяц, цель в 6% не амбициозна.
• Усилия: сколько вложений стоит за этим? Более крупные ставки оправдывают более амбициозные цели.
• Уверенность: насколько ты уверен в достижении цели? Задай «обязательство» (высокая уверенность) и «растяжку» (амбициозная цель).

Периодичность разбора метрик

Еженедельная проверка метрик

Цель: быстро замечать проблемы, следить за экспериментами, держать руку на пульсе здоровья продукта. Длительность: 15–30 минут. Участники: менеджер продукта, возможно, технический руководитель.

Что разбирать:

• Ключевая метрика (North Star): текущее значение, изменение к прошлой неделе
• Ключевые метрики L1: любые заметные движения
• Активные эксперименты: результаты и статистическая значимость
• Аномалии: любые неожиданные скачки или падения
• Оповещения: всё, что сработало в системе мониторинга

Действие: если что-то выглядит не так, расследуй. Иначе отметь и иди дальше.

Ежемесячный разбор метрик

Цель: более глубокий анализ трендов, прогресса по целям, стратегических выводов. Длительность: 30–60 минут. Участники: продуктовая команда, ключевые заинтересованные лица.

Что разбирать:

• Полная карта показателей L1 с трендами месяц к месяцу
• Прогресс относительно квартальных целей OKR
• Анализ когорт: показывают ли новые когорты результаты лучше?
• Освоение функций: как работают недавние запуски?
• Анализ сегментов: есть ли расхождения между сегментами пользователей?

Действие: определи 1–3 направления для расследования или вложений. Обнови приоритеты, если метрики открыли новую информацию.

Квартальный бизнес-обзор

Цель: стратегическая оценка эффективности продукта, постановка целей на следующий квартал. Длительность: 60–90 минут. Участники: продукт, разработка, дизайн, руководство.

Что разбирать:

• Оценка OKR за квартал
• Анализ трендов по всем метрикам L1 за квартал
• Сравнения год к году
• Конкурентный контекст: изменения рынка и ходы конкурентов
• Что сработало, а что нет

Действие: поставь OKR на следующий квартал. Скорректируй продуктовую стратегию по тому, что показывают данные.

Принципы проектирования дашбордов

Эффективные продуктовые дашборды

Хороший дашборд с первого взгляда отвечает на вопрос «Как дела у продукта?».

Принципы:

1. Начинай с вопроса, а не с данных. Какие решения поддерживает этот дашборд? Проектируй от решения.

1. Иерархия информации. Самая важная метрика должна быть самой заметной. Ключевая метрика (North Star) наверху, затем метрики L1, метрики L2 доступны при детализации.

1. Контекст важнее чисел. Число без контекста бессмысленно. Всегда показывай: текущее значение, сравнение (предыдущий период, цель, эталон), направление тренда.

1. Меньше метрик — больше понимания. Дашборд с 50 метриками никому не помогает. Сосредоточься на 5–10 важных. Всё остальное — в подробный отчёт.

1. Единые периоды времени. Используй один и тот же период для всех метрик на дашборде. Смешение дневных и месячных метрик создаёт путаницу.

1. Визуальные индикаторы статуса. Используй цвет, чтобы показать состояние с первого взгляда:
2. Зелёный: по плану или улучшается
3. Жёлтый: требует внимания или стоит на месте
4. Красный: вне плана или ухудшается

1. Применимость на практике. Каждая метрика на дашборде должна быть той, на которую команда может влиять. Если с ней нельзя ничего сделать, ей не место на продуктовом дашборде.

Макет дашборда

Верхняя строка: ключевая метрика (North Star) с линией тренда и целью.

Вторая строка: карта показателей L1 — текущее значение, изменение, цель, статус по каждой ключевой метрике.

Третья строка: ключевые воронки или метрики конверсии — наглядная воронка с потерями на каждом этапе.

Четвёртая строка: недавние эксперименты и запуски — активные A/B-тесты, недавно запущенные функции с ранними метриками.

Низ / детализация: метрики L2, разбивки по сегментам и подробные временные ряды для расследований.

Антипаттерны дашбордов

• «Показушные» метрики (vanity metrics): метрики, которые всегда растут, но не показывают здоровье (всего регистраций за всё время, всего просмотров страниц)
• Слишком много метрик: дашборды, которые нужно прокручивать. Если не помещается на один экран, сократи метрики.
• Нет сравнения: голые числа без контекста (текущее значение без предыдущего периода или цели)
• Устаревшие дашборды: метрики, которые не обновлялись и не разбирались месяцами
• Дашборды объёма работы: измеряют активность команды (закрытые тикеты, влитые изменения кода) вместо результатов для пользователей и бизнеса
• Один дашборд для всех аудиторий: руководителям, менеджерам продукта и инженерам нужны разные представления. Один размер не подходит всем.

Оповещения

Настраивай оповещения для метрик, которые требуют немедленного внимания:

• Пороговые оповещения: метрика падает ниже критического порога или поднимается выше него (доля ошибок > 1%, конверсия < 5%)
• Оповещения о тренде: метрика устойчиво снижается в течение нескольких дней или недель
• Оповещения об аномалиях: метрика значительно отклоняется от ожидаемого диапазона

Гигиена оповещений:

• Каждое оповещение должно подразумевать действие. Если ты ничего не можешь с этим сделать, не оповещай.
• Регулярно пересматривай и настраивай оповещения. При слишком большом числе ложных срабатываний люди начинают игнорировать все оповещения.
• Определи владельца каждого оповещения. Кто реагирует, когда оно срабатывает?
• Задай подходящие уровни серьёзности. Не всё — P0.

Формат результата

Для карты показателей используй таблицы. Используй понятные индикаторы статуса. Резюме делай сжатым — читатель должен уловить суть за 30 секунд.

Советы

• Начинай с «ну и что» — что самое важное в этом разборе метрик? С него и начинай.
• Абсолютные числа без контекста бесполезны. Всегда показывай сравнения (с предыдущим периодом, с целью, с эталоном).
• Осторожнее с определением причин. Корреляция — не причинность. Если метрика сдвинулась, признавай неопределённость в том, почему.
• Анализ сегментов часто показывает, что общая метрика скрывает важные различия. Ровное общее число может скрывать рост одного сегмента и сокращение другого.
• Не все движения метрик имеют значение. Небольшие колебания — шум. Сосредотачивай внимание на значимых изменениях.
• Если метрика не достигает цели, не просто сообщай о промахе — рекомендуй, что с этим делать.
• Разбор метрик должен вести к решениям. Если он не приводит хотя бы к одному действию, он был бесполезен.

Перевод: iiuniversitet. Оригинал: https://github.com/anthropics/knowledge-work-plugins/tree/main/product-management/skills/metrics-review, лицензия Apache-2.0. Изменения: перевод на русский язык.