🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Вставай, мы все уронили
Возвращаюсь после небольшого перерыва с полезным материалом. Нашла классный фреймворк от Элены Верны из Dropbox, который поможет быстро выявить причины падения какой-либо метрики и понять, нужно ли эскалировать проблему с метрикой или нет. И это как раз тот фреймворк, который поможет ответить на вопрос с собесов: “Ты открыл с утра дашборд, а там упала метрика, за которую ты отвечаешь. Что будешь делать?”
Разбираемся по следующему плану:
1. Возможна ли проблема с данными? Проверяем, если да — чиним аналитику.
2. Является ли падение статзначимым? Возможно, метрика сама по себе очень дисперсионная, и падение входит в доверительный интервал. Но продолжаем за ней наблюдать на случай, если падение превратится в нисходящий тренд.
3. Влияет ли сезонность? Сюда же отнесем крупные внешние политические и экономические события, праздники — все, что может менять поведение пользователей. Можно сравнить тренды с прошлогодними, чтобы понять, схожее ли у метрики поведение.
4. Был ли какой-то крупный релиз? Новая функциональность, A/B тесты — что-то могло уронить метрику, и это было упущено. Еще релиз мог повлечь появление багов, что также уронило метрику (именно поэтому всегда нужны контр-метрики!). Кроме того, поменять что-то в продукте могли не только вы, но и ваш партнер, чей продукт вы интегрировали в свой — важно тоже быть в курсе.
5. Изменился ли объем привлечения? Если да, оцениваем также, изменилась ли структура каналов привлечения — новый канал привлечения может хуже перформить, какой-то из старых каналов перестал использоваться. Во всех ли каналах одинаково просела метрика — где-то мог сломаться пользовательский путь вверху воронки.
6. Если нет, и это не связано с маркетингом — смотрим на когорты. Одинакова ли просадка по новым когортам пользователей? Если разница есть, можно сделать сегментацию: по гео / каналу / юзкейсу / устройству / браузеру, чтобы отловить, где конкретно проблема. Если разницы нет, то перепроверяем баги и релизы, а также внешние события.
Ну и еще помимо фреймворка пара советов:
📥Уточняйте все и возьмите время на анализ. Лучше узнать все детали, чтобы принять правильное решение по итогу и не продолжать ронять метрику.
📥Структурируйте. Можно нарисовать похожее дерево для себя для ответа на похожий вопрос, чтобы не упустить все возможные причины (это важно и в рабочей задаче, и на собеседовании). В коментах прикреплю иллюстрацию к дереву.
Есть что-то еще, на что обращаете внимание вы и добавили бы в эту схему?