В 2020 году команда Kaspi.kz задумалась об инструменте продуктовой аналитики, чтобы лучше знать поведение пользователей в приложении и благодаря этому качественно его улучшать. Решили попробовать систему продуктовой аналитики Amplitude на бесплатном тарифе, но поняли, что этого недостаточно.
Тогда команда обратилась в digital-агентство полного цикла Adventum, являющееся эксклюзивным реселлером Amplitude в России и СНГ — за консультацией по платформе, ее возможностям и помощью с внедрением. Как именно данные из Amplitude помогают Kaspi.kz проверять гипотезы и на их основе повышать целевые метрики и делать продукт полезным для пользователей — читайте в кейсах о «Kaspi Gold для ребенка» и Kaspi Red.

Команда продуктовых аналитиков Kaspi.kz работает над тем, чтобы находить точки роста в продукте. Для этого они:

• отслеживают и анализируют продуктовые показатели;
• выдвигают гипотезы и проверяют их на данных;
• принимают решения о продуктовых изменениях на основе полученных данных.

Эти решения проверяются гипотезами, для проверки которых взяли за основу такой фреймворк:

Из этого фреймворка разработали собственный процесс для проверки гипотез, который состоит из 5 этапов:

Идею в команду продукта могут принести сотрудники из любой команды: от оператора call-центра до продакт-менеджера.
Валидация и оценка. Продуктовый аналитик считает, сколько пользы принесет новая идея, и помогает определить приоритет. Обычно пользу оценивают в деньгах, но также это могут быть следующие метрики:

• увеличение NPS;
• снижение количества звонков в call-центр;
• снижение числа пользователей, которые обращаются в отделения.

Если задача получает высокий приоритет – ее передают в дизайн, далее – в разработку. После чего запускается эксперимент.
Amplitude аналитики используют на этапах:

• создания идеи, так как многие гипотезы строятся на основе данных;
• валидации, где нужно провести количественный анализ;
• эксперимента, чтобы проверить эффективность гипотез.

Теперь рассмотрим на примере двух кейсов, как именно данные из Amplitude помогают Kaspi.kz запускать гипотезы и на их основе повышать целевые метрики.

К началу 2020 года в продукте увидели, что Kaspi Gold пользуются почти все взрослые жители Казахстана, и решили дополнительно охватить пользователей 10-15 лет с помощью нового продукта «Kaspi Gold для ребенка».
Родители оформляют эту карту своим детям, для этого им нужно сделать всего 4 шага:

• зайти на лендинг;
• выбрать ребенка (данные подтягиваются из государственных источников);
• ввести номер телефона ребенка;
• ввести код из смс.

После этого родитель должен распечатать карту.

«У нас все карты выпускаются в картоматах без помощи менеджера. Нужно только найти картомат, отсканировать QR-код через приложение, и за минуту карта будет готова».
Азиз Суфьянов, Senior Product Analyst Kaspi.kz

Продукт вышел в релиз, и аналитики Kaspi.kz с помощью Amplitude стали мониторить проблемы. Оказалось, что аномально выросло количество ошибок в процессе оформления «взрослой» карты Kaspi Gold. Из-за этого упала конверсия в открытие продукта.

Возник вопрос: почему после релиза «детской» карты стали возникать ошибки во “взрослом” продукте?

Аналитики разделили ошибки по причинам их возникновения и увидели, что многие из них остались на одном уровне, а ошибка «Отказ по возрасту» выросла.

С этой ошибкой сталкивались пользователи в возрасте 10–15 лет, которые хотели открыть «взрослую» карту самостоятельно, так как ее можно оформить только с 16 лет.
Предположили, что такое происходит из-за «сетевого эффекта». Дети видели карту у сверстников, скачивали приложение, по ошибке начинали оформлять «взрослую» карту и получали отказ из-за возраста.
Аналитики Kaspi.kz посмотрели в Amplitude, какому проценту этих детей родители все же в итоге открыли детскую карту. Оказалось, что только 21%. Предположили, что можно увеличить этот показатель.

Формирование идеи
В продукте понимали, что есть дети, которые хотят получить карту Kaspi Gold для ребенка. Не все из них просят об этом родителей и пытаются открыть карту сами, но получают отказ. Из этого предположили: если помогать детям рассказывать об этой карте родителям, то больше родителей ее откроют.
Сформулировали гипотезу: если мы поможем детям рассказать родителям, что они хотят открыть карту, то увеличим конверсию в открытие продукта на 10-15%.

Валидация и оценка
На этом этапе задают вопросы: почему мы должны проверить именно эту гипотезу? какой у нее потенциал и приоритет?
Чтобы ответить на них, используют фреймворк, похожий на RICE: оценивают текущую ситуацию и прогнозируют, что получат от реализации гипотезы.

Гипотеза получила 52 балла. На тот момент это была гипотеза с самой высокой оценкой, поэтому ее отправили в дизайн.

Дизайн решения
Для теста сделали 3 экрана:

Раньше в приложении детям при ошибке показывалось уведомление: «Тебе нельзя выпустить эту карту». Теперь есть подсказка, что нужно обратиться к родителю, и возможность отправить ему ссылку.
Гипотезу запустили в эксперимент и получили результаты:

В команде сделали вывод, что гипотеза успешная, и запустили ее на всех пользователей.

Kaspi Red — BNPL-продукт (buy now pay later). Это карта рассрочки с лимитом 250 000 тенге, каждая покупка делится на 3 платежа без переплаты.
Аналитики вместе с продакт-менеджером работали над снижением оттока. Оттоком в команде называют пользователей, которые закрыли Kaspi Red, после чего не могут пользоваться картой.
Аналитики построили график Retention и заметили, что примерно 27% пользователей после закрытия карты повторно подают заявку. При этом, 30% возвращаются в первый месяц:

«При работе с данными часто возникает проблема: мы видим, что и когда произошло, но иногда сложно понять, почему. Требуется соединить количественные исследования с качественными».
Азиз Суфьянов, Senior Product Analyst Kaspi.kz

Чтобы выяснить, почему клиенты отключаются, а потом хотят вернуться, UX-исследователи Kaspi.kz обзвонили таких пользователей. На основе их ответов команда провела глубинный анализ и выявила, что многие хотели понизить лимит.
Интересное наблюдение: в команде продукта всегда думали, что пользователи хотят сделать лимит как можно больше. Оказалось наоборот: некоторые хотят уменьшить его, чтобы снизить тягу к импульсивным покупкам.
Чтобы подтвердить данные исследования количественными данными, в приложение добавили экран, где уточняли причину закрытия карты.

В Amplitude увидели, что причину «Хочу открыть на меньший лимит» отмечает почти половина пользователей, но в Kaspi.kz эту возможность не давали.

Чтобы посмотреть, сколько возвращается пользователей, которые хотели уменьшить лимит, повторно построили график Retention:

Формирование идеи
В продукте поняли, что есть пользователи, которые хотят уменьшить лимит: они закрывают Kaspi Red и открывают его снова в надежде, что теперь им одобрят меньший лимит. Проблема в том, что не все, кто снова подает заявку, доходят до открытия, потому что им отказывают или предлагают еще больший лимит.
Сформулировали гипотезу: если мы предложим пользователям возможность уменьшить лимит в процессе закрытия, то сможем уменьшить отток пользователей на 5%.

Валидация и оценка

Гипотеза получила оценку в 35 баллов, и ее передали в дизайн.

Дизайн решения
В зависимости от причины закрытия пользователю предлагали разные решения. Например, пользователь выбирает «Открыть на меньший лимит», ему предлагают его уменьшить.

Гипотеза сработала, поэтому ее запустили на всех пользователей. При этом, команда продолжала тестировать формулировки, размеры лимитов, чтобы еще снизить отток.
«Мы решили, что лучше пользователи станут тратить меньше, чем перестанут пользоваться Kaspi Red совсем».
Азиз Суфьянов, Senior Product Analyst Kaspi.kz

Amplitude позволяет полностью выстроить продуктовую аналитику в компании:

• анализировать поведение пользователей и их предпочтения;
• на основе данных строить гипотезы и следить за их эффективностью;
• находить слабые места в воронке;
• строить кастомные воронки и отслеживать их конверсию.

В этом кейсе мы увидели, как продуктовая аналитика помогает подсвечивать самые неожиданные инсайты и на основе них делать продукт полезным для пользователей. А это помогает бизнесу расти и увеличивать продажи.