Это уже четвертая часть спецпроекта Product Analytics Champions: Лига Ставок. На этот раз разбираемся, почему ошибки в продукте — это нормально, как продуктовая аналитика ускоряет их исправление и как с внедрением Amplitude в Лиге Ставок изменили подход к работе с багами на примере 3 коротких кейсов.

Разрабатывают ли продукт десятки разработчиков или несколько энтузиастов — ошибок скорее всего не получится избежать.

При этом пропущенные креши, некорректные ссылки, проблемы с версткой могут влиять не только на снижение продаж, но и отразится на репутации бренда и привести к негативным отзывам.

Лояльные пользователи могут написать в поддержку и помочь с решением проблемы, но надеяться только на это не стоит.

Если все ошибки исправить не получается, то можно снизить эффект от них через мониторинг стабильности продукта в режиме реального времени. И Amplitude как система продуктовой аналитики позволяет сделать из оперативного отслеживания неполадок конкурентное преимущество.

Давайте посмотрим на примере Лиги Ставок, как Amplitude меняет работу с багами, позволяет быстрее находить их и в результате повышать лояльность клиентов.

Раньше на сайте и в приложении Лиги Ставок собирали данные об ошибках в системах PowerBI, Splunk/Grafana. У такого технического мониторинга было сразу несколько недостатков:

• данные поступали с задержкой;
• ошибки отображались без детальной информации о пользователе и контексте;
• отражались только серверные ошибки;
• для работы с данными нужно разбираться в программировании.

По сути, в этих системах аналитики могли увидеть только количество схожих ошибок. А чтобы их проанализировать, нужно было подключать разработчиков. Как нам уже известно по кейсу о внедрении Amplitude, это могло занимать недели. Так решение ошибок значительно усложнялось и затягивалось.

Во время внедрения Amplitude аналитики Лиги Ставок c помощью коллег из Adventum вместе с разметкой основных воронок сразу настроили и мониторинг ошибок.

Благодаря этому в букмекерской компании произошел переход от технического мониторинга к продуктовому: у любого сотрудника появилась возможность анализировать ошибки в контексте пользовательского пути и в режиме реального времени.

При появлении ошибки можно посмотреть:

1️⃣ Параметры пользователя, столкнувшегося с ошибкой — версия приложения, устройство, и т.д.

2️⃣ Параметры ошибки — вид ошибки, идентификационный номер и т.д.

3️⃣ Контекст ошибки — на каком экране или после какого действия она произошла.

Чтобы контролировать ошибки в продукте, создали дашборды, где показано отношение успешных конверсий по основных воронкам к неуспешным: можно увидеть, с какими проблемами сталкивается клиент во время прохождения, в каком месте и в какое время.

Если случаются какие-либо аномалии в данных, сотрудник может быстро проанализировать, в чем причина, воспроизвести и оперативно исправить ошибку.

Рассмотрим несколько примеров из опыта Лиги Ставок.

До внедрения Amplitude у команды Лиги Ставок была только обрывочная информация об ошибках на фронтенде, так как в сторонних системах собирались только серверные неполадки.

Иногда пользователи делали скриншоты и отправляли в поддержку, но этого было недостаточно для оценки масштаба проблемы и исправления всех моментов.

С внедрением Amplitude в Лиге Ставок узнали о целом ряде ошибок на стороне пользователей. В большинстве своем это были уведомления о совершенном (или несовершенном) действии с некорректным текстом. То есть клиент не мог сам понять, что пошло не так.

Команда Лиги смогли выявить все такие ошибки и оперативно поправить, чтобы сделать взаимодействие пользователя с продуктом прозрачнее и в целом улучшить пользовательский опыт.

После этого команда заметила снижение нагрузки на поддержку продукта и рост лояльности клиента.

Этап регистрации и верификации в Лиге Ставок строится по большой воронке: пользователю нужно заполнить анкету в несколько страниц, добавить документы, дождаться валидации и пройти еще много шагов, чтобы в итоге сделать ставку.

Как и в любой воронке Лиге Ставок важно удержать как можно больше пользователей на каждом из этапов. Поэтому в компании есть отдельная команда по направлению регистрации и верификации, которая использует данные из Amplitude для поиска и оптимизации узких мест в пути пользователя к созданию аккаунта.

К декабрю 2020 в Amplitude набралось достаточно данных по воронке, чтобы считать их репрезентативными, и именно тогда обнаружились первые узкие места.

Благодаря Amplitude аналитики Лиги Ставок увидели, что конверсия падает уже на первых этапах воронки: по их гипотезе, это происходило из-за проблем в UX/UI части.

Во-первых, на первом экране было большое количество полей и при это в некоторых из них не хватало место для ввода всей информации.

Во-вторых, обнаружилась ошибка на этапе создания пароля — требования были слишком высокими. Это приводило к серьезному оттоку пользователей.

Показатели воронки регистрации до оптимизации:

На скриншоте из раздела Pathfinder видно, что 29,3% из 50% незавершивших регистрацию пользователей уходили как раз на этапе создания пароля.

После анализа воронки в Лиге Ставок запустили серию экспериментов:

1️⃣ Разбили форму регистрации на несколько экранов.

2️⃣ Снизили требования к паролю.

В эксперименте участвовала когорта пользователей мобильных приложений, пришедших из органики. Также было введено ограничение на прохождение воронки — оценивались 3 дня после первого события .

Вот как изменилась воронка после оптимизации этапов регистрации:

Вот как сократился отток пользователей на этапе генерации пароля:

На этом оптимизация воронки регистрации и верификации только началась. О других итерациях и их результатах мы расскажем в следующих материалах. Подписывайтесь на обновления спецпроекта, чтобы ничего не пропустить.

Чтобы вывести деньги из Лиги Ставок, клиенту нужно зарегистрироваться. При этом лимит на вывод денег зависит от степени верификации пользователя.

Почему это влияет на вывод денег: Лига Ставок работает через центр учета букмекерских контор ЦУПИС, который на момент создания заявки на вывод денег сам решает, может клиент совершить операцию или нет. Если центр отклоняет запрос на вывод денег, до бекенда Лиги Ставок не доходит эта информация, а на экране пользователя через API отображается ошибка.

Так появилась ситуация, когда пользователь не может вывести свои средства и не понимает почему. Из-за этой проблемы теряли 10% успешных депозиторов:

С помощью дашбордов Amplitude в Лиге Ставок стали в реальном времени видеть клиентов, у которых превышен лимит и по какой причине это произошло.

Доступ к дашборду открыли сотрудникам call-центра. Теперь, если пользователь сталкивается с проблемой вывода денег больше одного раза, ему звонит сотрудник Лиги Ставок и помогает разрешить ситуацию.

С помощью этого подхода в компании сократили потерю успешных депозиторов до 5,79%:

С внедрением Amplitude в Лиге Ставок произошел переход от технического мониторинга ошибок к продуктовому. Теперь любые неполадки в продукте и в пользовательском опыте мгновенно отображаются в доступных дашбордах.

Ошибка также перестали быть обособленной информацией, теперь они — часть продуктовой аналитики. Можно посмотреть, кто именно столкнулся с багом, с каким именно и в каком разделе продукта.

Вместе оперативность и полнота данных позволяют быстро определять и исправлять проблемные места в сервисе.

В следующих частях мы расскажем, какие еще проблемы Лиги Ставок помогла решить Amplitude. А если вы еще не видели первый кейс о том, почему в Лиге Ставок решили купить Amplitude, можете прочитать его прямо сейчас.