Как в Утконос ОНЛАЙН анализировали A/B-тесты
с помощью Amplitude
и увеличили средний чек на 13,6%
7 февраля 2022
Как команде продукта проверить идеи, если их несколько и хочется реализовать все? Провести A/B-тест. Это метод протестировать гипотезы на пользователях, а по результатам теста запустить в релиз вариант-победитель.
Продукт разрабатывается для юзеров, поэтому самый верный вариант протестировать обновления — понаблюдать за их реакцией. Так и сделала команда онлайн-магазина Утконос ОНЛАЙН.
В этом кейсе:
1. Как команда Утконос ОНЛАЙН с помощью агентства Adventum внедрила Amplitude;
2. Как устроены А/В-тесты в Утконос ОНЛАЙН;
3. Как тестировали новую версию блока «Возможно, вы забыли заказать»;
4. Кейс с редизайном главной страницы приложения.
Продукт разрабатывается для юзеров, поэтому самый верный вариант протестировать обновления — понаблюдать за их реакцией. Так и сделала команда онлайн-магазина Утконос ОНЛАЙН.
В этом кейсе:
1. Как команда Утконос ОНЛАЙН с помощью агентства Adventum внедрила Amplitude;
2. Как устроены А/В-тесты в Утконос ОНЛАЙН;
3. Как тестировали новую версию блока «Возможно, вы забыли заказать»;
4. Кейс с редизайном главной страницы приложения.
Клиент
Утконос ОНЛАЙН — один из крупнейших онлайн-магазинов на российском рынке e-grocery. Компания основана в 2000 году и входит в инвестиционную группу «Севергрупп». По итогам 2020 года доля продуктов питания от всего оборота онлайн-продаж компании составила 18%, что позволило занять лидирующую позицию на рынке e-grocery Московского региона.
В онлайн-магазине более 970 000 позиций товаров. Заказать товары можно на сайте и через мобильное приложение Утконос ОНЛАЙН.
В онлайн-магазине более 970 000 позиций товаров. Заказать товары можно на сайте и через мобильное приложение Утконос ОНЛАЙН.
Утконос ОНЛАЙН выбрали Amplitude
для развития аналитической инфраструктуры внутри компании
для развития аналитической инфраструктуры внутри компании
Обнаружили проблему и искали решения
В 2019 году в команде продукта Утконос ОНЛАЙН поняли, что уже отлаженная на тот момент аналитическая инфраструктура не позволяла им глубоко исследовать поведение пользователей в продукте.
Начали искать решения и решили протестировать бесплатную версию Amplitude. Спустя месяц поняли, что это решение им подходит и нужно внедрять его полную версию.
Внедрили Amplitude и через 6 месяцев начали тестировать гипотезы
За помощью во внедрении Amplitude обратились в Adventum: агентство является эксклюзивным партнером Amplitude в России и СНГ. Аналитики Adventum помогли составить схему событий, определить North Star метрику и цели и внедрить Amplitude.
В 2019 году в команде продукта Утконос ОНЛАЙН поняли, что уже отлаженная на тот момент аналитическая инфраструктура не позволяла им глубоко исследовать поведение пользователей в продукте.
Начали искать решения и решили протестировать бесплатную версию Amplitude. Спустя месяц поняли, что это решение им подходит и нужно внедрять его полную версию.
Внедрили Amplitude и через 6 месяцев начали тестировать гипотезы
За помощью во внедрении Amplitude обратились в Adventum: агентство является эксклюзивным партнером Amplitude в России и СНГ. Аналитики Adventum помогли составить схему событий, определить North Star метрику и цели и внедрить Amplitude.
“
За 6 месяцев мы полностью покрыли мобильное приложение на iOS и Android событиями в Amplitude. Мы стали лучше понимать, как пользователи взаимодействуют с продуктом, формировать на основе этого гипотезы и тестировать их.
Принципы А/В-тестирования в Утконос ОНЛАЙН
1. Ежемесячно запускают 15 A/B-тестов и хотят увеличить эту цифру. Для этого разрабатывают собственную платформу для A/B-тестов, основываясь на данных из Amplitude.
2. Создали процесс по дизайну и приоритезации A/B-тестов.
3. Оптимизируют метрики и увеличивают их чувствительность.
4. Регулярно проверяют качество метрик и распределение трафика между контрольной и тестовой группами.
5. Используют единую методологию для оценки результатов экспериментов.
Разберем два кейса, в которых в Утконос ОНЛАЙН улучшали продукт с помощью А/В-тестов, а за ходом экспериментов следили в Amplitude.
1. Ежемесячно запускают 15 A/B-тестов и хотят увеличить эту цифру. Для этого разрабатывают собственную платформу для A/B-тестов, основываясь на данных из Amplitude.
2. Создали процесс по дизайну и приоритезации A/B-тестов.
3. Оптимизируют метрики и увеличивают их чувствительность.
4. Регулярно проверяют качество метрик и распределение трафика между контрольной и тестовой группами.
5. Используют единую методологию для оценки результатов экспериментов.
Разберем два кейса, в которых в Утконос ОНЛАЙН улучшали продукт с помощью А/В-тестов, а за ходом экспериментов следили в Amplitude.
Кейс с блоком «Возможно, вы забыли заказать»
В блоке «Возможно, вы забыли заказать» (далее — ВВЗЗ) отображаются товары, которые еще можно добавить на этапе подтверждения заказа. Раньше он выглядел так:
Блок «Возможно, вы забыли заказать» до тестирования
В Утконос ОНЛАЙН решили проверить гипотезу: если сделать блок ВВЗЗ более заметным, то увеличится средний чек. Для теста разработали 2 новых варианта блока:
Варианты блоков «Возможно, вы забыли заказать» для тестирования
В варианте «B» — маленькие картинки товаров без цены. При клике на блок пользователь переходит в список рекомендованных товаров, откуда он может добавить товары в корзину. В варианте «C» — более крупные изображения, есть цена и возможность добавить товар в корзину прямо из блока.
Как анализировали результаты тестирования блоков
1. Настроили события.
До внедрения Amplitude в Утконос ОНЛАЙН отслеживали событие «Добавление товаров из блока ВВЗЗ в корзину», но не разделяли, откуда конкретно пользователь кликнул: с экрана корзины или с экрана подтверждения заказа — чекаута. Чтобы понять, с какого из экранов пользователи чаще кликают по блоку ВВЗЗ, в Amplitude начали передавать оба события: «Добавление товаров из ВВЗЗ в корзине» и «Добавление товаров из ВВЗЗ на этапе чекаута». Это позволило сравнить их использование в отчете Event Segmentation.
Как анализировали результаты тестирования блоков
1. Настроили события.
До внедрения Amplitude в Утконос ОНЛАЙН отслеживали событие «Добавление товаров из блока ВВЗЗ в корзину», но не разделяли, откуда конкретно пользователь кликнул: с экрана корзины или с экрана подтверждения заказа — чекаута. Чтобы понять, с какого из экранов пользователи чаще кликают по блоку ВВЗЗ, в Amplitude начали передавать оба события: «Добавление товаров из ВВЗЗ в корзине» и «Добавление товаров из ВВЗЗ на этапе чекаута». Это позволило сравнить их использование в отчете Event Segmentation.
Динамика конверсии в клик на блок ВВЗЗ после разделения события
Отчет Amplitude: Event Segmentation
Event Segmentation — один из основных отчетов Amplitude. С помощью Event Segmentation можно:
1. Измерить самые часто совершаемые пользователями события за выбранный период времени.
2. Определить количество уникальных пользователей, совершающих конкретное событие в продукте.
3. Проанализировать характеристики пользователей, которые совершают определенные события.
Далее рассмотрим на примере, как отчет использовался в Утконос ОНЛАЙН.
2. Следили за разбивкой тестовых групп.
Команда Утконос ОНЛАЙН настроила произвольную разбивку пользователей по сегментам, чтобы каждой аудитории показывался один вариант блока. Затем, чтобы количество пользователей в каждой группе было примерно одинаковым, следили в отчете Event Segmentation:
Команда Утконос ОНЛАЙН настроила произвольную разбивку пользователей по сегментам, чтобы каждой аудитории показывался один вариант блока. Затем, чтобы количество пользователей в каждой группе было примерно одинаковым, следили в отчете Event Segmentation:
Сегменты для теста с блоком ВВЗЗ равны
3. Анализировали просмотры блока.
Построили график просмотров раздела ВВЗЗ по сегментам. По графику ниже видно, что в сегменте с вариантом «B» с маленькими картинками товаров без цены пользователи просматривали блок чаще, чем в остальных двух:
Построили график просмотров раздела ВВЗЗ по сегментам. По графику ниже видно, что в сегменте с вариантом «B» с маленькими картинками товаров без цены пользователи просматривали блок чаще, чем в остальных двух:
Просмотры трех вариантов блока ВВЗЗ
4. Анализировали конверсию в добавление товаров из блока
Далее отслеживали, как в тестовых группах отличается конверсия в добавление товаров в корзину. По графику ниже видно, что и в этом случае лучше всего себя показал вариант «B»:
Далее отслеживали, как в тестовых группах отличается конверсия в добавление товаров в корзину. По графику ниже видно, что и в этом случае лучше всего себя показал вариант «B»:
Конверсия в добавление товаров в корзину из разных вариантов блока ВВЗЗ
Вариант «С» здесь на втором месте. Вероятно, это связано с возможностью добавлять товары в корзину без перехода на список товаров.
Результат — увеличили средний чек на 13,6%
Вариант «B» с изображениями товаров выиграл по сравнению со старым блоком, где товары не показаны. При этом, блок «C» с товарами и ценами не показал статистически значимых результатов.
Результат — увеличили средний чек на 13,6%
Вариант «B» с изображениями товаров выиграл по сравнению со старым блоком, где товары не показаны. При этом, блок «C» с товарами и ценами не показал статистически значимых результатов.
Результаты A/B теста: вариант «B» показал лучший результат относительно варианта «A» по конверсии добавления товара в корзину, средней выручке с пользователя и среднему чеку
На основе этих результатов в приложении Утконос ОНЛАЙН решили на всех пользователей запустить блок ВВЗЗ с изображением товаров.
Блок ВВЗЗ, который теперь показывается пользователям
Кейс с редизайном главной страницы приложения
В Утконос ОНЛАЙН решили сделать редизайн мобильного приложений и начать его с главной страницы. Редизайн должен был помочь добиться следующих целей:
1. Увеличить конверсию в покупку благодаря новому удобному дизайну.
2. Поддержать новую стилистику бренда и брендбук. На тот момент уже обновили сайт, и настало время приложения, чтобы продукт был в одном стиле на всех платформах.
3. Увеличить количество поисков. Ранее во внутреннем исследовании обнаружили: пользователи, которые взаимодействуют с поиском чаще, чем с каталогом товаров, в дальнейшем лучше конвертируются в покупку.
Для этого вынесли строку поиска на главный экран:
1. Увеличить конверсию в покупку благодаря новому удобному дизайну.
2. Поддержать новую стилистику бренда и брендбук. На тот момент уже обновили сайт, и настало время приложения, чтобы продукт был в одном стиле на всех платформах.
3. Увеличить количество поисков. Ранее во внутреннем исследовании обнаружили: пользователи, которые взаимодействуют с поиском чаще, чем с каталогом товаров, в дальнейшем лучше конвертируются в покупку.
Для этого вынесли строку поиска на главный экран:
Раньше на главной странице не было строки поиска
4. Показать масштаб ассортимента, который в Утконос ОНЛАЙН постоянно расширяется. Хотели, чтобы пользователь знал, что он может заказать не только еду и продукты, а еще цветы, например.
Для этого добавили бесконечный список товаров и категорий:
Для этого добавили бесконечный список товаров и категорий:
Раньше на главном экране показывались только новинки в одну строку. Теперь весь экран занимают товары, представленные в Утконос ОНЛАЙН
5. Увеличить просмотры рецептов. В рецептах используются ингредиенты, которые можно купить в Утконос ОНЛАЙН. Поэтому чем больше пользователей будут просматривать рецепты, тем больше заказов будет сделано.
Чтобы обратить внимание клиентов на раздел Рецепты, его вынесли в слайдер с крупными изображениями:
Чтобы обратить внимание клиентов на раздел Рецепты, его вынесли в слайдер с крупными изображениями:
Раньше на главном экране показывались только новинки в одну строку. Теперь весь экран занимают товары, представленные в Утконос ОНЛАЙН
Как анализировали результаты редизайна
Аудиторию разделили поровну на тех, кто видел обновления (тестовая группа), и тех, у кого в приложении ничего не изменилось (контрольная группа). Параметры передавали в Amplitude.
Обновления запускали постепенно и с помощью графиков в Amplitude проверяли, как тестовая группа на них реагирует и как ее показатели отличаются от контрольной:
Аудиторию разделили поровну на тех, кто видел обновления (тестовая группа), и тех, у кого в приложении ничего не изменилось (контрольная группа). Параметры передавали в Amplitude.
Обновления запускали постепенно и с помощью графиков в Amplitude проверяли, как тестовая группа на них реагирует и как ее показатели отличаются от контрольной:
Сегменты поделены поровну. «Ступеньки» на графике — постепенная раскатка обновлений на большую аудиторию.
Эксперимент длился 1,5 месяца. И спустя это время количество заказов и доход оказались практически равны.
Количество заказов по сегментам
Объем дохода по сегментам
Результаты каждого обновления
1. Поиск на главном экране
Как видно по графику ниже, количество поисков в тестовой группе больше, чем в контрольной. При этом поиск с главного экрана составил четверть всех поисков в тестовой группе. Это значит, что вынесенный на главный экран поиск помогает увеличить общее количество поисков в приложении, что в дальнейшем приведет к увеличению конверсии в покупку.
1. Поиск на главном экране
Как видно по графику ниже, количество поисков в тестовой группе больше, чем в контрольной. При этом поиск с главного экрана составил четверть всех поисков в тестовой группе. Это значит, что вынесенный на главный экран поиск помогает увеличить общее количество поисков в приложении, что в дальнейшем приведет к увеличению конверсии в покупку.
Суммарное количество поиска из отдельного раздела (контрольная группа) и с главной страницы (тестовая группа)
2. Бесконечный список товаров
График показал, что добавлений в корзину из бесконечного блока ненамного больше, чем из всех товарных слайдеров.
Сделали вывод, что этот блок полезен пользователям, его можно развивать, улучшать алгоритм выдачи и работать над дизайном.
График показал, что добавлений в корзину из бесконечного блока ненамного больше, чем из всех товарных слайдеров.
Сделали вывод, что этот блок полезен пользователям, его можно развивать, улучшать алгоритм выдачи и работать над дизайном.
Бесконечный список товаров почти не отстает от товарных слайдеров
3. Блок Рецепты
По графику ниже видно, что просмотры рецептов увеличились, а просмотры каталога рецептов снизились. Это связано с тем, что рецепты можно посмотреть, не переходя в каталог рецептов, а просто с главного экрана.
По графику ниже видно, что просмотры рецептов увеличились, а просмотры каталога рецептов снизились. Это связано с тем, что рецепты можно посмотреть, не переходя в каталог рецептов, а просто с главного экрана.
Просмотр каталога рецептов и просмотр рецепта до и после обновления
Общий результат — прокси-метрики значимо выросли
Для анализа результатов поделили метрики на ключевые и прокси-метрики. Ключевые метрики показывают основные бизнес-показатели, а прокси-метрики — эффективность редизайна.
Эксперимент не показал статистически значимой разницы в ключевых метриках, при этом выявил значимую разницу в прокси-метриках. Так стало ясно, что редизайн главного экрана не сильно влияет на основные метрики, но положительно на прокси-метрики. Поэтому Утконос ОНЛАЙН приняли решение запустить новый экран на всех пользователей и продолжить редизайн приложения в других разделах.
Для анализа результатов поделили метрики на ключевые и прокси-метрики. Ключевые метрики показывают основные бизнес-показатели, а прокси-метрики — эффективность редизайна.
Эксперимент не показал статистически значимой разницы в ключевых метриках, при этом выявил значимую разницу в прокси-метриках. Так стало ясно, что редизайн главного экрана не сильно влияет на основные метрики, но положительно на прокси-метрики. Поэтому Утконос ОНЛАЙН приняли решение запустить новый экран на всех пользователей и продолжить редизайн приложения в других разделах.
В строке «Изменение» показано, как изменились ключевые и прокси-метрики
Кейсы подтверждают важность
A/B-тестирования
A/B-тестирования
Времена, когда коллеги спорили о цвете кнопок на главной странице, уже давно в прошлом. Сегодня делать выводы о таких изменениях принято не «пальцем в небо», а на основе точных данных. Поэтому продуктовые компании так любят A/B-тестировать новые функции и изменения в дизайне.
Зачастую не самые очевидные варианты становятся самыми конверсионными. A/B-тесты помогают не тратить ресурсы на неэффективные разработки и запускать в большой релиз потенциально успешные обновления. Так произошло и у Утконос ОНЛАЙН при тестировании блока «Возможно, вы забыли заказать». С помощью A/B-теста их команда смогла найти самый конверсионный вариант блока и выпустить именно его в большой релиз.
Зачастую не самые очевидные варианты становятся самыми конверсионными. A/B-тесты помогают не тратить ресурсы на неэффективные разработки и запускать в большой релиз потенциально успешные обновления. Так произошло и у Утконос ОНЛАЙН при тестировании блока «Возможно, вы забыли заказать». С помощью A/B-теста их команда смогла найти самый конверсионный вариант блока и выпустить именно его в большой релиз.
“
Кейсы показали, что тестирование гипотез — важная часть работы продуктовых команд. Тестировать можно и нужно весь новый функционал. Только так получится делать выводы о его успехе не вслепую, а основываясь на данных, которые, кстати, может посмотреть в Amplitude любой менеджер компании.
Заявка на консультацию по Amplitude
Нажимая кнопку «Отправить сообщение», вы соглашаетесь на обработку персональных данных, условия политики конфиденциальности
4700+ аналитиков и продактов уже подписаны — присоединяйтесь!
Получайте полезные материалы по Amplitude и продуктовой аналитике прямо на почту.
Хотите знать о продуктовой аналитике больше? Подписывайтесь — будем отправлять материалы вам на почту!
Больше про продуктовую аналитику
Хотите больше кейсов?
Подписывайтесь — будем отправлять материалы вам на почту!