Amplitude Experiment: новый инструмент для А/Б тестов

в продукте

1 июля 2021

Amplitude Experiment позволяет проводить эксперименты внутри продукта и управлять доступностью функций. Так продуктовые команды могут быстрее чем когда-либо улучшать опыт пользователей. Давайте разберемся, как это работает.
Amplitude Experiment уже здесь
В Amplitude появился инструмент Experiment — решение для проведения экспериментов и управления функциями, основанное на аналитике и поведении пользователей. Experiment — это первое решение, обеспечивающее полный непрерывный рабочий процесс от гипотезы до анализа, который позволяет организациям масштабировать эксперименты между командами и пробовать более рискованные идеи, способствующие росту.

Не секрет, что ведущие продукты, такие как Stitchfix и Netflix, создали необычные программы для экспериментирования. Они стимулируют лояльность пользователей и рост бизнеса через качество и скорость своих сервисов, обгоняя конкурентов. Сегодня, когда стремительно растет количество цифровых продуктов, а следовательно и выбор, это становится как никогда важно.

Задача компаний заключается в том, чтобы определить, какой опыт лучший, и обеспечить его соответствующему сегменту юзеров. Инструменты A/Б тестирования и Feature Flagging предназначены именно для этой цели. Тем не менее, многие из этих существующих инструментов не связаны с поведением пользователей, аналитикой и рабочими процессами команд. Команды, которые их используют, вынуждены выбирать между ограничением объема тестируемых экспериментов или блокировкой технических ресурсов для решения проблем с таргетингом и идентификацией.

Вот почему в Amplitude сделали Experiment. Благодаря системе цифровой оптимизации эксперименты и управление функциями полностью интегрированы с поведением клиентов и аналитикой. Теперь в той же системе, где вы измеряете поведение и персонализацию мощности, вы можете запускать высокоэффективные A/Б тесты и удаленно настраивать опыт в продукте для любого сегмента.
Все этапы эксперимента
Когда дело доходит до проведения экспериментов в продукте, нет ничего важнее самого процесса. Именно процесс обеспечивает максимальные шансы на успех, то есть результат с четкими дальнейшими шагами, и позволяет вам не тратить напрасно драгоценные ресурсы и не вести команду по неверному пути.

В Experiment это процесс включает проектирование (Design), релиз (Rollout) и выводы (Learn). В Amplitude собрали все шаги, от разработки гипотез до определения цели и измерения, на одной странице. Это не только упрощает управление экспериментами, но и помогает создавать более качественные тесты, поскольку вы начинаете и заканчиваете процесс, оперируя данными о пользователях.

Это стало возможным благодаря ключевым функциям Experiment, которые используются в системе цифровой оптимизации Amplitude и в Behavioral Graph:

  • Поведенческие и прогнозные данные помогут вам настроить таргетинг на сегменты на основе их фактического или прогнозируемого поведения.
  • Разрешение идентификаторов предоставляет пользователям одинаковые возможности независимо от платформы или состояния аутентификации.
  • Проактивная аналитика выявляет волновые эффекты теста, не имеющего статистической значимости.
Для передовой в автомобильной промышленности компании SHIFT Amplitude Experiment в корне меняет положение дел. Поскольку Experiment основан на анализе поведения клиентов и аналитике, мы можем разрабатывать более эффективные тесты, быстрее учиться на них и менять способы создания и предоставления опыта нашим клиентам. Amplitude является партнером Shift в области продуктовой аналитики, и мы очень рады, что смогли углубить эти отношения с помощью нового продукта Experiment
Адам Джонстон, директор по продукту SHIFT
Как повысить качество тестов
Существенное отличие Experiment от других инструментов заключается в том, что мы не начинаем с варианта или настройки показа определенной функции. Мы начинаем с проектирования эксперимента.
Рабочий процесс Experiment познакомит вас с лучшими практиками создания эффективного теста. Начните с проблемы клиента, изложите подтверждающие идеи и задокументируйте свою гипотезу. Все в одном месте. Более того, все можно даже привязать к существующей диаграмме или метрике, которую вы используете в Google Analytics.
В Amplitude также нашли способы избавиться от двойной работы. Управление планированием эксперимента и информирование о нем создают большие накладные расходы для менеджеров по продукту. С помощью раздела Notebooks было создано единое место для синхронизации и обмена всеми деталями. Кроме того, он изначально интегрирован с выполняемым вами тестом.

В приведенном выше примере используется аналитика, чтобы определить возможность повышения вовлеченности с помощью социальных фичей. Гипотезу можно связать с конкретными диаграммами Amplitude, и тогда весь Notebook будет встроен в тест, что позволит любому члену команды быстро подключиться к процессу. Благодаря такому интегрированному опыту Experiment легко вписывается в рабочие процессы команд.

Запуск умных, а не сложных тестов
Даже когда тесты спроектированы хорошо, технические нюансы могут задержать или даже сорвать эксперименты. Наиболее частые проблемы, с которыми сталкиваются команды, возникают в результате таргетинга определенных сегментов и управления идентификацией пользователей. Используя Experiment, вы будете удивлены тому, насколько легко он осуществляет запуск тестов. Experiment не только предоставляет конкретные фрагменты кода для инициализации и оценки вариантов, но и не требует дополнительных инженерных работ для настройки таргетинга и управления идентификацией.
С помощью Behavioral Graph таргетинг на сегменты по поведению не добавляет дополнительной работы. Выберите события, выполненные этими сегментами, свойства, которые у них есть, или просто выберите когорту. Если у вас есть Amplitude Recommend, вы можете ориентироваться на пользователей на основе их прогнозируемого поведения, например вероятности совершения покупки. В примере тестирования новых социальных фичей всего в несколько кликов можно настроить таргетинг на пользователей, которые посещают менее 5 занятий в неделю и которые общаются с друзьями.

Experiment также использует разрешение идентификаторов Amplitude для естественного объединения пользователей с разных устройств и состояний аутентификации. В сочетании с поведенческим таргетингом это означает, что инженерам не нужно суетиться, передавая пользовательские данные каждый раз, когда вы хотите запустить тест или установить флаг.
Вот почему была создана функция Payloads, которая передает переменные в ваш продукт для того, чтобы вы могли удаленно настраивать взаимодействие без развертывания нового кода. Это может включать в себя все, от другой цветовой палитры до индивидуальных рекомендаций, которые вы создаете в Amplitude Recommended. Отличным примером этого может быть определение количества предложенных друзей для показа в социальном опыте. С помощью playloads вы можете настроить это число удаленно и даже изменить по ходу — никакой работы со стороны разработчика не требуется.

Наконец, Experiment использует последовательное тестирование, поэтому вы можете просматривать результаты в режиме реального времени без нарушения целостности эксперимента. А вскоре вы даже сможете добавлять мониторы Amplitude для экспериментов, чтобы получать уведомления о серьезных изменениях в поведении, критических показателях или производительности тестов. Такой комплексный подход к взаимодействию с клиентами дает вам уверенность в том, что вы ничего не нарушаете, и уверенность, позволяющую делать вам более рискованные и масштабные тесты.
Выход за пределы статистической значимости
Большое внимание в A/Б тестах уделяется статистической значимости — и не зря, — однако это еще не все. В большинстве A/Б тестов анализ останавливается на статистическом значении. С Amplitude Experiment именно здесь начинается анализ.
У вас в руках вся мощь продуктовой аналитики. Вы можете не только сократить результаты по любой комбинации когорт или поведения, но и увидеть волновые эффекты, возникающие за пределами теста. Представьте, что вы знаете, что новый социальный опыт повысил вовлеченность в целом, но для опытных пользователей, ездящих на велотренажерах, он оказал огромное влияние на удержание. Наблюдая за тем, как меняется поведение, легче определить свои следующие шаги или следующий эксперимент.

Это возможно без какой-либо дополнительной технической работы, потому что Experiment автоматически записывает задания за вас. Вы получаете полную видимость на уровне пользователя обо всех когда-либо созданных экспериментах и флагах, и они не учитываются при расчете объема ваших данных. Задания мгновенно появляются для использования в аналитике или будущих тестах и помогают избежать коллизий между опытами. Это позволяет управлять масштабированием экспериментов в вашей организации.
Рискуйте ради роста
Полный рабочий процесс в Amplitude Experiment предназначен не только для увеличения ваших шансов на успех, он призван помочь вам делать более крупные ставки в экспериментах. Что значит более крупная ставка? Более крупная ставка — это разница между тестированием нового социального взаимодействия и тестированием другого места для кнопки «Поделиться». И то, и другое может повысить вовлеченность, но если вы сможете найти правильный подход к пользовательскому опыту, это откроет новые возможности и новые точки роста. В случае с кнокой такое вряд ли произойдет.

Команда Amplitude рада представить вам Amplitude Experiment и показать, как вы можете использовать A/Б тестирование и Feature Flagging, чтобы предоставить клиентам лучший опыт быстрее, чем когда-либо прежде.
Этот пост является переводом материала, опубликованного в блоге Amplitude.
Хотите внедрить Amplitude Experiment в свой продукт? Получите консультацию от агентства Adventum, партнёров Amplitude.
Заявка на консультацию по Amplitude
Нажимая кнопку «Отправить сообщение», вы соглашаетесь на обработку персональных данных, условия политики конфиденциальности
700+ аналитиков и продактов уже подписаны — присоединяйтесь! 
Получайте полезные материалы по Amplitude и продуктовой аналитике прямо на почту.


Хотите знать о продуктовой аналитике больше? Подписывайтесь — будем отправлять материалы вам на почту!
Больше про продуктовую аналитику


Хотите больше кейсов?
Подписывайтесь — будем отправлять материалы вам на почту!