Система аналитики: инхаус vs. готовое решение

18 марта 2021

Сделать выбор в пользу покупки аналитической платформы, или же создавать ее самостоятельно — важное решение в жизни любой компании, в особенности технологической, у которой есть отличная проектно-техническая группа.

В некоторых случаях желание создать все самостоятельно становится почти маниакальным, в то время как на деле есть много плюсов в использовании стороннего поставщика аналитики для вашей инфраструктуры.

В статье разбираемся, почему в большинстве случаев создание собственной системы аналитики может принести компании больше вреда, чем пользы.
О важности выбора
Для начала стоит отметить, почему в целом для компании вне зависимости от ее масштабов важно определиться, будет ли она использовать готовое решение для аналитики или создавать собственное.
Хотя это может показаться несущественным, особенно на начальном этапе, решение «построить самостоятельно или купить» оказывает огромное влияние на производительность и скорость вашей компании и, в конечном итоге, на вашу способность стимулировать рост.
Хотя это может показаться несущественным, особенно на начальном этапе, решение «построить самостоятельно или купить» оказывает огромное влияние на производительность и скорость вашей компании и, в конечном итоге, на вашу способность стимулировать рост.
Можно понять привлекательность создания собственной аналитической платформы — она будет идеально адаптирована к вашим потребностям, и вы получите полный контроль над тем, как обрабатываются ваши данные. Такие технологические гиганты, как Airbnb, Zynga и Facebook, создали впечатляющие информационные инфраструктуры, так почему бы не попробовать и вам?

К сожалению, многие компании упускают из виду истинные затраты на ее создание (и речь идет не только о деньгах). Если вы обдумываете или уже разрабатываете собственную аналитику, подумайте о том, как это потенциально может навредить вашей компании.
Меньше ресурсов на основной продукт
Если вы тратите время на размышления о том, как настроить конвейер данных о событиях, это означает, что в этот момент вы не думаете о своих данных о поведении пользователей и о том, как они могут повлиять на план развития вашего продукта.

Компании часто недооценивают время и ресурсы, которые уходят на построение аналитики. Они думают, что могут перекинуть все свои данные в Hadoop или, может быть, Redshift, и покончить с этим.

Однако, если вы хотите, чтобы любой сотрудник вашей компании мог быстро получить доступ к нужным данным (подробнее о том, почему это так важно, в следующих разделах), потребуется гораздо больше времени или, возможно, денег на покупку сторонних инструментов визуализации, чтобы сделать эту инфраструктуру пригодной для использования.
(Не)доступность данных
С другой стороны, заплатив за аналитическую платформу, вы будете точно знать, что ваши данные будут автоматически доступны для всех, кто в них нуждается, что позволит сберечь больше времени и ресурсов для вашего реального продукта.

Фарид Мосават, возглавляющий группу по развитию в Instacart, столкнулся с тем же вопросом “купить/сделать самому”, когда пришел в компанию.
Что такое Instacart?
Американский сервис доставки продуктов питания в короткие сроки из супермаркетов. Аналог СберМаркета, Самоката и Яндекс.Лавки.
В то время Instacart использовал набор самодельных инструментов для отслеживания и анализа, но конечным пользователям данных (например, командам роста и маркетинга) было сложно получить доступ к этим данным самостоятельно. Кроме того, они дошли до точки, когда их система перестала справляться с их растущим объемом данных, и для ее масштабирования потребовалось бы значительно больше инвестиций с их стороны.

Фарид решил использовать Amplitude для своей платформы аналитики приложений.
Меня гораздо больше интересует решение ключевых проблем продукта, чем создание технической инфраструктуры для аналитики.

Фарид Мосават, Consumer Growth Product Manager, Instacart

Построение аналитики не только отвлекает внимание и ресурсы от улучшения продукта, но и чрезвычайно затрудняет доступ к данным для остальной части вашей компании.

Доступность означает, что любой сотрудник вашей компании (и даже тот, кто не знает SQL) может быстро изучить данные и получить ответы на свои вопросы. Большая часть этого — визуализация данных, но статических панелей мониторинга недостаточно — в идеале конечный пользователь должен иметь возможность работать с детальными данными и получать полезные сведения на лету.
Правильная аналитическая инфраструктура — это такая инфраструктура, которая позволяет делиться информативными визуализациями данных (графиков, диаграмм) так же легко, как и копаться в самых подробных деталях.
Бен Портерфилд, соучредитель Looker
Вам может быть интересно, почему доступность данных так важна. Если в вашей компании есть аналитик или группа специалистов по обработке данных, которые могут написать SQL для продуктовой и маркетинговой группы, когда той нужны ответы, разве этого недостаточно?
Если вы говорите, что вы дата-ориентированы, но все данные должны проходить через аналитика, то на самом деле вы не дата-ориентированы.

Фарид Мосават, Consumer Growth Product Manager, Instacart

Если данные передаются группе аналитиков, то все, кому нужен ответ (даже что-то простое, например, ваши ежедневные активные пользователи с разбивкой по городам), будут вынуждены обращаться к аналитикам. Это увеличивает время обработки задачи, что означает, что (1) ваши специалисты по обработке данных имеют отложенные запросы и, следовательно, менее продуктивны, и (2) вся ваша компания теряет темп. Это подводит нас к следующему пункту ...

Снижение скорости работы
Многие быстрорастущие компании действуют по принципу, согласно которому скорость является определяющей характеристикой успешной компании. Если вы хотите работать как можно быстрее, доступ к self-service данным просто необходим.
Что такое self-service данные?
Это данные, к которым у каждого сотрудника есть быстрый и удобный доступ.
Self-service данные устраняют любые препятствия между данными и конечными пользователями, сокращая время на анализ. Это определяет, насколько быстро вы сможете пройти цикл итераций и улучшений продукта, и, в конечном итоге, расти как компания.

Это не означает, что доступ к необработанным данным и запись SQL полностью исчезают. Речь идет о том, чтобы продуктовые и маркетинговые команды могли самостоятельно отвечать на 90% вопросов при помощи аналитической платформы. По-настоящему интересные и сложные ситуации — остальные 10% — по-прежнему невероятно важны, и именно здесь ваши специалисты по обработке данных могут проявить себя.
Время на «работу уборщика»
Выбор в пользу построения аналитики означает, что ваши специалисты по обработке данных и инженеры будут выполнять больше рутинной работы и меньше работы по анализу данных.
Группы обработки данных слишком часто создают заторы для остальной части компании. ИТ-отделы не должны выполнять работу библиотекарей, извлекая и интерпретируя данные для тех, кто их запрашивает.
Бен Портерфилд, соучредитель Looker
Выбор в пользу построения аналитики означает, что ваши специалисты по данным будут выполнять больше рутинной работы и меньше работать с анализом данных.
Выбор в пользу построения аналитики означает, что ваши специалисты по данным будут выполнять больше рутинной работы и меньше работать с анализом данных.
Кроме того, инженерам потребуется потратить время на создание и поддержку инфраструктуры конвейера данных в динамике. Вся эта «работа дворника» с данными — настоящий пожиратель времени; по факту data-munging отнимает очень много времени специалистов по данным:
Вместо этого представьте сценарий, в котором конвейер данных и инфраструктура анализа данных полностью обслуживаются третьей стороной. Никто не должен тратить время или деньги для ее поддержания, и, кроме того, каждый может получить ответы на свои вопросы. Подумайте, сколько времени у ваших специалистов по данным высвободится для того, чтобы сосредоточиться на сложных выводах и проблемах.
Что еще учитывать
при выборе
Независимо от того, оцениваете ли вы внутреннюю или стороннюю платформу, задайте себе несколько вопросов:

1️⃣ Кому в вашей компании нужен доступ к этим данным?

2️⃣ Для людей из выбранной группы: может ли эта система облегчить изучение данных по отдельности, визуализацию данных и разработку собственных идей?

3️⃣ (Этот пункт для оценки сторонних платформ). Можете ли вы получить доступ к необработанным данным и в каком формате? Требуется ли запуск пользовательских сценариев и очистка данных для самостоятельного извлечения этих данных и получения их в формате, готовом к запросу, или есть возможность для конвейера данных и их хранения?
Альтернатива созданию собственной платформы
Если вы подумываете о стороннем решении для аналитики, вы, вероятно, уже знаете, что выбор сервисов огромен. Многие из вас могут быть знакомы с такими инструментами самообслуживания, как Google Analytics и Mixpanel. Хоть они и отвечают основным потребностям конечного пользователя нетехнического характера, получить очень подробные данные не получится, в этом случае потребуется дополнительный индивидуальный анализ.

На практике получение необработанных данных для анализа — это та ещё головная боль; вам нужно будет либо выделить ресурсы на извлечение и преобразование этих данных, либо собрать те же данные отдельно в кластер Redshift — при этом ни то, ни другое не является идеальным вариантом. Вы заслуживаете лучшего.

В отличие от других аналитических решений, Amplitude сочетает гибкую, интуитивно понятную аналитическую платформу с доступом к необработанному SQL через Redshift. Это дает вам возможность работать с данными так, как вам это удобно.
Хотите внедрить Amplitude в свой продукт? Получите консультацию от агентства Adventum, партнёров Amplitude.
Заявка на консультацию по Amplitude
Нажимая кнопку «Отправить сообщение», вы соглашаетесь на обработку персональных данных, условия политики конфиденциальности
Ваши маркетинговые и продуктовые группы могут использовать интерфейс Amplitude, чтобы отвечать на подавляющее большинство своих вопросов и отслеживать свои основные показатели. В то же время вы получаете мгновенный доступ к своим данным в выделенном кластере Redshift, который мы обслуживаем — все, что вам нужно сделать, это войти в систему.

Вы также можете подключить любой редактор SQL или инструмент визуализации поверх своего кластера, например Wagon, Looker, или Mode.
Начало культуры данных
Важность принятия правильных бизнес-решений на основе анализа данных очевидна. Но работает ли ваша компания по этому принципу в настоящее время? Все ли в компании обладают доступом к данным? Могут ли они понять, что означают данные для их собственных целей, а также для основных показателей компании?

Если важность не очевидна, и вопросы тоже не заставили вас задуматься, то посмотрите на успешные кейсы, где компании внедрили культуру данных и начали эффективнее развивать свои продукты.
Как с данными из Amplitude в букмекерской компании Лига Ставок укрепилась data-driven культура, что привело к росту гипотез и более эффективному развитию продукта.
Итог
Вопрос, выбрать ли уже существующую систему аналитики или сделать свою, только поначалу кажется сложным. Достаточно даже примерно оценить затраты денег и времени на разработку, тестирование и поддержку собственной аналитической платформы, чтобы оставить эту затею конкурентам.
Этот пост является переводом материала, опубликованного в блоге Amplitude.
700+ аналитиков и продактов уже подписаны — присоединяйтесь! 
Получайте полезные материалы по Amplitude и продуктовой аналитике прямо на почту.


Хотите знать о продуктовой аналитике больше? Подписывайтесь — будем отправлять материалы вам на почту!
Больше про продуктовую аналитику


Хотите больше кейсов?
Подписывайтесь — будем отправлять материалы вам на почту!