这次和 GrowingIO 工程师一起搞事情 | StartDT Hackathon

是的，我们和“GrowingIO”在一起了！

在一起，是数据云和分析云王牌强强联手、服务客户，也是组织融合共同成长，当然，我们的工程师，也“在一起”了！

没错，本届 StartDT Hackathon，以“StartDT 产品全家桶”为主题，奇点云和 GrowingIO 的工程师一起来玩！

这是有史以来最开放的一次选题。

奇点云合伙人、黑客马拉松发起人地雷介绍，为从工程师领域推动融合，形成并优化全栈技术方案，实现“真·在一起”，本次选题不限产品，尤其鼓励多产品技术团队联动，在产品融合、打通层面共同创新。

“StartDT 产品全家桶”由数据云、分析云两大产品体系组成，包含数据云平台 DataSimba、消费者运营平台 DataNuza、用户行为分析平台 GrowingIO-UBA 等王牌产品。

从日常实践、“吃狗粮”中，各产品团队的工程师们挖掘出了不同角度共 15 个选题，其中以下 6 题正式入选，并通过提测，进入大赛角逐：

1. DataNuza 前端微服务改造 _ 你说的队

2. GrowingIO-UBA、DataNuza 融合服务器缩减方案 _ 三秋树

3. 当 DataSimba 遇到 GrowingIO-UBA，一图分析使用情况 _ 十二黄金圣斗士

4. DataNuza-MA 的 Webhook 触点配置化 _ 炒菜队

5. DataSimba 全栈支持 Kerberos 认证 _ 某个组

6. 解耦部署依赖，DataSimba 部署再提效 _ 藕粉组

#1 

既要无缝融合，又要灵活部署

DataNuza 的前端微服务改造挑战

DataNuza 是数据驱动的消费者运营平台，包含 CDP、MA 等模块，GrowingIO-UBA 则是用户行为分析和增长平台。

这两款截然不同的产品，在项目实践中迎来了“融合”的要求——有许多客户同时采购了 DataNuza 和 GrowingIO-UBA，数据打通自不必说，模块部署上也希望能更灵活，例如，只部署 CDP 和 UBA，而不部署 MA，或此前采购了 CDP 和 MA，希望再增加一个 UBA。

然而，DataNuza 和 UBA 使用了不同的前端框架，如何在保留两者的同时完成融合动作，对产品团队是个挑战。

此外，伴随着产品的多年迭代，团队越来越庞大，单个项目体积也愈加庞大，模块之间耦合过重，导致无法对单个模块进行增量升级，未来产品的开发升级和维护效率均会受到影响。

“这是微服务改造的大好时机，可以一并解决上述问题。”“你说的队”队长执剑笑说，“配合本次黑客马拉松的大主题，喜从天降，正中下怀。”

具体而言，他们这样做：

1、构建一个主应用基座，统一门户登录、打通账号体系，通过该基座在子应用之间做数据下发和中转；

2、更改路由系统，改造应用的数据层，将原巨石应用按模块拆分成多个应用，以完成解耦。优化打包方式，使得子应用既可以整合到基座中，又可以独立运行和部署。

经过微服务改造，DataNuza 和 GrowingIO-UBA 能够实现无缝融合，用户可以在同一入口登录并选择模块进行操作，体验上不割裂；

产品层面上，CDP、MA、UBA 的各模块相互独立，可以各自进行功能迭代、开发、测试，而不再“牵一发而动全身”；

产品售卖和部署时，也更加灵活，能方便地拆分或组合部署各模块，而无需手动改写；

基于主应用基座，未来还可以接入其他更多第三方产品，消费者运营平台 DataNuza 也因此具备了更强大的集成和开放能力。

#2 

产品融合缩减服务器

成本最高可降 43%

部署 DataNuza、GrowingIO-UBA 两大产品，以往需要分别消耗各自的服务器资源，对客户来说会产生一定负担，分头部署实施和维护起来也有更高的难度。

以本次产品融合为契机，有没有可能探索出服务器缩减的优化方案？

经过对 DataNuza、GrowingIO-UBA 产品的调研，“三秋树”团队提出了最小部署方案。经过减少应用服务器、合并中间件与数据库服务器等动作，全新的最小部署方案相比分别部署，最高可缩减 43%的服务器资源。

彩蛋：“三秋树”组名来自清代文学家郑板桥的作品“删繁就简三秋树，领异标新二月花”，组员们希望能持续删繁就简，为资源减负。

#3

当 DataSimba 遇到 UBA

互相补充，“天生一对”

“很早以前就想给 DataSimba 选型一套前端埋点工具，来辅助 DataSimba 的产品运营…很巧的是，我们和拥有宇宙最强用户行为分析工具的 GrowingIO 在一起了！”十二黄金圣斗士组成员、DataSimba 资深产品经理沙加介绍选题缘起，“机会总是留给有缘分的好产品”。

十二黄金圣斗士组在 DataSimba 上部署了 GrowingIO 的前端采集工具，将采集到的数据传入 DataSimba，并结合 DataSimba 自有的元仓数据进行联合分析。

最终，通过 GrowingIO-UBA 的看板，可以准实时地了解到 DataSimba 产品使用情况，包括各模块访问量、用户量、停留时长、任务出错次数、作业类型占比等等，找到用户痛点，为 DataSimba 产品体验升级提供参考。

看板截图（测试环境）

“这只是一个范例，我们用 DataSimba 的产品运营打了个样，向大家展示了 DataSimba 和 GrowingIO-UBA 如何携手实现数据驱动运营和增长。而在客户场景中，还能激发更多价值。”

十二黄金圣斗士组组长东风介绍，“举个例子，以往客户的商城 APP 或小程序上做前端 SDK 采集，可以对基础的用户行为进行分析，而现在用户行为数据进入数据云平台 DataSimba，还能和商品管理后台的维表等更多源的数据做融合，甚至细化到商品上架信息、库存信息、历史促销记录等等，扩充数据维度，再将关联、融合后的数据输入 UBA，做进一步深化分析，为决策提供可靠的支持。”

DataSimba + GrowingIO-UBA融合方案示意图

评委、资深技术专家牧然评价：“这个项目中，行为数据与元仓中的业务数据在 DataSimba 结合后回到 UBA，又增强了行为数据本身，是非常好的融合尝试。”

据悉，“DataSimba + GrowingIO-UBA”实践已形成标准化方案，可快速在各产品（APP、小程序、网站等）或不同环境中部署。

彩蛋：如何评价双方的首次合作？

DataSimba 资深前端工程师亦痕首次使用 GrowingIO 前端 SDK 采集工具，他表示：“GrowingIO 拥有全套标准化的对接文档，这次从学习文档到完成全套部署只花了不到 1 小时，真正称得上方便快捷。”

十二黄金圣斗士组成员、GrowingIO 产品专家千夜在了解 DataSimba 后，则表示：“这 2 个产品就是天生一对。”

经历了上一季黑客马拉松 DataSimba 与 DataNuza 团队的“红蓝 CP”协作，产品经理和工程师们对本次多团队混搭显得游刃有余。

除了上述三大融合战队，还有三个组选择了“专注自身”，分别在 DataNuza 的配置效率和 DataSimba 的安全性与部署效率上发力提升，继续往下看。

#4 

MA 的 Webhook 触点配置化

效率提升 80%

MA（营销自动化）是消费者运营平台 DataNuza 的重要模块之一，能帮助用户自动执行营销任务，通过短信、公众号、企业微信等多种渠道自动化触达用户，帮助企业组织全局营销战役。

而在为客户配置 MA 时，由于不同客户提供的接口不同，每配置 1 套 MA 的标准触点，就需要花上若干人天来进行手动开发配置。

能不能减少重复动作，节约开发实施时间，用更聪明的方式来完成 Webhook 触点配置？

基于项目成员们丰富的实施经验，“炒菜队”总结出了常见的对接项，形成界面化的表单配置，而不再需要开发手工进行：

第 1 步，确定接口地址、请求方法；

第 2 步，填写请求接口必传的参数信息；

第 3 步，根据请求客户接口后的返回结果，做映射。

“一共就 3 步，配置完成、测试通过后，就可以开始使用。”“炒菜队”队长朝歌介绍，“这一套方案更简单、技术门槛更低，而且相比原来的做法，效率能足足提升 80%。”

#5

全栈支持 Kerberos 认证

DataSimba 安全再提升

为提升 DataSimba 的安全性，“某个组”提出了全栈支持 Kerberos 的选题：DataSimba 全栈组件开启 Kerberos 安全认证，包括 Flink、Spark、Impala、Hive、HDFS、HBase、Kafka 等等。

Kerberos 是一种网络身份验证协议，旨在通过使用密钥加密技术为客户端/服务器应用程序提供强身份验证。通过验证，不仅能保证发送者和接收者的身份真实，还能检验来回传递的数据的有效性和完整性，并在传输过程中对数据进行加密。

组员北冥介绍，全栈支持 Kerberos 后的 DataSimba 安全性得到进一步加固，并为满足“多租户”场景做好了准备。

#6

守护 30 分钟纪录

DataSimba 部署再提效

DataSimba 最快在 30 分钟内就可以完成部署！

这是让全体 StartDT 工程师为之骄傲的纪录，而 DataSimba 升级到 R4.2 版本后，藕粉组的同学们发现，这个记录可能要守不住了

藕粉组的组长风质谈到：DataSimba R4.2 需要在大数据引擎部署完成后才能部署，而客户资源的申请时间有不可控性，会导致 DataSimba 无法在半小时内成功部署。

解耦 DataSimba R4.2 和中间件的部署依赖，为 DataSimba 自动化部署再提效，这就是本次藕粉组的选题。

藕粉组明确了各微服务使用云原生文件系统的方式、挂载存储引擎的方式、HDFS 配置方式及配置时机，通过反转服务域和云原生文件系统的依赖关系，由服务域管理云原生文件系统，最终实现 k8s 大环境下不替换云原生文件系统、HDFS 的同时，成功完成解耦动作，不依赖大数据引擎就能启动 DataSimba，并保证代码量较少，不加重项目负荷。

#StartDT

数据云+分析云携手并进

今年 5 月，StartDT“数据云+分析云”产品矩阵正式发布。统一开放、中立安全的数据云作为基础设施，封装复杂技术，为企业高效沉淀数据资产，降低数据管理与资源成本；一站式智能易用的分析云则连接数据与不同业务场景，帮助客户一站式实现数据的探索、发现、预测、决策及行动，进一步用数据驱动价值增长。

那么在实际场景中，“数据云+分析云”如何一体化、有机地赋能客户，又究竟能为客户带来多少价值？

拒绝技术自嗨！在本季黑客马拉松中，StartDT 的工程师们就以“DataSimba + GrowingIO-UBA”为例，率先完成了最佳实践。伴随着产品体系的壮大，DataNuza 等产品团队亦积极创新，探讨分析云融合方案。

首次参加 StartDT Hackathon 的评委、GrowingIO 资深技术专家周期深感惊喜：“DataSimba+UBA 这个项目完成度非常高。UBA 结合元仓数据的场景能完成行为数据和业务数据的真正融合，意义很大。特别提一点，从 DataSimba 和 UBA 团队做项目过程中那些照片，能感受到工程师同学们共同解决问题那种互相协助、面对问题眼里有光的团队精神，真的很棒！”

评委、资深技术专家大门则表示，本次黑客马拉松是目前看到最有创意的一次。“UBA+DataSimba+DataNuza，三者强强联手，实时的用户分析、实时的数据处理、实时的营销推送，在同等计算资源下要做到最快，在同等速率下要做到最省资源。小伙伴们把整套数据云和分析云的产品玩得很溜，搭建了多个场景，并对其中出现的多个场景提出了颠覆性的整改意见，而且真正解决了某些场景。很高兴能参与其中，和优秀的人一起共事会让自己变得更优秀。”

真需求促进真融合，真痛点推动真创新。

在这群对数据技术充满热忱、行动力高、创造力强的工程师支撑下，StartDT 产品“全家桶”将不断进化迭代，真正成为客户 DT 时代的最佳伙伴。

发奖啦！

本届 StartDT Hackathon 共有三组喜提奖金：“你说的队”和“某个组”获得并列第二，“十二黄金圣斗士”则以绝对领先的高分拿下一等奖。

二等奖：你说的队 

雨晴：感谢公司能够提供这次宝贵的机会，让我能够从中提升自己。我觉得参加这次的黑马特别有意义，让微前端从零到有，能够有所实践。

桐人：每届黑客马拉松都非常有趣，可以感觉到大家各种想法的碰撞，毕竟“人人都是产品经理”。只不过这一次，我们的“微前端改造方案”更加打动大家一点，哈哈哈哈哈～

黛西：当获知我们团队获得“二等奖”的殊荣时, 我的心情无比激动,这是我们全体队员相互协作、齐心协力共同的荣誉！

执剑：感谢本次黑客马拉松的主办，使得我们能有机会挑战一下新技术的同时，站在与商业的交叉点上，产生商业价值。感谢评委们的认可和鼓励，我们将砥砺前行，持续思考，为公司带来新的价值。

并列二等奖：某个组

不愿透露姓名的组员：低调还是能躺赢的。

不愿透露姓名的另一位组员：这才是实力的象征 

一等奖：十二黄金圣斗士

圣斗士代表：短短四天，从无到有，特别荣幸和这么有战斗力、主人翁精神的团队一起奋斗。和都是为了做事的人一起工作是种享受，十二黄金圣斗士大家是最棒的！

注：圣斗士之一、资深数据产品经理“沙加”因屡战屡胜，黑客马拉松胜率高达 100%，下届起惨遭禁赛。