DataSimba 推出微信小程序，DataNuza 接受全场景考验？ | StartDT Hackathon

近日，2022 年首季 StartDT Hackathon 正式启幕，以“质量与测试”为主题，向奇点云的云原生数据中台 DataSimba、消费者运营平台 DataNuza 开刀，力求进一步优化这两大王牌产品的性能，提升运维、测试的自动化水平和用户体验。

还是老规矩，奇点云黑客马拉松的选题均来自日常实践、客户服务和“吃狗粮”（技术团队作为真实用户先行体验），由攻城狮、产品经理们归纳、提出，票高当选：

• DataSimba 的运维指标小程序 _ 欢乐斗地组

• 微服务体系服务域 &存储域的 UT 的代码覆盖率、通过率 _ 光踪耀组

• 微服务体系账户域 &元数据域的 UT 的代码覆盖率、通过率 _ 啥是 UT 组

• DataNuza 的 MA 全场景覆盖测试 _ 风火轮组

• 算法预测圈人 _ 追光者小组

• DataNuza 的 MA 性能测试监控 _ 打铁队

• DataNuza 的 CDP 标签计算性能优化 _ 性能怪兽组

参赛者来自 DataSimba、DataNuza 团队，根据选题分为 7 组，其中有半数小组选择“混搭”，毕竟老话说得好，“自古红蓝出 CP”。

运维指标小程序

随时随地，一目了然

这是一个让运维工程师们又爱又恨的选题。

基于微服务体系，“欢乐斗地组”开发了 DataSimba 的运维指标小程序，把任务运行状态装进手机。无论在哪里，运维工程师都能随时查看任务运行情况，监控指标。（再也不能说“手边没有电脑”了）

运维指标小程序demo截图

组长老君介绍：“小程序中的指标数据支持实时更新。各项目实例统计、实例状态分布、任务执行情况、任务运行时长排行 TOP10、任务告警信息等均一目了然。我们也可根据项目实际情况，针对性呈现运维需求的指标。”

“这为任务运维提供了手机端方式的补充。”评委、资深技术专家牧然评价道，“项目团队克服了兼容性、页面层级错乱等多个挑战，最终呈现的结果是比较完整的，可以在真实场景中广泛应用起来。”

目前，该功能已正式上线，DataSimba 的客户伙伴可向您的项目经理或商务顾问咨询试用。

Unit Test

扫除故障，提高质量

啥是 Unit Test？

Unit Test，即单元测试，通常也被攻城狮们简称为“单测”，它是一种对软件中最小可测试单元进行检查和验证的方式，通过比较结果实际值与预期值，来判断执行代码的正确性。

在本季黑客马拉松，共有 2 个组围绕 DataSimba 的微服务体系进行了单测，完善了可行性验证：“光踪耀组”聚焦服务域与存储域，“啥是 UT 组”则聚焦账户域与元数据域，其中元数据域 V4 Rest 类覆盖率、V4 Rest 方法覆盖率均达到 100%。

两组成员强火输出中

“啥是 UT 组”组长元善介绍：“我们建议持续进行单测，比如写一个功能，就进行多场景单元测试。如有其他开发者改动代码，也应该改动单元测试，让其符合预期。每次部署都可以执行一遍所有单测，单测都通过，说明至少这些场景是符合预期的。”

通常来说，单测被视为程序的“一部分”，开发者完成编程后，应当继续完成单测——他们是最了解这段程序的人，由他们来完成单测往往效率最高。

另外一种情况是，当开发者们准备以现有的程序为基础，进行上层的开发，他们也会先进行单测，以规避程序中潜在故障对后续动作的影响。

“这次黑客马拉松，属于后者的情况。”“光踪耀组”的破破表示，“本次单测完善了对服务域与存储域绝大多数场景的可行性验证。我们在业务层构建前完成了一次集中的 UT 测试，来提升微服务体系的稳定性。长远来看，也有利于提升 DataSimba 整体的开发效率，同时有助于提高代码质量、减少程序缺陷。”

CDP 标签计算性能优化

提升 10-20 倍！

你是否在为 CDP 标签计算效率低而困扰？

你是否在为 CDP 无法承受几百个枚举值而担忧？

你是否还在为千万级数据量下标签计算的内存溢出风险而烦恼？

这正是“性能怪兽组”解决的问题。

经过 SQL 逻辑优化，“性能怪兽组”将原先可能存在关联查询的地方进行调整，大幅提升了几百个标签关联查询的效率，同时消灭内存溢出的风险。

“无论在标签圈人，还是标签分析、人群洞察，多个方面的查询效率都得到了极大提升，甚至可达 10 倍乃至几十倍”，“性能怪兽组”组长恒生介绍，“而且这取决于圈人标签数，你选择的标签数越多，提升越明显。”

经测试，日期类型的标签性能提升了 3 倍，数值类型性能提升了 5 倍，枚举类型提升高达 8 倍。而如果设枚举值到数百个，性能可提升上百倍，充分满足了客户实际运营场景。

此处插播一则广告

CDP（Customer Data Platform，消费者数据平台）是奇点云消费者运营平台 DataNuza 的重要构成，支持全渠道数据融合，构建企业全局 360°消费者标签；支持秒级圈人，随时找到目标消费群体；支持弹性标签，满足动态扩展的业务需求，让消费者运营不再被限定。

MA 全场景覆盖测试

要满足全场景，也要节约资源

MA，即 Marketing Automation，营销自动化，是自动执行营销任务的工具。它以可视化的流程编辑器的形式进行营销策略的制定，帮助企业组织全局营销战役。

以奇点云消费者运营平台 DataNuza 的 MAP（营销自动化平台）为例：它提供可视化的营销编辑画布，运营可自由拼装、连接策略器，灵活创建规则化的营销链路，制定企业专属的客户旅程；定时、定期、行为事件营销，可基于人群、事件、AB 测试等形式分流，实现多流程多层级的自动化营销；它还提供企业级扩展模板，支持运营场景、运营触点的灵活自定义扩展。

DataNuza架构图

那么问题来了，面对一个如此灵活、复杂的平台，面对排列组合出的海量场景，应怎么做测试来保证覆盖全面，同时尽可能地节约资源？一旦遇到问题，又应如何改变开发人员逐一排查的现状，快速定位问题？

“风火轮组”这样做：

1、自动化用例测试：通过随机场景算法，自动生成用例场景并执行，完成不同策略的全量测试，提高测试效率；

2、精准策略链路测试：支持进行指定链路功能及性能的测试，并以可视化的方式回放用户数据的流转情况，提前测试出可能会存在的问题；

3、数据流转追踪：可视化展示用户数据流转，精确了解活动的触发和触达情况，以定位问题所在；

4、测试用例优化：引入测试用例设计方法论，利用正交法、因果图等测试用例设计方法来设计测试用例，用更少的用例覆盖更多的场景。

MA全场景测试demo截图

“我们将 MA 全场景拆分为更细粒度的三大模块——测试用例模块、自动化测试模块、问题检测追踪模块。”“风火轮组”组长张三总结道，“针对这些模块，我们开发了自动化测试用例工具、策略链路测试工具，以及数据流转追踪监控工具，并引入了正交法、因果图等测试用例设计算法，覆盖全场景测试的同时，有效减低了人工投入成本，提高了整体测试效率。”

此处再插播一则广告

MAP（Marketing Automation Platform，营销自动化平台）是奇点云消费者运营平台 DataNuza 的重要构成。MAP 支持客户旅程可视化，零门槛即可完成个性化组装；包含多样营销策略，灵活制定基于用户行为的营销流程；内置智能营销引擎，支持完成实时大规模的自动化营销；可自由扩展场景，满足多变的运营需求。

MA 性能测试监控

让营销活动智能可控

“打铁队”同样选择把目光聚焦在 DataNuza 的 MAP。

MAP 作为企业落地营销方案的主要途径、企业与消费者交流的核心枢纽，如何保证在实际运营过程中不出错——举个例子，如何保证在百万量级活动人群的情况下，每个人都能够按照编排路线执行；如何确保 100%不会出现多发、错发、流程卡住等情况？当出现问题时，如何帮助运营人员直接定位问题环节，快速止损？

“打铁队”认为 MAP 全流程监控应该包含以下内容：

其一，服务器监控。MAP 后台通过可视化看板实时显示 CPU 使用率、内存空闲率、MQ 状态等基础信息，并对不良情况设置了告警提醒。

其二，MAP 流程监控。对每一个营销活动状态进行监控，实时同步活动进度，以帮助运营及时发现问题。可设置节点监控，以供感知各策略节点的数据进度。

其三，MAP 基线告警。针对活动设置基线和规则，例如时间（活动准时率、单层准时率）、人数（人数准确率、完整信息触达率等）、资源（单个策略器资源消耗率等），触发告警就会自动发送提醒至运营人员的手机、邮箱。如果活动实际情况产生较大变化，也可根据数据实时调整影响系数与指标体系。

基线管理配置demo截图

“我们把这次 MA 全流程监控的模块命名为 Aurora。”“打铁队”组长朝歌介绍，“基线管理部分，我们使用了偏离预警算法，让告警更智能。在实践过程中，运营的问题暴露不再单靠运气，而可以充分了解阶段进度和结果，风险也能得到提前的预测和暴露。”

算法预测圈人

DataNuza 能力再升级

DataNuza 提供圈人画布，支持标签圈人、行为圈人、行为序列圈人、人群包组合圈人等多种圈人方式，满足多种业务场景，帮助运营随时找到需要的人群。

在此基础上，“追光者小组”提出了一种新的可能：算法预测圈人。

“追光者小组”构建了 DataNuza 的算法数据集底层模型，可灵活适配各种异构的算法预测结果表，从而具备了直接对接算法结果的底层能力，打下了算法应用的技术基础。

在圈人功能模块，“追光者小组”则增加了“算法预测圈人”节点，还支持与其他节点（例如标签圈人、行为圈人等）进行交、并、差、排重、拆分运算，运算后能保存人群包，且该人群包可以自动更新。

算法预测圈人节点demo截图

“我们在原有多重圈人能力的基础上，叠加了算法预测能力，同时，也为未来 DataNuza 其他模块业务应用提供了底层基础。”组长渡野谈到，“基于智能算法，企业客户可以用 DataNuza 预测用户未来可能发生的行为，比如流失概率、购买商品偏好、复购周期等结果，灵活设计人群运营策略，进行精准的人群圈选，实现更加数智化的消费者运营。”

“追光者小组”本次黑客马拉松的实践，不仅仅为 DataNuza 带来能力上的提升，也再次证明，云原生数据中台 DataSimba 与消费者运营平台 DataNuza 形成闭环，能切实为业务带来价值。

“追光者小组”协作实践链路

产品研发从不浮于想象。渡野介绍：“我们的选题灵感来自客户服务实践。DataSimba 的算法工厂、指标工厂接入 DataNuza，支持 DataNuza 形成算法圈人等全链路闭环，为企业消费者运营提效。这也是‘数据驱动的消费者运营平台’DataNuza 的独特之处。我们是追光者，在追寻‘数智应用’之光，我们相信，这只是刚刚开始。”

从底层平台到上层应用

高质量数字化转型工具如何炼成？

短短 3 天，参赛者们在产品迭代、项目服务等“夹击”中，如期交上了答卷，为本届黑客马拉松画上圆满的句号。

比赛中，DataSimba、DataNuza 两大团队密切配合，共同分享质量保障方法，让性能更优，让测试更简单，让问题定位更聪明、更高效。

双方的密切联动也不仅仅体现在“团队”，更体现在了产品本身：DataSimba 与 DataNuza 全链路打通，强强联合，实现产品能力再升级，充分激活数据价值。参赛者们从业务场景和实践出发，活用技术，大胆创新，把数据智能的力量发挥到了极致。

评委、资深技术专家牧然表示：“DataSimba 和 DataNuza 第一次联合参加黑客马拉松，就体现了深度协作。例如，DataNuza 开始引入回放测试和链路跟踪验证，并使用算法模型评价有效性和覆盖率；DataSimba 算法工厂、标签工厂提供的算法能力和标签生产能力，完美连接了 DataNuza 的 MA 链路，增强了 MA 的能力。”

本届黑客马拉松评委组

“短短 3 天时间，最后的结果超出了我的想象。”资深技术专家大门首次担任黑客马拉松的评委，对参赛项目赞不绝口，“‘风火轮组’提出的 MA 全场景覆盖方案，是一个我之前完全没想到的角度，加上算法工程师明觉的加持，既能满足场景，也能节约资源。‘追光者小组’打通算法工厂和标签到 DataNuza 的整个链路，赋予了 DataNuza 的新能力，让 DataNuza 有了‘降维打击’的能力。‘欢乐斗地组’则把运维做成了移动化，切切实实解决了用户的痛点。这 3 个项目都是对原有技术、业务的创新，短短 3 天，就完成了从提出命题到方案设计，开发优化，总结及规划。大家自己选题，按自己兴趣来做，真正做到了为兴趣努力。我觉得这点很有意思，人的潜力在这 3 天被激活了，让大家看到了更多的可能性。DataNuza 以后每次都要参加黑客马拉松。”

评委、资深产品专家水墨说：“我们永远都可以相信小伙伴们突然而来的创意、‘跨界’带来的思想火花以及高效的行动力。”作为 DataNuza 的首席产品经理，水墨表示，参赛选手们将算法数据智能应用了到实际的工作生产中，用更科学、更智能、更省力的方式，更高效、更全面地完成 DataNuza 全链路营销的测试与运维工作。还有许多数据、算法与应用结合的智能应用，方案富有创意又可落地。“这让我们都非常兴奋。非常期待下一次黑客马拉松的精彩表现！”

什么是站在技术与业务交叉点上的数据中台？

什么是真正“数据驱动”的消费者运营平台？

从底层平台到上层应用，高质量数字化转型工具如何炼成？

本届黑客马拉松，正是我们的答案。

彩蛋：他们喜提奖金

本次马拉松共决出 3 支优胜队伍，他们被称为“史上最卷 TEAM”，喜提奖金：“风火轮组”获冠军，“追光者小组”第二，“欢乐斗地组”获得第三。

1

 风火轮组

感谢 DataSimba 团队和 DataNuza 团队联合组织了本次黑客马拉松，让我们有展现自己的机会。

感谢小伙伴这段时间的付出，最终拿到第一名也是对我们最终成果的认可，十分开心。后续我们也会不断完善“风火轮”工具组件，让它成为 DataNuza 不可或缺的一部分。

最后，希望 DataNuza 踩着我们“风火轮”，跑得又快又好。

2

追光者小组

感谢公司给我们这次孵化产品的机会，并对我们的成果给予了非常大的肯定。未来，我们一定会不断追寻“数据智能”的广阔应用，持续帮助客户挖掘更多的数据价值！

3

 欢乐斗地组

有点激动，有点感动，从第一届到第五届，第一次得奖，大家都要哭了😭 没有遗憾了，下周川**菜馆安排上✌️。