火山引擎 VeDI：A/B 测试平台指标能力升级，助力企业提升精细化运营效率

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

在数字化浪潮的推动下，数据分析与精细化运营已成为企业提升竞争力的关键。近日，火山引擎 A/B 测试 DataTester 完成了指标能力的全面升级，为企业在流量竞争激烈的市场中提供了更强大、更可信的数据支持。

此次升级亮点在于引入了“按某个属性去重”作为分母进行置信度计算的功能，例如在分析渠道的平均付费总和时，企业可以利用火山引擎 A/B 测试的新功能，通过“[付费事件:按付费金额求和]/[付费事件:按渠道求去重数]”的方式构建指标，从而在统计意义上确保渠道分发策略的合理性。在此场景下，该功能可以使得企业在分析渠道付费情况或商品销售数据时，能够更加准确地评估渠道的健康状态和商品的市场表现。

此次，火山引擎 A/B 测试还升级了多项指标展示能力，包括按差异相对值展示、p-value 和置信区间切换等。这些功能的加入，使得企业在查看指标看板时，能够更直观地理解指标的变化，从而做出更准确的决策。同时，在过滤了用户分群后，火山引擎 A/B 测试还能实时计算 p-value 和置信区间，为企业提供实时、精确的数据支持。

火山引擎 DataTester 的指标管理系统同样值得称道。该系统支持多种指标的计算方式，包括事件（算子）指标、留存指标和漏斗指标。其中，事件指标可以利用埋点上报的事件和算子（总次数、总人数、按...求和/求均值/去重数等）计算出的值来定义。现在，这些事件指标在“按某个属性去重”作为分母的情况下，也能支持置信度计算，提升了数据的准确性和可靠性。

图：四则运算的事件指标，以网页端 ssid 去重数作为分母，可以计算置信度

留存指标比传统的“应用登录留存率”更广义，它可以计算第二个事件相对第一个事件按天的留存率，包括购买留存率（复购）、访问某个功能的留存率等。DataTester 中这一功能的加入，使得企业能够更全面地了解用户的留存情况，为优化产品功能和提升用户体验提供了有力支持。

图：留存指标可测试多日复购

漏斗指标则是将一系列事件发生按顺序排列，判定一个用户在此顺序下发生这些事件，到达最后一步的转化率。这一指标类型对于基于流程场景的优化具有交大帮助，能够帮助企业精准定位影响用户转化的关键因素。

目前，火山引擎 DataTester 的指标看板页面可以切换差异绝对值以及 p-value 和置信区间切换，协助实验决策更好地理解指标变化。

同时，在过滤了用户分群后，可以支持实时计算 p-value 和置信区间。

火山引擎 A/B 测试优秀的指标管理系统以及实时计算能力，以“数据消费”为核心，不仅提升了企业精细化运营的效率，还降低了数据偏见的出现概率。企业可以利用这些可信的结果上线新功能，从而在激烈的市场竞争中获得领先的优势。

火山引擎 DataTester 作为火山引擎数智平台 VeDI 旗下的核心产品，源于字节跳动长期的技术和业务沉淀。目前，DataTester 已经服务了包括美的、华泰证券、博西家电、乐刻健身等知名品牌在内的上百家企业。这些企业通过不断进行的 A/B 测试和优化迭代，提升产品与服务质量，实现业务持续的优化和增长。随着数字化时代的深入发展，数智化分析与精细化运营将成为企业不可或缺的核心竞争力，而火山引擎数智平台通过为企业提供更强大的数据支持，助力企业在数字化浪潮中破浪前行。

点击跳转火山引擎A/B测试了解更多