火山引擎 VeDI:A/B 测试平台指标能力升级,助力企业提升精细化运营效率
在数字化浪潮的推动下,数据分析与精细化运营已成为企业提升竞争力的关键。近日,火山引擎 A/B 测试 DataTester 完成了指标能力的全面升级,为企业在流量竞争激烈的市场中提供了更强大、更可信的数据支持。
此次升级亮点在于引入了“按某个属性去重”作为分母进行置信度计算的功能,例如在分析渠道的平均付费总和时,企业可以利用火山引擎 A/B 测试的新功能,通过“[付费事件:按付费金额求和]/[付费事件:按渠道求去重数]”的方式构建指标,从而在统计意义上确保渠道分发策略的合理性。在此场景下,该功能可以使得企业在分析渠道付费情况或商品销售数据时,能够更加准确地评估渠道的健康状态和商品的市场表现。
此次,火山引擎 A/B 测试还升级了多项指标展示能力,包括按差异相对值展示、p-value 和置信区间切换等。这些功能的加入,使得企业在查看指标看板时,能够更直观地理解指标的变化,从而做出更准确的决策。同时,在过滤了用户分群后,火山引擎 A/B 测试还能实时计算 p-value 和置信区间,为企业提供实时、精确的数据支持。
火山引擎 DataTester 的指标管理系统同样值得称道。该系统支持多种指标的计算方式,包括事件(算子)指标、留存指标和漏斗指标。其中,事件指标可以利用埋点上报的事件和算子(总次数、总人数、按...求和/求均值/去重数等)计算出的值来定义。现在,这些事件指标在“按某个属性去重”作为分母的情况下,也能支持置信度计算,提升了数据的准确性和可靠性。
图:四则运算的事件指标,以网页端 ssid 去重数作为分母,可以计算置信度
留存指标比传统的“应用登录留存率”更广义,它可以计算第二个事件相对第一个事件按天的留存率,包括购买留存率(复购)、访问某个功能的留存率等。DataTester 中这一功能的加入,使得企业能够更全面地了解用户的留存情况,为优化产品功能和提升用户体验提供了有力支持。
图:留存指标可测试多日复购
漏斗指标则是将一系列事件发生按顺序排列,判定一个用户在此顺序下发生这些事件,到达最后一步的转化率。这一指标类型对于基于流程场景的优化具有交大帮助,能够帮助企业精准定位影响用户转化的关键因素。
![](https://static001.geekbang.org/infoq/a8/a80688a7f615d17737eabcf5ed799eb1.png)
目前,火山引擎 DataTester 的指标看板页面可以切换差异绝对值以及 p-value 和置信区间切换,协助实验决策更好地理解指标变化。
同时,在过滤了用户分群后,可以支持实时计算 p-value 和置信区间。
火山引擎 A/B 测试优秀的指标管理系统以及实时计算能力,以“数据消费”为核心,不仅提升了企业精细化运营的效率,还降低了数据偏见的出现概率。企业可以利用这些可信的结果上线新功能,从而在激烈的市场竞争中获得领先的优势。
火山引擎 DataTester 作为火山引擎数智平台 VeDI 旗下的核心产品,源于字节跳动长期的技术和业务沉淀。目前,DataTester 已经服务了包括美的、华泰证券、博西家电、乐刻健身等知名品牌在内的上百家企业。这些企业通过不断进行的 A/B 测试和优化迭代,提升产品与服务质量,实现业务持续的优化和增长。随着数字化时代的深入发展,数智化分析与精细化运营将成为企业不可或缺的核心竞争力,而火山引擎数智平台通过为企业提供更强大的数据支持,助力企业在数字化浪潮中破浪前行。
评论