在数字化浪潮的推动下，数据分析与精细化运营已成为企业提升竞争力的关键。近日，火山引擎 A/B 测试 DataTester 完成了指标能力的全面升级，为企业在流量竞争激烈的市场中提供了更强大、更可信的数据支持。
此次升级亮点在于引入了 ” 按某个属性去重 ” 作为分母进行置信度计算的功能，例如在分析渠道的平均付费总和时，企业可以利用火山引擎 A/B 测试的新功能，通过 ” [ 付费事件 : 按付费金额求和 ] / [ 付费事件 : 按渠道求去重数 ] ” 的方式构建指标，从而在统计意义上确保渠道分发策略的合理性。在此场景下，该功能可以使得企业在分析渠道付费情况或商品销售数据时，能够更加准确地评估渠道的健康状态和商品的市场表现。
此次，火山引擎 A/B 测试还升级了多项指标展示能力，包括按差异相对值展示、p-value 和置信区间切换等。这些功能的加入，使得企业在查看指标看板时，能够更直观地理解指标的变化，从而做出更准确的决策。同时，在过滤了用户分群后，火山引擎 A/B 测试还能实时计算 p-value 和置信区间，为企业提供实时、精确的数据支持。
火山引擎 DataTester 的指标管理系统同样值得称道。该系统支持多种指标的计算方式，包括事件（算子）指标、留存指标和漏斗指标。其中，事件指标可以利用埋点上报的事件和算子（总次数、总人数、按 … 求和 / 求均值 / 去重数等）计算出的值来定义。现在，这些事件指标在 ” 按某个属性去重 ” 作为分母的情况下，也能支持置信度计算，提升了数据的准确性和可靠性。
图：四则运算的事件指标，以网页端 ssid 去重数作为分母，可以计算置信度
留存指标比传统的 ” 应用登录留存率 ” 更广义，它可以计算第二个事件相对第一个事件按天的留存率，包括购买留存率（复购）、访问某个功能的留存率等。DataTester 中这一功能的加入，使得企业能够更全面地了解用户的留存情况，为优化产品功能和提升用户体验提供了有力支持。
图：留存指标可测试多日复购
漏斗指标则是将一系列事件发生按顺序排列，判定一个用户在此顺序下发生这些事件，到达最后一步的转化率。这一指标类型对于基于流程场景的优化具有交大帮助，能够帮助企业精准定位影响用户转化的关键因素。
目前，火山引擎 DataTester 的指标看板页面可以切换差异绝对值以及 p-value 和置信区间切换，协助实验决策更好地理解指标变化。
同时，在过滤了用户分群后，可以支持实时计算 p-value 和置信区间。
火山引擎 A/B 测试优秀的指标管理系统以及实时计算能力，以 ” 数据消费 ” 为核心，不仅提升了企业精细化运营的效率，还降低了数据偏见的出现概率。企业可以利用这些可信的结果上线新功能，从而在激烈的市场竞争中获得领先的优势。
火山引擎 DataTester 作为火山引擎数智平台 VeDI 旗下的核心产品，源于字节跳动长期的技术和业务沉淀。目前，DataTester 已经服务了包括美的、华泰证券、博西家电、乐刻健身等知名品牌在内的上百家企业。这些企业通过不断进行的 A/B 测试和优化迭代，提升产品与服务质量，实现业务持续的优化和增长。随着数字化时代的深入发展，数智化分析与精细化运营将成为企业不可或缺的核心竞争力，而火山引擎数智平台通过为企业提供更强大的数据支持，助力企业在数字化浪潮中破浪前行。
