火山引擎技术开放日：A/B 测试「神力」驱动数据决策

4 月 20 日，字节跳动举办火山引擎技术开放日活动，字节跳动副总裁、算法和数据技术负责人杨震原详细介绍了字节跳动内容使用 A/B 测试工具实现数据驱动的应用经验。

数据驱动是实验的本质

A/B 测试是一种通过不同策略进行对比实验，根据结果选择最优方案的数据驱动方法。十八世纪，一位英国医生把患有坏血病的水手随机分成六组，用不同方法进行治疗，从而确定了柠檬和橘子能有效治疗坏血病，这是人类有记载最早的 A/B 测试。在大数据时代背景下的今天，A/B 测试则被微软、谷歌等互联网巨头广泛使用在产品开发和运营中。

据杨震原介绍，公司成立之初，今日头条就在做策略推荐类的 A/B 测试。2016 年，字节跳动建立了支持大规模产品实验的 A/B 测试平台，之后陆续接入抖音、西瓜视频等全线业务，把 A/B 测试应用在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上。

图：字节跳动副总裁杨震原

最新数据显示，字节跳动每天同时进行的 A/B 测试达到上万场，单日新增实验数量超过 1500 个，覆盖 400 多个大大小小的业务。随着公司发展，这些数字还在不断扩大。截至今年3月底，字节跳动累计已经做了 70 多万次 A/B 测试。

善用工具，警惕边界

杨震原强调，A/B 测试并不是万能的，它也有很多局限性，比如提高商品推荐门槛、不推荐评分低的商品，如果做 A/B 测试，短期内交易量肯定会降低，但长期来看结论有可能逐渐反转，这是长周期影响和目标设定的问题。此外，独立的实验条件、统计置信度等问题都是做 A/B 测试需要考虑的。

A/B 测试的过程，有时不完全看它的结论，它也会给你带来很多认知，这就是经验带来的偏差。A/B 测试可以纠正这些偏差。企业应充分意识到 A/B 测试的优势和缺陷，对目标选择适合的评估方法。比如战略型决策，需要专家角色进行长期的思考；很多细节的决策，如果能做A/B测试，要尽量做 A/B 测试，并且要关注到量化分析的执行能力，真正做到数据驱动科学决策。

具体来说，根据 A/B 测试的结果，“抖音”其实是排名第二的，但它更符合产品的需要，所以最终还是选择了它。

火山引擎：智能激发增长

火山引擎是字节跳动旗下面向企业的数字服务与智能科技品牌，基于大数据、人工智能和基础服务等技术能力，为企业提供系统化的全链路解决方案，助力企业务实地创新，给企业带来持续、快速增长。

字节跳动长期积累的技术能力和增长方法，包括基础服务、技术中台、智能应用和行业解决方案，视频编辑、特效、文字识别、图像识别、个性化推荐等技术能力，现已在火山引擎产品中上线，提供给企业使用。

以悟空租车为例，该公司已通过火山引擎进行了 70 多次 A/B 测试，约有 60% 为正向实验，提升产品转换率约 40%，以往需要一周时间的需求复盘数据分析，现在只要一天就能得到数据结论，工作效率和效果大大提升。

活动日当天，火山引擎宣布了助力中小企业增长的火种计划。首批纳入计划的产品包括：火山引擎的增长分析、A/B 测试、性能监控等等。据官网显示，6 月 30 日前，企业客户加入“火种计划”即可享受用户增长分析 12 个月免费使用权，游戏增长分析6个月免费使用权，参与 A/B 测试特惠活动，以及应用性能监控无限期免费使用。