2025 年 4 月 12 日,首届Bug Bash 会议非常特别。参会者众多,此会是其首次让参会者有“归属感”,因其主题与参会者兴趣及写作内容高度重叠。虽有各种测试、DevOps 和形式方法会议,但此会仍感觉与众不同,可能是与确定性模拟测试的紧密联系,也可能是参会者想法相近。演讲中询问“谁熟悉基于属性的测试”时,几乎所有人都举手,感觉氛围很有趣,让人坚信生成/自主测试是未来。
Will Wilson 的主题演讲为会议奠定基础,引入核心信息:测试、验证和可观察性并非对立,而是同一主题的不同表现。极端情况下它们看似相互排斥,但细微变化会使界限模糊,如从手写到生成测试输入,可观察性监测是测试断言的推广,形式属性则将两者统一。Antithesis 工具不仅是确定性虚拟机,更是测试执行和分析平台,可通过查询存储的执行历史来查找 etcd 中的 bug,这种“预可观察性”工作流将部署后可观察性的根因分析技术应用于模拟系统行为产生的大量执行轨迹。故障注入技术可加快 bug 查找过程,也体现了形式方法的统一本质。
会议整体感受和主题:
- 挑战现状:贯穿演讲的一大主题是应挑战现状,如 Antithesis 本身就是避免测试不稳定问题的确定性虚拟机,生成测试与主流质量技术相悖,Zac Hetfield-Dodds 认为应关注基于属性测试的人性方面以促进其应用,Kyle Kingsbury 在 Jepsen 分析中提出需创建新术语描述新情况,这让参会者意识到应做新研究、建新工具。
- 端到端测试:另一个常见主题是端到端测试,Mitchell Hashimoto 分享使难测代码可测的方法,还介绍了通过 NixOS VM 测试进行全端到端测试,Stephanie Wang 分享在 MotherDuck 建设中的可靠性经验,Ben Egger 强调在 OpenAI 生产环境中测试的重要性,端到端测试是测试和可观察性的完美结合,能更好地处理组件交互和难以重现的语义问题。
- 形式方法推动测试极限:这是个人最喜爱的主题,Ankush Desai 认为形式方法的价值不仅限于验证,可用于提出测试技术,PObserve 框架可通过检查实际系统日志是否符合规范来验证生产系统,与基于模型的测试类似,体现了测试、可观察性和形式方法的协同作用,聚焦于验证实现行为与模型的一致性,是最可能在实际环境中实现的“轻量级形式方法”。
除演讲外,会议氛围很社交,参会者对自主测试、轻量级形式方法和可观察性技术有强烈兴趣,整体体验很棒,感谢 Antithesis 组织会议,若有 2026 年的 Bug Bash 会议,参会者定会踊跃报名。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。