主要观点：测试大规模分布式系统很困难，需探索可能的失败空间，文中分享了 DBOS 大规模部署测试的学习和最佳实践，包括多种测试方法及具体案例。
关键信息：

• 测试大规模分布式系统需多种方法结合，如形式验证（难采用）、确定性模拟测试（难实现且处理外部依赖有挑战）、混沌测试（DBOS 依赖此方法）。
• 混沌测试通过随机注入故障来测试系统，DBOS 的混沌测试套件会启动数百个分布式进程并施加复杂工作负载，验证关键属性，如工作流耐久性等。
• 混沌测试要设计为仅验证系统范围的不变量，避免特定断言测试。
• 举例说明通过混沌测试发现并修复的一个关于 DBOS.recv()处理并发执行的微妙 bug，原因为数据库断开时代码处理不当，修复方法是使用 try-finally 确保条件变量总是被清理。
  重要细节：
• 形式验证虽数学严谨但难采用，维护规格和代码实现开销大，且不能保证代码正确实现规格。
• 确定性模拟测试构建单线程确定性测试框架，控制事件顺序和注入故障，但处理外部依赖有挑战。
• DBOS 的混沌测试会在工作负载运行时随机注入多种故障，如进程崩溃、数据库断开等，验证关键属性。
• 修复的 bug 仅在特定数据库断开时刻发生，原代码处理并发执行时在数据库断开时会导致条件变量未清理，引发工作流阻塞。
• 可通过https://docs.dbos.dev/quickstart和https://github.com/dbos-inc了解更多关于持久执行的信息。