AI大模型的潜在风险，如何做好管控？

0 前言

这是一系列技术和组织协议，旨在帮助管理开发日益强大的 AI 系统的风险。随 AI 模型强大，我们认为它们将为经济和社会带来巨大价值，但也将带来日益严重的风险。RSP 主要关注灾难性风险，即 AI 模型直接导致的大规模毁灭性风险。这些风险可能源于对模型的故意滥用（例如被恐怖分子或国家行为者用来制造生物武器），也可能因模型以自主且违背设计者意图的方式行动而造成的破坏。

RSP 定义了一个名为 AI 安全等级（ASL）的框架，用于应对灾难性风险，灵感源于美国政府处理危险生物材料的生物安全等级（BSL）标准。基本思路是根据模型潜在的灾难性风险要求相应的安全、保障和操作标准，随着 ASL 级别的提升，安全性证明的要求也会逐步增加。

1 ASL 系统简要概述

• ASL-1：无实质性灾难风险的系统，如 2018 年 LLM 或仅会下象棋的 AI 系统
• ASL-2：显示出危险能力的初期迹象的系统，例如具备提供如何制造生物武器的指令的能力，但由于信息可靠性不足或未提供比搜索引擎更多的信息，因此不具备实际用途。目前LLM包括 Claude，均属ASL-2
• ASL-3：相较于非 AI 基准（如搜索引擎或教科书）显著增加灾难性误用风险的系统，或显示低水平自主能力的系统
• ASL-4 及以上（ASL-5+）：尚未定义，因为与当前系统存在较大差距，但可能涉及灾难性误用潜力和自主性上的质变升级

各 ASL 级别的定义、标准和安全措施在主文档中有详细说明，但从高层看，ASL-2 措施代表我们目前的安全和保障标准，并与我们最近的白宫承诺有显著重叠。ASL-3 措施包含更严格标准，需大量研究和工程工作来满足，如极强安全要求，以及在经过顶尖红队对抗测试后，若显示出任何灾难性误用风险，即承诺不部署 ASL-3 模型（这不同于仅承诺进行红队测试）。

ASL-4 措施尚未制定（承诺达到 ASL-3 之前完成制定），但可能需要一些目前仍是未解决研究问题的保证方法，如使用可解释性方法来机制性地证明模型不太可能出现某些灾难性行为。

设计 ASL 系统是为了在有效应对灾难性风险与激励有益应用和安全进展之间取得平衡。ASL 系统隐含要求我们在 AI 扩展超出我们遵守必要安全程序的能力时暂时暂停训练更强大的模型。但它以一种直接激励我们解决必要安全问题的方式实现这点，将解决安全问题作为进一步扩展的解锁条件，并允许我们使用前一个 ASL 级别的最强大模型作为开发下一级别安全特性的工具。[1] 如果被前沿实验室采纳为标准，我们希望这可能创造一个"向上竞争"的动态，将竞争激励直接引导到解决安全问题上。

商业角度看，RSP 不会改变 Claude 当前用途或中断产品的可用性。相反，它应被视为类似汽车或航空工业中进行的上市前测试和安全特性设计，目标是在产品投放市场前严格证明其安全性，最终使客户受益。

Anthropic RSP 已得到董事会批准，变更必须在与长期效益信托协商后获得董事会批准。完整文档描述了一些程序性保障措施，以确保评估过程完整性。

然而，这些承诺是我们目前最佳猜测，将继续完善的早期迭代。AI 作为一个领域快速发展步伐和诸多不确定性意味与相对稳定 BSL 系统不同，快速迭代和方向修正几乎肯定必要。

完整文档可在这里阅读。希望它能为政策制定者、第三方非营利组织以及面临类似部署决策的其他公司提供有用启发。

脚注

1. 总的来说，Anthropic 始终发现与前沿 AI 模型合作是开发新方法以降低 AI 风险的重要组成部分。

关注我，紧跟本系列专栏文章，咱们下篇再续！

作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。

各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。

负责：

• 中央/分销预订系统性能优化
• 活动&券等营销中台建设
• 交易平台及数据中台等架构和开发设计
• 车联网核心平台-物联网连接平台、大数据平台架构设计及优化
• LLM Agent应用开发
• 区块链应用开发
• 大数据开发挖掘经验

• 推荐系统项目

  目前主攻市级软件项目设计、构建服务全社会的应用系统。

参考：

• 编程严选网

  本文由博客一文多发平台 OpenWrite 发布！