OpenAI发布准备框架以应对AI风险

OpenAI最近发布了其准备框架的测试版本，旨在减轻AI风险。该框架列出了四个风险类别及其相应的风险级别定义，并明确了OpenAI的安全治理程序。

准备框架的核心内容

1. 风险类别：框架重点关注前沿模型带来的风险，涵盖了以下四个类别：

   • 说服力：模型在影响人类决策方面的能力。
   • 网络安全：模型在网络安全操作中的潜在影响。
   • CBRN（化学、生物、放射、核）：模型在这些领域的潜在风险。
   • 模型自主性：模型在自主决策方面的风险。
2. 风险级别：框架定义了四个风险级别：低、中、高、关键。例如，网络安全风险级别为中级的模型可能会“提高操作员在关键网络操作任务中的生产力，如将已知漏洞转化为攻击”。
3. 评估与预测：OpenAI致力于通过严格的能力评估和预测来检测新兴风险，并将风险讨论从假设情景转向具体测量和数据驱动的预测。

4. 治理程序：框架定义了基于模型缓解前后风险级别的安全基线：

   • 高风险或关键风险：在缓解前，OpenAI将加强安全措施，例如将模型限制在受限环境中使用。在缓解后，如果风险仍为高或关键，模型将不会被部署，且关键风险的模型将停止进一步开发。
   • 决策权：OpenAI领导层默认是安全决策的主导者，但董事会有权推翻决策。

其他AI公司的风险应对措施

1. Anthropic：发布了负责任扩展政策（RSP），采用类似于疾病控制中心的生物安全级别（BSL）的AI安全级别（ASL）框架。大多数LLM（包括Anthropic的Claude）被视为ASL-2级别。
2. Google DeepMind：发布了AGI模型分类框架，列出了六个自主级别及其相关的潜在风险。

社区反馈与担忧

在Hacker News的讨论中，有用户指出OpenAI的框架未充分解决AI模型被用于人类决策时可能导致的系统性滥用问题，尤其是对弱势群体的影响。

总结

OpenAI的准备框架是其在AI安全领域的重要举措，旨在通过定义风险类别、级别和治理程序来应对前沿模型带来的潜在风险。与此同时，其他AI公司如Anthropic和Google DeepMind也发布了类似的框架，显示出行业对AI风险治理的普遍关注。然而，社区对AI在人类决策中的应用及其潜在的社会影响仍存在担忧。