主要观点：AI 代理的出现带来“安全定时炸弹”，其可直接与用户环境交互，攻击面大且易受多种来源操纵，潜在后果严重，传统安全评估不足，需更全面蓝图。
关键信息：

• 蓝图分三部分：战略基础（将安全纳入设计）、从理论到实践（高级红队测试）、通过行业标准化扩大信任（AILuminate 基准）。
• 战略基础：定义用例（确定操作边界和上下文）、构建详细风险分类法（映射所有相关主题和潜在用户意图）、建立明确响应政策（定义应对风险的行为）。
• 高级红队测试：对 AI 代理进行 1200 多个精心设计的测试场景，包括外部提示注入等，产出可复用测试环境。
• 行业标准化：AILuminate 基准提供共享透明标准，涵盖 12 个风险类别，通过多层构建提示确保测试真实且难以规避。
  重要细节：
• 不同用途的 AI 代理风险不同，如企业金融代理与公共聊天机器人。
• 风险分类法需考虑各种交互方式，防止出现盲点。
• 红队测试针对实际威胁，如模拟网页恶意广告等。
• AILuminate 基准涉及 24000 个危险提示，分 12 个类别，多层构建以评估模型。