通过 AI 代理创建的软件的安全保障:下一个安全范式

主要观点:自 2022 年末 ChatGPT 和生成式 AI 成为主流以来,影响的兴起对软件开发行业产生了直接影响,代理式 AI 的崛起是软件开发的下一个重大转变,同时也需要从安全角度重新审视。
关键信息

  • AI 生成代码工具如 Amazon Q Developer、GitHub Copilot 和 Google Gemini 利用大型语言模型生成代码,代理式 AI 可自主生成、调试和部署代码。
  • 代理式 AI 带来新的安全风险,如安全设计不佳、训练数据中毒和模型偏差、缺乏可追溯性、代理式 AI 漏洞等。
  • 需采用新的方法 Secure-AI-DevOps,包括人工监督、设置代理护栏和提示工程、行为监测以及共享责任等。
    重要细节
  • 传统软件有人类经验优势,而 AI 代理缺乏实际上下文和威胁建模能力,可能生成易受攻击的代码。
  • 训练数据中毒可能导致 AI 代理学习到恶意模式,恶意提示等可操纵代理生成不安全配置。
  • 缺乏可追溯性使确定代码来源等困难,代理式 AI 漏洞使其自身成为目标。
  • 安全-AI-DevOps 强调人工监督、设置护栏、行为监测和共享责任,开发者需充当 AI 监督者,确保安全。
阅读 178
0 条评论