谷歌 Apigee 通过 Model Armor 添加内置的大语言模型治理

主要观点:Google Cloud 推出了 Model Armor 的公共预览,它是集成到 Apigee API 管理平台的原生 LLM 治理框架,可直接在 Apigee 的代理层运行,支持多种 LLM 提供商,能在 API 层引入开箱即用的 LLM 特定策略执行,如提示验证、输出过滤和令牌级控制等,以加强 LLM 流量治理并与更广泛的云安全操作相连接。
关键信息

  • 推出公共预览:[https://www.googlecloudcommun...]
  • 社区帖子详述:[https://www.googlecloudcommun...]
  • 支持多种 LLM 提供商:包括 Vertex AI(Gemini、Meta Llama)、OpenAI、Anthropic 和自托管模型
  • 与 Google Kubernetes Engine(GKE)和 Security Command Center 集成:[https://cloud.google.com/secu...]
  • 用 Apigee 的 XML 策略语言表达控制:可集成到现有 API 中
  • 提供动手教程:[https://cloud.google.com/apig...]
    重要细节
  • Model Armor 可检测如越狱尝试、提示注入和个人可识别信息暴露等问题,可按需编辑、更改或阻止输出,且不修改下游系统。
  • 可在所有 Apigee 层级使用,允许团队无论订阅级别如何都能采用 LLM 治理。
  • 框架记录每个策略评估的详细元数据,支持 LLM 行为的监控、异常检测和事后分析。
  • 其他 API 网关通常需自定义中间件实现模型级安全,而 Model Armor 旨在消除此复杂性,在 Apigee 内提供原生执行。
阅读 4
0 条评论