近期,中国信息通信研究院牵头制定《边缘大模型网关技术要求》,为人工智能技术在边端侧实践应用提供参考指引。火山引擎边缘云参与标准制定,针对标准框架和标准内容提出编制意见,推动标准发布,为边缘 AI 产业的发展贡献力量。标准发布后,火山引擎边缘大模型网关经中国信息通信研究院严谨的技术测试,成功通过《边缘大模型网关技术要求》评估,成为首批通过评估的企业。
探索边缘大模型网关发展,参与行业标准制订
《边缘大模型网关技术要求》是由中国信通院牵头,联合产业内多家企业、专家共同研讨制定的标准,标准规定了边缘大模型网关提供服务时,在边缘接入、模型和智能体调用支持、AI 服务调用配置、密钥管理、运维与监控、技术支持等方面应具备的能力要求,适用于边缘计算服务商在提供边缘大模型网关服务和解决方案时的能力匹配。
火山引擎边缘大模型网关持续关注行业动态,以提供更加优质、高效、安全的服务。前期,火山引擎边缘云参与《边缘大模型网关技术要求》标准制定,重点贡献了关键技术、核心能力等内容,此次通过测评不仅意味着火山引擎边缘大模型网关的产品基准能力获得权威认可,更是对边缘大模型网关在技术架构、产品功能上的能力以及参与行业标准建设等方面的肯定。
全维度能力合格,首批通过评估
标准发布后,火山引擎边缘大模型网关经技术测试,成功通过《边缘大模型网关技术要求》评估,标志着火山引擎边缘大模型网关在边缘接入、模型和智能体支持、调用配置、密钥管理、运维与监控、技术支持等方面全维度符合能力标准。
火山引擎边缘大模型网关支持通过一个 API 接口访问多家大模型提供商的模型与智能体,在端侧基于遍布全球的边缘计算节点就近调用。利用边缘云基础架构优势,提高模型访问速度,为终端用户提供更快速、可靠的 AI 服务体验。
基于标准能力要求,火山引擎边缘大模型网关全维度符合标准要求:
- 边缘接入:边缘大模型网关提供标准化接口,网关访问密钥与 OpenAI 的 API 和 SDK 完全兼容,面对多样化的端侧调用场景,方便集成,降低适配成本。同时,边缘大模型网关利用缓存机制对请求就近存储,并在相同请求发出时就近调用,减少模型调用请求的回源次数,降低成本,为终端用户提供更快速、更可靠的 AI 服务体验。
- 模型和智能体支持:边缘大模型网关支持调用国内主要的模型提供商与多种大模型、智能体。面向多样化的终端调用场景,支持多模态与大语言模型,满足调用多模型和多智能体的智能需求。同时,通过预置多领域 AI 智能体,涵盖语音对话、文字识别、目标检测、工业质检等 AI 能力,支持一键调用,助力快速构建场景化解决方案。
- 调用配置:边缘大模型网关具备配置调用顺序、调用次数、超时时长等策略的能力,通过配置调用顺序、自动重试、请求超时等能力,实现模型调用失败自动请求备用模型、单次请求失败自动重试、单次调用响应超时配置。
- 密钥管理:边缘大模型网关具备管理访问密钥的能力,可直接使用平台预置模型并对其创建网关访问密钥,也可以将第三方模型平台的密钥纳管至边缘大模型网关,通过边缘大模型网关签发的网关访问密钥,进行对应模型的访问与调用。
- 运维与监控:边缘大模型网关具备统一监控和基础运维能力,边缘大模型网关可根据您通过网关向模型发出的请求以及模型的响应来统计您的用量。不同模型提供商对模型用量的计量方式有所不同,根据模型调用计量方式,您的调用详情可以在用量统计中进行查看。同时,通过云监控-大模型网关模块,可以查询以网关访问密钥为维度的总用量(已消耗的 tokens 总量)与用量速率(每秒消耗的 tokens 额度)。
- 技术支持:边缘大模型网关具备全局技术支持,提供故障的处理时间、及时响应率、及时解决率;提供异常事件的解决时间、及时响应率、及时解决率以及事件的报告机制;提供变更的受理时间、变更的通知机制以及重大变更的监管报送机制。
火山引擎边缘大模型网关紧跟模型迭代,全面支持豆包 1.5・深度思考模型、接入主流 DeepSeek 模型提供商,同时发布端智能实例以及助力自部署模型公网调用与全链路管控,满足了多模型和多智能体调用的设备智能需求,并在 AI 芯片、智能玩具、具身智能等多个行业场景落地。目前,火山引擎边缘大模型网关为每个首次创建的网关访问密钥提供 200 万 tokens 的免费调用额度,关联最新豆包大模型,还可将免费额度提升至 500 万 tokens !
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。