技术沙龙演讲实录 | 张俊钦：火山引擎边缘智能，联通大模型的物理世界

在“探索端智能，加速大模型应用” 火山引擎边缘智能x扣子技术沙龙上，火山引擎边缘智能资深研发工程师张俊钦分享了火山引擎边缘智能结合扣子推出的面向 AIoT 全场景解决方案，详细介绍火山引擎边缘智能平台能力，包括提供从设备接入、数据处理到边缘推理等完整技术链路，以及结合扣子联合打造的创新解决方案如何帮助大模型拓展使用边界，加速大模型应用落地实践。

演讲内容主要包括了三部分：
边缘智能产品介绍；边缘智能拓展扣子物理边界；扣子基于边缘智能的应用实践。

以下是演讲实录：

大家下午好，我叫张俊钦，来自火山引擎边缘智能团队，很高兴有机会跟大家分享火山引擎边缘智能产品以及跟扣子的实践，今天分享的主题是《火山引擎边缘智能，联通大模型的物理世界》。

边缘智能，打造全面、高效、安全的边缘AI服务

首先介绍一下边缘计算的发展趋势。根据IDC报告，目前AI部署会逐渐从云端向边缘拓展，随着大模型的小型化以及大模型本身性能的优化，边缘AI模型的应用会得到越来越多的发展。据IDC预测， 2024年中国市场上的AI终端占比会达到55%，搭载AI终端的设备会超70%。同样，来自高通的报告显示，截止2024年，AI终端出货量超过25亿，这里面包含了各种各行业的终端，包括智能手机、可穿戴设备、汽车、边缘网络、工业物联网等。这会让AI推理下沉到边缘，同时会孕育出越来越多边缘的应用。

鉴于技术发展趋势，火山引擎以边缘智能为核心推出了新的产品体系，以更好地满足未来的市场需求。火山引擎边缘智能包含主要的三个子平台：物联网平台、边缘智能平台、大模型网关。

• 物联网平台是集成了设备接入、消息通信和设备管理等能力的一体化平台，你可以将身边各式各样的设备，包括传感器、水表、充电桩、车检器等，通过SDK的能力直接连接到云端平台，然后在云端对设备进行整个生命周期的管理。
• 边缘智能平台依托于边缘一体机现场边缘的能力连接设备，各类生活和工业的常见设备，包括摄像头、工业机床、智能仪表等，通过连接到边缘一体机，经过容器化处理、AI推理等，将结构化数据传输到云端，形成一体化的、高可靠的智能解决方案。
• 大模型网关允许用户通过统一的API、统一入口、统一的标准，在不需要更改任何代码的情况下，无缝切换到任何一个厂商的大模型，同时，依托于遍布全球的边缘计算节点提供的就近调用能力，提升大模型调用效率。

从边缘智能整体来看，我们将场景分为四个阶段，包括端侧设备、现场边缘、近场/云边缘以及云中心。端侧设备，是指包括常见的传感器等各种各样的设备，云中心是云数据中心以及提供的云服务，在这两者之间，我们提供南向和北向的通道，提供传输和控制能力，依托于边边协同的云原生底座，提供基于云原生的现场边缘跟近场云边缘的产品能力。主要提供包括设备接入、数据处理/边缘推理和数据按需上云的能力。

• 设备接入层面，支持接入各种各样的设备，物联网类、工业类通过MQTT，Modbus，OPC UA，IEC等协议，多媒体类通过ONVIF，GB/T28181，RTSP等流媒体数据实现接入。
• 数据处理/边缘推理能力层面，用户通过拖拉拽的低代码方式，按照需求编排业务，实现全生命周期的数据处理流程，同时可以无缝衔接部署到一体机上的各种AI模型，实现智能的数据处理。
• 数据按需上云层面，数据处理完成以后，会更有价值、更被需要，这些数据可以经过北向通道流转到云数据中心保存。

以上提到的其实都是对于数据的处理，数据对于企业、厂商、用户来讲，都是珍贵的，我们提供数据的“云-边-端”一体智能化解决方案，包含了从数据源、数据采集、数据处理到数据应用的全链路业务能力。从接入设备感知数据以及第三方数据，通过协议适配，在数据采集流程中提供数据安全、低延时、低带宽保障，进入数据治理流程后，用户可以自己完成时序的数据分析以及数据编排等，把编排后的数据进行标准化，再经过数据建模转发到服务，支持转发到本地数据或云端的数据服务，最终，在数据应用中，连接到基础服务、开发服务、运维监管服务，形成完整的全链路业务能力。

边缘智能 x 扣子，拓展 AI Agent 物理边界

边缘智能如何帮助拓展扣子的物理边界呢？使用过的用户都知道，通过扣子可以很方便地创建专属AI应用，扣子不仅整合了插件工具，拓展了Bot的能力边界，还提供了多样化的数据源，便于通过知识库进行数据的管理与存储，此外扣子提供灵活的工作流设计，轻松应对复杂的业务逻辑处理。更重要的是，扣子具备持久的记忆功能，能够长期记录用户对话内容。

当前AI Agent在互联网的应用充分体现了智能体带来的生产效率革新，而边缘智能具备的物联网能力，能够帮助AI Agent拓展更丰富的行业应用场景。

通过边缘一体机接入包括摄像头、传感器、机床等各类设备，采集设备数据，将数据经过现场边缘部署的服务，包括应用计算、AI推理等本地化的实时处理后，变成结构化数据，传输到边缘智能平台，再通过提供API的方式跟扣子互相结合，刚刚提到扣子集成了丰富的插件去拓展能力，基于这一特性，边缘智能变成扣子可直接调用的插件，可集成到工作流、插件、知识库里，通过这种方式实现设备管理、数据处理、边缘推理，联动物理世界，进一步拓展了Bot跟身边常见设备进行交互的能力。

以一个实际的例子来说明，工具列表当中是刚刚提到的数据流、工作负载、设备管理等能力，边缘智能通过扣子插件的方式，提供了将智能体拓展到各类工业生产环节、生活环境设备的能力。

扣子基于边缘智能的最佳实践

智能数字工厂

实际上，扣子基于边缘智能的解决方案已在生产生活中取得了实践，下面分享两个实践案例。首先是智能数字工厂，越来越多的工厂有强烈的设备数字化需求，这也是一个演进方向。边缘智能基于边缘智能一体机、边缘智能管控平台能力，实现异构多源数据采集，包括控制器、调节器、桥接器、PLC及已有的各种数据库，采集完成后，结合AI推理，对数据进行处理和分析，实现数据按需上云，最终形成用户所期望的数字化转型能力，赋能工业客户数字化转型。

在接入分析上，通过设备管理能力，产线上的数据可以接入到边缘智能平台，包括温度、湿度、生产效率、良品率在内的产线数据将实时上传到平台，在经过平台时序数据的处理后，分析数据中的异常，做进一步筛选，筛选过的数据将更有价值，会上传到云端，帮助大模型更好地理解数据。

基于设备接入和分析，结合扣子AI Agent能力，可以构建智能工厂助手Bot，同时依托火山引擎边缘智能即可全面精准地采集工厂各类设备及传感器信息，以实现智能高效管理。

智能工厂助手Bot可以配置和记录边缘智能的插件，在工作流里可以配置定时巡检。这里提供一个示例，比如告诉Bot要巡检工厂，Bot会智能化地理解输入，调用巡检的工作流，完成对各个产线数据包使用，边缘智能在边缘端处理数据，上传到云端进行理解分析，最终形成反馈。Bot发现，产线1的设备温度高于50度，且持续了120分钟，长时间高温运行可能会影响设备的性能和寿命，甚至可能引发故障；产线2从早上8:32分开始良品率下降，从99.3%下降到98.65%，可能是设备出现了某些问题，影响了产品质量。同时，Bot给出了相应建议，建议立即检查产线1设备的散热系统，确保散热风扇正常运转、散热通道畅通；建议全面检查产线2的设备、检查原材料是否有变化、分析生产出的不良品等。

边缘智能联合扣子，帮助工厂管理者只需通过手机、平板等移动设备，即可实时查询生产线情况、掌握生产数据，并通过扣子定时巡检，保证生产效率和质量，进一步提高管理水平。

智慧园区

除了智能数字工厂，在智慧园区方向也分享一个落地案例。依托边缘一体机、物联网技术及云边智能平台能力，实现了园区异构感知设备的数据采集。这些设备包括但不限于照明、井盖检测、车流检测、车检器、垃圾满溢等园区传感器设备；水表、电表、充电桩、储能设备等能耗设备，以及园区监控系统。这些设备通过边缘一体机接入到边缘智能管理平台并完成数据采集。通过统一管理、AI推理，视频分析等能力，最终赋能园区智慧化应用。

在边缘智能平台部署AI分析模型，将烟火检测、车辆检测、打架检测、行人检测等模型部署到边缘一体机，可实时分析园区的各个摄像头，通过低代码的方式，快速构建视频AI分析流程，经过解码抽帧、AI检测，最终形成结构化数据，把这些有问题的数据帧上传到云端，获得分析结果，只上传有问题的数据帧可以避免大模型处理无效的、静止的画面，极大提高智能体大模型的处理效率。

同时结合扣子能力，可以构建智能园区安防Bot，凭借火山引擎边缘智能所提供的强大的智能AI视频分析能力，为园区管理员提供全方位的安全防范服务。

智能园区安防Bot同样可以接入火山引擎边缘智能插件，配置触发器，触发器可以在发生事件时主动触发。这里提供一个示例，在没有主动提问的情况下，智能园区安防Bot通过异常事件触发，通知了北部厂区烟雾、南部厂区入侵行为的情况，同时会告知事件发生时间、情况说明、预警级别、紧急程度以及报告周期、改进建议等。借助扣子的触发器能力，可以实时将边缘异常事件推送到Bot，发送给管理者，基于大模型的理解能力去产生事件报告，不需要二次推理分析，省去结合信息、生成理解的过程，帮助管理者更高效管理园区。

通过实时分析园区内各个摄像头的视频数据，迅速识别出异常情况，如非法入侵、人员聚集、车辆违规停放等。一旦发现异常，就会立即触发警报，并将相关信息推送至扣子智能体，结合飞书的消息推送，管理人员可以快速响应，从而加强风险管控。

以上为演讲实录全部内容。

在探索边缘智能和扣子的联合应用方面，2024年全国大学生物联网设计竞赛火山引擎赛道的参赛队伍展现出了卓越的创新性，将二者创新应用于机器人、家庭陪护、智慧康养、智慧座舱等更多领域，为行业应用结合大模型的 AIoT 解决方案探索出更多可能性。如何通过边缘智能 x 扣子，打造智能取物机器人、智慧婴儿监控和智能轮椅？如何通过在边缘智能部署训练完备的模型，打造智能驾驶训练舱？好奇的小伙伴可以查看往期文章，了解整体方案架构、技术实现和效果展示。