全新物联网数据集成 :Flow 可视化编排 & 双向数据桥接

引言:全新的数据集成能力

为物联网平台与应用提供高性能的实时数据处理与集成,一直是 EMQX 最重要的能力之一。最新发布的 EMQX 5.0 针对数据集成相关功能进行了深度的重构和优化,以期帮助用户更加轻松灵活地使用。

EMQX 5.0 将 Webhook、数据存储/桥接插件整合到一起,使用统一接口来管理南北向数据流,用户在原有数据采集上报场景进行规则处理的基础上,还可实现通过规则处理云端到设备的南向消息。

同时,EMQX 5.0 还提供了数据集成可视化查看能力(Flows)。通过 Dashboard 页面,用户可以清晰看到物联网数据如何通过规则处理,以及数据如何流向外部数据服务或设备。

后续版本还将支持在 Dashboard 上以拖拽的方式编排规则和数据桥接(Flow Editor),通过可视化界面将物联网硬件数据流轻松连接在一起。

本文将为读者详细展示 EMQX 这一重要能力的价值与应用,以及 EMQX 5.0 中对其进行了哪些升级优化。

什么是数据集成

EMQX 数据集成即 4.x 版本中的规则引擎与桥接功能的组合。它是在发布订阅模型基础之上的数据处理与分发组件,通过简单、可视化的配置,即可将消息流设备事件与 Kafka、RabbitMQ 等消息中间件以及各类 SQL / NoSQL / 时序数据库等数据系统集成。

EMQX 实时、简洁、高效的数据集成方案主要通过规则数据桥接两个功能实现。

规则用于消息和事件数据的处理,通过 SQL 语法结合内置或用户扩展的自定义函数,实现诸如数据格式转换、消息编解码、业务逻辑处理等操作。关于规则的详细信息,请参见规则

数据桥接用于对接数据系统,在 EMQX 和外部系统之间实现双向、高性能的数据数据移动。通过数据桥接,用户可以实时地将消息从 EMQX 发送到外部数据系统,或者从外部数据系统拉取数据并发送到 EMQX 的某个主题。关于数据桥接的详细信息,请参见数据桥接

为什么需要数据集成

MQTT 协议被设计用于硬件设备到服务器的消息传递,而要实现完整的物联网应用,则需要将设备与业务系统连接起来,实现上报数据的云端存储与业务指令的下发。

传统的物联网应用开发中,实现这一目的需要开发人员编写对应的代码,之后的业务变更则需要对整个应用进行升级。而设备端、业务平台端往往都是独立团队运营,如何实现设备端和云端业务平台解耦并高效完成业务对接是项目能否快速交付并升级迭代的关键。

EMQX 数据集成即旨在解决这一问题。通过提供灵活低代码的配置能力,帮助用户轻松上手,快速实现各类应用集成与业务创新。

经过多年来在各行业物联网应用场景中的落地实践,EMQX 数据集成能力已经成为构建整体应用的必备关键功能,持续为用户创造价值。

EMQ 车联网整体解决方案:围绕规则引擎构建上层 TSP 和其他业务

双向数据流:数据上报与消息下发均支持规则处理

物联网应用中设备与业务系统之间的数据通常都是双向的,既有数据采集上报的场景,也有云端消息下发的需求,两者结合共同实现完整的业务流程。

在此前版本中,EMQX 的规则是通过设备的消息和事件触发执行的。这就意味着规则仅能用于数据采集上报场景,云端到设备的消息下发场景则无法直接使用规则的数据处理能力。用户需要使用中转方案将数据先发送到 EMQX 某个主题中,再通过规则进行处理。

EMQX 5.0 对此进行了优化:提供了双向数据桥接能力——除了将设备数据桥接至外部系统外,还能从外部数据系统如另一个 MQTT 服务、Kafka 中桥接数据至 EMQX,并经过规则处理后发送到指定设备。

EMQX 数据集成南向消息处理下发流程示意图:紫色路径为 4.x 版本方案

双向数据流的数据桥接在云端下发场景解耦了业务系统与 EMQX 连接,能够实现持续的大规模消息下发与实时处理,为物联网业务开发提供了更多的可能性。

Flow Editor:通过可视化编排规则处理数据流

在之前的版本中,EMQX 的数据集成是通过配置 SQL + 规则动作的方式实现的,这种模式有以下好处:

  • SQL 语法在数据库领域广泛应用,有技术背景的用户可以很快上手并在短时间内掌握写出复杂规则;
  • SQL 规则相比编码有更好的可阅读性,且能够在运行时创建、变更,适合快速变化的业务。

围绕 SQL 的数据集成与数据处理方式可以让用户快速开发实现所需业务,但也带来了一些问题:

  • 技术人员需要先熟悉 EMQX 规则 SQL 语法才能开始编写业务,而对于非技术人员,SQL 不够直观,上手使用门槛较高;
  • 使用 SQL 无法实现一些复杂的场景,例如在同一条规则中根据条件将数据分发到不同数据桥接,这将导致用户不得不创建多条相似的规则;
  • 无法在不修改 SQL 的情况下增加一个事件以复用同一条规则;
  • 规则较多的情况下无法提供清晰的数据处理与集成流程,很难维护和管理。

在 EMQX 5.0 中,我们通过可视化查看能力(Flows)优先解决了多个规则下数据集成难以维护和管理的问题。通过 Dashboard 页面,用户可以清晰看到物联网数据如何通过规则处理并流向外部数据系统或是从外部数据系统经规则处理后分发到设备的数据集成拓扑,并监控这一链路中任意规则或数据桥接节点的状态。

后续版本中,我们将在 EMQX 上内置一个具有可视化编排能力的数据流编辑器 -- Flow Editor。它基于浏览器使用并搭配底层的执行引擎,将允许用户在 EMQX Dashboard 上以拖拽的方式自由编排规则和数据桥接。通过可视化界面将物联网硬件数据流轻松连接在一起,实现更灵活、快速的物联网业务开发与交付。

数据集成升级指南:从 v4 迁移到 v5

EMQX 5.0 规则 SQL 完全兼容 4.x 版本的语法,但是在设计上将原属于规则下的动作拆分为内置动作(消息重发布、控制台输出)与数据桥接(Webhook、MQTT Bridge),以便实现规则与数据桥接的复用。

除了架构设计之外,EMQX 还对旧版本中数据集成相关功能进行了整合。在 4.x 版本的规则引擎功能推出之前,用户可以使用插件实现简单的数据集成。出于兼容性考虑,规则引擎推出之后我们没有移除这些插件,这带来了一定的功能碎片化情况。

EMQX 5.0 正式移除了相关的插件,以便为用户提供更加清晰且完整的数据集成能力,降低学习和选择的难度。

以下为 EMQX 开源版 4.x 升级到 5.0 功能变化对照关系:

结语

在各行业构建物联网平台与应用的过程中,根据需求对海量数据进行准确、实时的处理,与各类上层业务系统应用对接,是必不可少的环节和挑战。作为一个可「随处运行、无限连接、任意集成」的物联网 MQTT 消息服务器,EMQX 将通过强大易用且不断完善的数据集成能力,帮助用户轻松应用数据处理难题,实现业务创新。

版权声明: 本文为 EMQ 原创,转载请注明出处。

原文链接:https://www.emqx.com/zh/blog/iot-data-integration

EMQ(杭州映云科技有限公司)是一家开源物联网数据基础设施软件供应商,交付全球领先的开源 MQTT 消息服...

305 声望
429 粉丝
0 条评论
推荐阅读
EMQX 在 Kubernetes 中如何进行优雅升级
为了降低 EMQX 在 Kubernetes 上的部署、运维成本,我们将一些日常运维能力进行总结、抽象并整合到代码中,以 EMQX Kubernetes Operator 的方式帮助用户实现 EMQX 的自动化部署和运维。

EMQX阅读 331

数据分析er看过来,五款工具有你需要的
大部分人对数据分析的的第一印象就是Excel,python,其实选择一个工具开始学习是需要花费学习成本的,如果不清楚这款工具能给你带来什么价值,就开始盲目学习,很可能会浪费时间。那么今天我们就从整个数据分析流...

葡萄城技术团队阅读 4.1k

一个物联网云平台一线开发者对物联网平台的全面认知
一个物联网云平台一线开发者对物联网平台的全面认知。​物联网平台的理解;物联网平台的商业化运作目标;物联网平台的架构分析;物联网平台核心能力分析;物联网平台玩家的基本情况;物联网平台的价值;物联网平台...

石志远1阅读 1.5k

封面图
什么是MircoPython?
摘要:互联网玩家为了让Python这样的容易学,简单易学、社区API丰富的语言可以在嵌入式领域用上,逐渐开始了一轮Python上嵌入式的迁移,这样就有了今天的主角——MircoPython。

华为云开发者联盟1阅读 1.3k

图扑虚拟现实解决方案,实现 VR 数智机房
图扑软件基于自研可视化引擎 HT for Web 搭建的 VR 数据中心机房,是将数据中心的运营搬到  VR 虚拟场景。以数据中心实际场景为基础,1:1 复原了具有更好视觉感知的轻量化数据中心机房环境。VR 虚拟场景内三维立...

hightopo阅读 772

封面图
图扑软件 | 数字孪生钢厂人员安全定位
钢铁冶炼从原料采购、焦化烧结、炼铁、炼钢、轧钢、到产出成品,其冗长的生产工序、复杂的作业场景,更应加以重视生产现场的人员作业安全,将安全防范监管贯穿日常作业全过程,打通安全生产责任“最后一公里”。随...

图扑软件阅读 759

封面图
新周期重构地产与物业数智化价值,TVP行业大使有话说
新周期下,地产与物业如何重构数智化价值、助力企业穿越周期?9 月 16 日,由腾讯云 TVP、腾讯云智慧地产、长城物业联合主办,以“后疫情时代——重构地产与物业数智化价值”为主题的 TVP 行业大使地产闭门会在深圳市...

腾讯云开发者阅读 734

封面图

EMQ(杭州映云科技有限公司)是一家开源物联网数据基础设施软件供应商,交付全球领先的开源 MQTT 消息服...

305 声望
429 粉丝
宣传栏