基于 Flink 的中国电信星海时空数据多引擎实时改造

摘要：本文整理自中国电信集团大数据架构师李新虎老师在 Flink Forward Asia 2024 行业解决方案（一）中的分享。内容主要为以下四个部分：

1、时空数据现状

2、实时场景多引擎化

3、典型应用

4、未来展望

在数字化时代，数据的实时处理与分析对于企业的决策和发展至关重要。中国电信的星海时空智能系统承担着处理海量时空数据的重任，随着业务的不断拓展，对数据处理的实时性、准确性和效率提出了更高的要求。基于 Flink 的多引擎实时改造项目应运而生，旨在解决现有系统面临的诸多挑战，提升时空数据处理的能力和价值。 

接下来将从四个方面进行介绍：时空数据的现状、实施场景的多引擎化、典型应用以及未来展望，包括电信在深空智能方面的一些工作和布局。

一、时空数据现状 

1.1 星海时空智能系统概述 

星海时空智能系统依托中国电信庞大的用户信令数据资源，涵盖了 4.3 亿用户的位置轨迹和特征信息。该系统具备强大的核心能力，日处理数据量高达 8000 亿条，数据存量达到 44,030 TB（约 43 PB），且每日增量40 TB。它能够支撑超 1000 万/日的触达用户，为众多业务场景提供了坚实的数据基础。凭借其卓越的性能和创新的技术，在 2024 年 8 月荣获中国国际大数据产业博览会优质科技成果奖。

1.2 能力分层体系  

构建“ 3(内部数据、生态、网元)+1(中间通用能力)+N(行业通用场景) ”的位置能力体系

（1）数据底座 

数据底座是整个系统的数据基石，它负责采集和存储来自信令、网元、工参等多个数据源的数据。这些数据来源广泛，为后续的分析和应用提供了丰富的素材。通过高效的数据采集和存储机制，确保了数据的完整性和及时性。 

（2）网元底座

网元底座支持 LPP 协议以及 ECID/OTDOA 等先进的定位技术，能够实现亚米级的高精度定位。这对于需要精确位置信息的业务场景，如应急救援、智能交通等具有重要意义。通过不断优化定位算法和技术，提高了定位的准确性和可靠性。 

（3）生态底座

生态底座融合了中科院、高校等科研机构的专业知识，以及百度、高德等外部企业的数据资源和隐私计算能力。这种开放的生态合作模式，使得系统能够充分利用各方优势，不断拓展数据的维度和应用的边界。同时，隐私计算技术的应用保障了数据的安全性和合规性。

1.3 实时计算演进历程 

（1）阶段一（2020 年） 

在这一阶段，采用了 Flume + Storm 架构，主要解决了基础数据的收集问题。该架构通过 Flume 进行数据的采集和传输，Storm 进行实时计算，为后续的系统发展奠定了基础。然而，随着业务的增长，这种架构逐渐暴露出性能和扩展性方面的不足。 

（2）阶段二（2021 年）

引入了 Flink 1.11 进行部署，并实现了统一资源池和自动扩缩容功能。Flink 的高性能和低延迟特性使得数据处理效率得到了显著提升，统一资源池的管理方式提高了资源的利用率，自动扩缩容功能则能够根据业务负载动态调整资源配置，确保系统的稳定性和可靠性。 

（3）阶段三（2022 - 2023 年）

构建了实时数仓的分层分类体系，实现了基站、网格、区划等不同粒度的数据汇总能力。通过对数据的分层处理，提高了数据的组织性和可管理性，为后续的数据分析和挖掘提供了更高效的支持。 

（4）阶段四（2024 年）

进入多引擎架构阶段，整合了运动状态、个体行为、群智感知三大引擎。多引擎架构的引入使得系统能够更好地应对不同业务场景的需求，提高了系统的灵活性和适应性。 

二、实时场景多引擎化 

2.1 业务痛点分析 

（1）数据膨胀问题

随着业务的发展，数据域从最初的 5 个增加到 10 个，导致数据量急剧增长。这不仅增加了计算资源的需求，还对存储和处理能力提出了更高的挑战。传统的架构难以应对如此大规模的数据增长，容易出现性能瓶颈。 

（2）场景分散问题

在相同的业务场景中，由于不同部门或项目的需求差异，存在多个版本的口径和计算规则。这导致了数据的不一致性和重复计算，增加了开发和维护的成本，同时也影响了业务决策的准确性。 

（3）响应时效问题

传统的烟囱式架构采用独立开发和部署的方式，各个业务模块之间缺乏有效的协同和共享。这种架构难以满足业务的敏捷需求，在面对市场变化和业务创新时，响应速度较慢，无法及时提供准确的数据分析和决策支持。 

2.2 多引擎架构设计 

（1）技术栈选型

多引擎架构采用了 Kafka + Redis + HBase 的存储层组合。Kafka 作为高性能的消息队列，负责数据的实时传输和缓冲；Redis 作为内存数据库，提供快速的数据读写服务，用于缓存热点数据；HBase 作为分布式列式数据库，用于存储海量的结构化数据。同时，采用 Flink CDC + CEP 技术实现实时规则的更新和复杂事件的处理。 

（2）核心逻辑实现

系统通过 AOI（电子围栏）技术对目标数据流进行过滤，只处理进入特定区域的数据。同时，支持通过配置化的方式设置引擎参数，如驻留阈值等。这种配置化的设计使得系统能够根据不同的业务需求灵活调整计算规则，提高了系统的灵活性和可扩展性。 

2.3 架构演进与配置中心 

（1）优化路径

从最初的多链路烟囱式开发模式，逐步演进到引擎规则配置化的架构。通过将计算规则抽象为配置文件，实现了动态任务映射，使得系统能够根据业务需求快速调整计算逻辑，减少了开发和部署的时间成本。 

（2）生效流程

离线数仓负责生成画像和标签数据，这些数据通过配置中心的 Web 界面或 API 进行配置。配置中心利用 Flink CDC 技术实时同步规则变更，确保新的规则能够及时生效。这种实时同步的机制使得系统能够快速响应业务变化，提高了系统的敏捷性。 

2.4 改造收益 

（1）资源节约

通过架构和算法的优化，系统显著降低了资源消耗：CPU 核心需求减少 1 万+，Kafka 存储节省 100T。 

（2）效率提升

异常告警数量降低了 60%，说明系统的稳定性和可靠性得到了显著提高。同时，计算时间复杂度优化至原来的 1/9，大大缩短了数据处理的时间，提高了业务响应速度。 

（3）复用增强

Kafka Topic 从 311 个精简至 187 个，减少了数据的冗余和重复存储，提高了数据的复用性。这使得系统的架构更加简洁，维护成本也相应降低。 

2.5 关键优化技术 

（1）轨迹点去重

采用 1 分钟/5 分钟窗口去重技术，对轨迹点数据进行去重处理。通过对相同时间段内的重复轨迹点进行过滤，数据量压缩了 79%，减少了存储和计算的负担。 

（2）规则生效优化

利用 Flink CDC 驱动双流 Join 技术，实现规则变更的实时生效。当规则发生变化时，系统能够快速将新规则应用到数据流中，确保计算结果的准确性和及时性。 

（3）GeoHash 检索

将二维空间计算转化为一维前缀匹配，通过 GeoHash 编码技术，提高了空间数据的检索效率。实验表明，该技术的检索效率提升了 9 倍，能够快速定位目标区域内的数据。 

（4）几何基站映射优化

通过优化基站映射算法，将点面相交计算复杂度降低为 1/k（k 为多边形顶点数）。这使得在处理大量基站数据时，能够更加高效地进行映射和匹配，提高了数据处理的性能。 

三、典型应用场景 

3.1 运动状态识别

在应急监控平台中，运动状态识别引擎能够实现“漫入漫出”的识别功能。该功能广泛应用于翼联呵护、重点人管理等 3 类业务场景，通过对人员的运动轨迹和速度进行实时监测和分析，为应急管理提供了重要的决策支持。 

3.2 个体行为识别

在医保报销流程中，个体行为识别引擎发挥了重要作用。通过整合刷卡记录和位置信息进行核验，实现了当天闭环处理。这不仅提高了医保报销的效率和准确性，还能够有效防范医保欺诈行为。 

3.3 群智感知

在文旅景区客流分析场景中，群智感知引擎能够实时监测景区内的客流分布情况。通过对游客的位置和行为数据进行分析，为景区管理部门提供实时的客流引导和安全保障建议，确保节假日期间景区的安全和有序运营。 

 四、未来展望 

 4.1 短期规划（2024 - 2025 年） 

（1） 湖仓一体改造

推进湖仓一体改造，构建分钟级增量数据处理能力。通过将数据湖和数据仓库的优势相结合，实现数据的高效存储和处理，为业务提供更及时、准确的数据支持。 

（2）三维时空服务体系建设

实现秒级/分钟级/小时级三维时空服务体系，满足不同业务场景对时空数据的实时性需求。通过提供更加精细的时空数据服务，拓展业务应用的范围和深度。 

4.2 长期愿景

（1）技术融合发展

融合 5G/6G、低轨卫星及室内定位技术（3GPP R18），构建更加全面、准确的时空数据采集和处理体系。通过多种技术的协同作用，提高系统的定位精度和覆盖范围。 

（2）场景拓展应用

拓展低空经济、智慧城市等领域的应用场景，构建空天地全域感知能力。利用时空数据为这些领域的发展提供有力支持，推动相关产业的创新和发展。 

4.3 结论

基于 Flink 的中国电信星海时空数据多引擎实时改造项目，通过对现有系统的架构优化和技术创新，成功解决了业务发展过程中面临的数据膨胀、场景分散和响应时效等问题。多引擎架构通过整合三大引擎，显著提升了系统的灵活性和适应性。关键优化技术的应用提升了系统的性能和效率。典型应用场景的实践证明了该项目的有效性和实用性。未来，随着技术的不断发展和业务的持续拓展，该系统将在更多领域发挥重要作用，为中国电信的数字化转型和智慧城市的建设提供有力支持。

---

更多内容

---

活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动：
新用户复制点击下方链接或者扫描二维码即可0元免费试用 Flink + Paimon
实时计算 Flink 版（3000CU*小时，3 个月内）
了解活动详情：https://free.aliyun.com/?utm_content=g_1000395379&productCode=sc