ShardingSphere 在数十个联通政务热线场景中的应用:稳定、高效、可复制

联通数科整合中国联通“云、大、物、智、链、安”(云计算、大数据、物联网、人工智能、区块链、安全)等能力,面向智慧城市、数字政府、工业互联网、生态环保、文化旅游等领域,联通数科已积累大量行业标杆案例,成功为客户提供更加丰富、专业的产品和服务。

一、项目背景

随着“互联网+政务服务”政策的持续发力,越来越多的地方政府开始着手打造“互联网+”环境下的政务服务平台。

近年来,联通数科先后助力数十个政务热线平台上线,以提升政务服务能力,部分项目如下图。

政务热线业务有并发高、数据量大的特点,我们每拨打一次政务热线,即产生一条工单记录。相比以往,疫情期间的热线业务量更是翻了数倍。

在政务热线的工单模块中,为满足大规模、海量数据以及高稳定的业务需求,联通数科采用 ShardingSphere 对工单信息进行分片存储,在政民互动的桥梁中构建坚固的桥墩

二、业务挑战

政务热线是政府与企业、群众互动的主要渠道,以单一号码面对公众,提供 7 * 24 服务。除受理工单外,还包括了话务、知识库、语音对答及智能坐席等业务。

在系统规划阶段,数据库层作为业务系统的基石,技术选型过程更为谨慎。系统的稳定是硬性指标,其次是性能,性能直接影响热线业务的服务能力,同时还要具备易于维护和管理的特点,便于系统升级及后台维护。

在数据库架构选型中,政务热线系统对架构要求如下:

  • 成熟稳定
  • 高性能
  • 易维护
  • 业务代码低耦合

三、选择 ShardingSphere 的理由

经过技术团队多轮调研测试,包括稳定性、产品功能、接入方式及性能等,最终选择“ShardingSphere + MySQL”分布式数据库解决方案

  • 理念先进

随业务应用场景多元化发展,数据库已呈碎片化趋势,「Database Plus」旨在数据库上层建立标准和生态,为数据库提供增量能力,可防止数据库绑定、实现自主可控,突破原有数据库功能局限,提升数据基础设施整体功能上限。

  • 成熟稳定/案例多

ShardingSphere 于 2016 年开源,经过多年的研发迭代,产品历经多个头部互联网大型场景打磨,成熟稳定、值得信赖。

  • 功能全面

ShardingSphere 除了具备 Sharding 能力外,数据加解密和影子库的功能也是作为联通技术团队评估的指标,通过一套技术栈既可解决安全和压测的场景需求。ShardingSphere 为政务热线系统建设及架构扩展,提供了更多的能力支持。

  • 高兼容/接入方便

ShardingSphere 与 MySQL 协议兼容,语法支持度也非常高,在开发过程中几乎不用考虑 SQL 的支持问题,接入非常方便。

  • 高性能

政务热线忙时有数千坐席在线,工单记录以千万记录为起始单位,对性能有明确的要求。ShardingSphere-JDBC 定位为轻量级的 Java 框架,压测结果数据理想,可满足政务系统服务能力要求。

  • 易运维

在 JDBC 良好的性能基础之上,ShardingSphere 还提供了对运维人员友好的 Proxy,使用常用的客户端即可直接访问,上手维护较容易。

除了以上五个维度的权衡,选型中也参考了其他数据库中间件产品,以下表格是 ShardingSphere 和 Mycat 的比对。

Apache ShardingSphereMycat
开源协议Apache-2.0GPL-2.0/GPL-3.0
接入端客户端/代理端代理端
数据库支持客户端:任意
代理端:MySQL/PG/openGauss
MySQL、Oracle、DB2、SQL Server、PostgreSQL 等
性能客户端:损耗低
代理端:损耗高
损耗高
读写分离
数据加密
全链路压测
社区成熟度Apache 软件基金会
信通院可信认证
社区活跃度高
个人/三方社区
社区活跃度一般
商业公司支持

四、解决方案

由于“ShardingSphere+MySQL ”具备稳定、易用及性能极致等特点,该方案在联通数科的多个政务热线项目中复制使用。

  • 部署方式

ShardingSphere-JDBC 和 ShardingSphere-Proxy 混合使用的方式,兼顾了系统性能和可维护性。

  • 分片键/分片算法

政务热线的工单表相对较大,且使用逻辑简单,因此在分片设计上,选取工单 ID 作为分片键,通过哈希算法分布数据。

  • 迁移

新建项目不涉及历史数据,因此无需考虑数据迁移环节,上线即直接使用。

  • 实施过程

回忆数个已上线的项目,由于技术方案评估较全面,且多次复制方案,实施过程并没有遇到“坑”。

  • 系统架构

政务热线业务模块采用了微服务架构,节点在十几到几十不等,以具体省市规模决定。在数据库层,使用物理机部署 3 节点 MHA,每个政务热线系统一般需要 4 套 MHA 来支撑业务。

五、用户收益

  • 业务角度

    • 支持客户端模式,最大化保证了政务热线对性能的要求
    • 系统稳定,为业务连续性带来有力的支撑。
  • 研发角度

    • 兼容良好,兼容主流数据库 SQL 语法,对接即可使用;
    • 功能全面,读写分离、数据加密及全链路压测方案,系统扩展性强。
  • 运维角度

    • 支持代理端模式,为运维人员提供了良好的维护入口
  • 技术选型角度

    • 防止数据库绑定,为未来升级提供了足够的灵活度支撑。

六、总结

通过联通数科政务热线的多个案例,验证了 ShardingSphere 在政务场景的能力,也进一步说明了 ShardingSphere 无行业限制的特点。

目前我国数字政府建设已进入全面提速阶段,联通数科和 ShardingSphere 通力合作,希望助力更多政务热线项目落地,打造更多高效、便捷和安全的政务热线。

如果大家对 Apache ShardingSphere 有任何疑问或建议,欢迎在 GitHub issue 列表提出,或可前往中文社区交流讨论。

GitHub issuehttps://github.com/apache/shardingsphere/issues/

5.1.2 版本下载链接https://shardingsphere.apache.org/document/current/cn/downloads/

贡献指南https://shardingsphere.apache.org/community/cn/contribute/

中文社区https://community.sphere-ex.com/

SphereEx 官网https://www.sphere-ex.com

欢迎添加社区经理微信(ss_assistant_1)加入交流群,与众多 ShardingSphere 爱好者一同交流

根植于Apache 顶级项目「ShardingSphere」,SphereEx 始终秉承开源、共享、生态、平台理念。

51 声望
7 粉丝
0 条评论
推荐阅读
创新能力加速产业发展,SphereEx 荣获“中关村银行杯”『大数据与云计算』领域 TOP1
8 月 9 日下午,2022 中关村国际前沿科技创新大赛“中关村银行杯”大数据与云计算领域决赛在北京市门头沟区中关村(京西)人工智能科技园·智能文创园落下了帷幕。SphereEx 凭借自身在数据库领域产品与理念的双重创...

SphereEx阅读 205

Mysql索引覆盖
通常情况下,我们创建索引的时候只关注where条件,不过这只是索引优化的一个方向。优秀的索引设计应该纵观整个查询,而不仅仅是where条件部分,还应该关注查询所包含的列。索引确实是一种高效的查找数据方式,但...

京东云开发者2阅读 656

封面图
MySQL 数据库索引技术原理初探
一本书 500 页的书,如果没有目录,直接去找某个知识点,可能需要找一会儿,但是借助前面的目录,就可以快速找到对应知识点在书的哪一页。这里的目录就是索引。

mylxsw1阅读 1.2k

Mybatis源码解析之执行SQL语句
通过调用 session.getMapper (AccountMapper.class) 所得到的 AccountMapper 是一个动态代理对象,所以执行 accountMapper.selectByPrimaryKey (1) 方法前,都会被 invoke () 拦截,先执行 invoke () 中的逻辑。

京东云开发者3阅读 768评论 1

封面图
第十六届中国大数据技术大会五大分论坛顺利举办!
1 月 8 日下午,由苏州市人民政府指导、中国计算机学会主办、苏州市吴江区人民政府支持,CCF 大数据专家委员会、苏州市吴江区工信局、吴江区东太湖度假区管委会、苏州市吴江区科技局、苏州大学未来科学与工程学院...

MissD阅读 5.6k

2023最新MySQL高频面试题汇总
本文已经收录到Github仓库,该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点,欢迎star~

程序员大彬3阅读 689

从实战出发,聊聊缓存数据库一致性
在云服务中,缓存是极其重要的一点。所谓缓存,其实是一个高速数据存储层。当缓存存在后,日后再次请求该数据就会直接访问缓存,提升数据访问的速度。但是缓存存储的数据通常是短暂性的,这就需要经常对缓存进行...

云叔_又拍云2阅读 624

封面图

根植于Apache 顶级项目「ShardingSphere」,SphereEx 始终秉承开源、共享、生态、平台理念。

51 声望
7 粉丝
宣传栏