星环科技多模型数据统一存储的大数据分布式存储平台方案分享

图片
数字经济时代,随着大数据、人工智能等新一代信息技术的快速发展与应用,企业的数据量呈现爆炸式增长,数据结构也越来越多样化,对数据存储提出了更新的要求:数据结构多样化如表格类型的关系数据、半结构化的文档日志搜索以及非结构化的图片和视频数据,多模型存储需求应运而生。非结构化数据的快速增长,对象存储的优势逐渐显现,并要求能够低成本实现海量非结构数据的存储。此外,传统数据存储平台需要同时存储大文件和小文件,业务的高速发展带来海量文件存储需求对存储平台提出了更高的性能要求。面对业务多样化对大数据存储提出的新要求,星环科技自主研发了多模型数据统一存储的大数据分布式存储管理平台,可同时满足多模型数据存储和海量文件存储等需求。基于多模型数据统一存储技术可实现PB级多模型数据统一存储,9种存储引擎支持10种数据模型,轻松实现跨模型联合分析,一站式满足企业业务各种场景。自主研发的分布式文件系统打破HDFS的存储瓶颈,实现海量小文件存储,可同时支持文件和对象存储,降低运维成本,并且兼容开源Hadoop生态,支持应用平滑迁移。多模型存储星环多模型数据统一分布式存储管理
图片
传统存储平台方案将多个模型存储系统进行组合,各单一场景由各类专门数据库分别支撑,这类方案存在数据存储冗余、数据一致性治理难等问题,并且多套存储导致架构复杂、运维成本高、数据跨库分析难。星环科技多模型数据统一存储平台方案实现多模型数据的统一存储,基于统一多模型架构提供多模型能力。
图片
星环科技自主研发的统一分布式数据管理系统TDDMS,该系统搭建了一个通用的分布式存储处理框架,提供了数据的分布管理、元信息管理、分布式事务、分布式一致性协议以及数据高可用保障。同时TDDMS支持接入不同的存储引擎,实现不同数据模型的存储。当前TDH分布式数据管理系统接入了9款存储引擎,支持10种数据模型的存储。用户不需要为不同模型建立单独的存储系统,而是通过统一的存储管理,降低了运维管理成本,也避免了数据孤岛。此外,分布式数据管理系统的插件特性,也方便后续业务的灵活扩展,可以根据需要灵活接入其他存储引擎,比如TDH9.0版本中,根据文档处理的新需求,新接入了文档存储引擎DocStore。多模型支持基于统一多模型架构支持关系型数据存储、宽表存储、搜索引擎、事件存储、地理空间存储、图存储、键值存储、文档存储、对象存储和时序数据存储,共10种数据模型,满足企业各类业务场景。多模型统一存储不同模型数据基于星环分布式数据管理系统TDDMS统一存储统一管理,降低运维成本,避免数据孤岛。统一数据查询入口统一接口处理不同业务、不同模型数据,避免多个不同接口的不一致,降低开发成本,避免烟囱式建设。高可靠、高容错基于星环分布式数据管理系统TDDMS实现统一数据多副本管理,数据一致性管理,保障数据安全。支持副本自动迁移,自动修复,具备高容错性,保障服务高可靠。海量文件+对象存储星环分布式文件系统
图片
传统数据存储平台需要同时存储海量大文件和小文件。HDFS文件存储容量受限,不支持海量小文件,需要额外搭建对象存储平台,多套存储运维成本高。并且HDFS依赖建立多个Namespace扩展文件存储容量,数据不互通,业务层需要随着扩容更改逻辑。星环科技自主设计研发了企业级分布式文件系统TDFS,海量小文件存储无瓶颈,同时支持文件和对象存储,并且兼容Hadoop生态,支持应用平滑迁移。
图片
同时支持文件与对象存储星环分布式文件系统TDFS一套存储同时支持文件存储与对象存储,统一存储管理,降低运维成本海量文件存储TDFS支撑10亿以上文件数,PB级以上存储容量,是开源HDFS 数倍元数据管理能力自研元数据管理,基于Raft一致性协议保障元数据安全。支持小文件与小文件一起存储,无惧海量小文件,无需多namesapce拆分生态兼容兼容开源Hadoop生态,支持HDFS API与S3接口,支撑应用平滑迁移企业级一站式多模型大数据基础平台 Transwarp Data Hub
图片
Transwarp Data Hub(TDH) 是星环科技自主研发的企业级一站式多模型大数据基础平台,其领先的多模型技术架构提供统一的接口层,统一的计算引擎层,统一的分布式存储管理层,统一的资源调度层,以及异构存储引擎层。9种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展,让资源配置更灵活。
图片
TDH能够存储 PB 级别的海量数据,同时能够提供高性能的查询搜索、实时分析、统计分析、预测性分析等数据分析功能,被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库、数据湖、图存储分析、空间数据存储、实时数据处理等各类大数据业务场景。目前 TDH 已经在政府、金融、能源、制造业等十多个行业内落地,可以替代Oracle、IBM DB2、Teradata等传统主流数据库在分析型场景中的应用及替代Elastic Search在分布式搜索场景中的应用,帮助企业,更全面、更便捷、更智能、更安全地运用数据,加速企业数字化转型。


4 声望
4 粉丝
0 条评论
推荐阅读
星环科技数据治理与数据价值评估实践分享
数据价值评估背景自2015年8月国务院《促进大数据发展行动纲要》提出“数据已成为国家基础性战略资源”以来,我国出台了诸多政策和法案,推进数据的发展和数据要素的资产化。2019年10月,第十九届四中全会关于《推进...

星环科技阅读 331

花了几个月时间把 MySQL 重新巩固了一遍,梳理了一篇几万字 “超硬核” 的保姆式学习教程!(持续更新中~)
MySQL 是最流行的关系型数据库管理系统,在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。

民工哥11阅读 1.1k

封面图
一次偶然机会发现的MySQL“负优化”
今天要讲的这件事和上述的两个sql有关,是数年前遇到的一个关于MySQL查询性能的问题。主要是最近刷到了一些关于MySQL查询性能的文章,大部分文章中讲到的都只是一些常见的索引失效场合,于是我回想起了当初被那个...

骑牛上青山8阅读 2.3k评论 2

程序员英语学习指南
动机为什么程序员要学习英语?工作:我们每天接触的代码都是英文的、包括很多技术文档也是英文的学习:最新最前沿的技术最开始都是只有English版本就业:学好英语让你的就业范围扩大到全球,而不只限于国内目标读...

九旬7阅读 685

初学后端,如何做好表结构设计?
这篇文章介绍了设计数据库表结构应该考虑的4个方面,还有优雅设计的6个原则,举了一个例子分享了我的设计思路,为了提高性能我们也要从多方面考虑缓存问题。

王中阳Go3阅读 789评论 2

封面图
又一款内存数据库横空出世,比 Redis 更强,性能直接飙升一倍!杀疯了
KeyDB是Redis的高性能分支,专注于多线程,内存效率和高吞吐量。除了多线程之外,KeyDB还具有仅在Redis Enterprise中可用的功能,例如Active Replication,FLASH存储支持以及一些根本不可用的功能,例如直接备份...

民工哥4阅读 899评论 1

封面图
2023最新MySQL高频面试题汇总
本文已经收录到Github仓库,该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点,欢迎star~

程序员大彬3阅读 1k

4 声望
4 粉丝
宣传栏