Superior Scheduler:带你了解FusionInsight MRS的超级调度器

2021-10-09
阅读 3 分钟
2k
摘要:Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎,是针对企业客户融合资源池,多租户的业务诉求而设计的高性能企业级调度器。

一文讲清楚FusionInsight MRS CDL如何使用

2021-09-30
阅读 7 分钟
1.6k
摘要:CDL是一种简单、高效的数据实时集成服务,能够从各种OLTP数据库中抓取Data Change事件,然后推送至Kafka中,最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中,从而实现数据的实时入湖。

大数据包围你我,技术人如何走知识分享之路

2021-09-13
阅读 3 分钟
1.8k
本期推荐:【云享人物·大咖面对面】华为云首席产品官方国伟独家专访:当下云发展有待突破的并不是技术问题;现在为什么是#华为云# 的最佳时机;以不变应万变,什么是云产品规划的三个关键出发点;生态对于云的意义是什么?戳此处,一起来听技术大咖聊聊云的故事。

分布式消息流平台:不要只想着Kafka,还有Pulsar

2021-09-08
阅读 3 分钟
2.5k
Apache Pulsar是一个发布-订阅消息系统,使用计算与存储分离的云原生架构。Pulsar 2018年9月成为ASF顶级项目,近两年,随着社区不断发展和诸多企业的应用和贡献,Pulsar作为一个云原生的分布式消息流平台,越来越频繁地出现在人们的视野中,大有替代Kafka江湖地位的趋势。

华为云严选上新啦!高效准确的数据同步方案来了

2021-09-01
阅读 2 分钟
3k
近期,上海英方软件股份有限公司(简称“英方软件”)宣布加入华为云沃土云创计划,同时基于i2Stream(数据流复制管理软件)产品服务,联合提出GaussDB数据同步解决方案,并成功入驻华为云严选商城,通过华为云平台进一步拓宽商业变现之路,实现更大商业成功。

训练千亿参数模型的法宝,昇腾CANN异构计算架构来了~

2021-08-31
阅读 2 分钟
2.3k
摘要:盘古的训练以「昇腾AI处理器」为基座,同时借助了「CANN 异构计算架构」,让硬件算力得以充分释放,大大缩短了训练时间!2021年4月,“华为云盘古大模型”一炮走红AI人工智能领域。如果你问:明明明明明白白白喜欢他,但他就是不说,白白喜欢谁?你的同伴可能还要犹豫3秒钟,而盘古却能轻松地回答出:明明!诸如此类...

详解MRS CDL整体架构设计

2021-08-23
阅读 6 分钟
1.4k
摘要:MRS CDL是FusionInsight MRS推出的一种数据实时同步服务,旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去,本文档会详细为大家介绍CDL的整体架构以及关键技术。

FusionInsight怎么帮「宇宙行」建一个好的「云数据平台」?

2021-08-23
阅读 9 分钟
1.8k
摘要:基于数据湖架构,应用效率得以极大提升。经过几年发展,当前集群规模已经达到1000多节点,数据量几十PB,日均处理作业数大概是10万,赋能于180多个总行应用和境内外41家分行及子公司。

鲲鹏基础软件开发赛道openLooKeng赛题火热报名中,数十万大奖等您来收割

2021-08-20
阅读 2 分钟
1.2k
随着云计算、物联网、移动计算、智慧城市、人工智能等领域的发展,各类应用对大数据处理的需求也发生着变化。以实时分析、离线分析、交互式分析等为代表的计算引擎逐渐为各大企业行业发展所看重。作为鲲鹏产业生态的一部分,以“让大数据使用更简单”为愿景,具备跨源跨域高性能分析能力的大数据查询分析引擎openLooKeng,...

大数据集群跨多版本升级、业务0中断,只因背后有TA

2021-08-11
阅读 3 分钟
1.6k
2021年4月21日,中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级,突破传统方案需离线停机多次升级模式,一次性将核心现网集群版本由FusionInsight HD C70升级到FusionInsight MRS 8.0.2,横跨C80、6.5.1两个版本,同时完成了大数据集群从物理机向云服务的模式转变,实现该案例在金...

【“互联网+”大赛华为云赛道】EI命题攻略:华为云EI的能力超丰富,助你实现AI梦想

2021-08-09
阅读 3 分钟
2.6k
随着人工智能、5G、大数据等已经成为数字经济发展中最活跃的技术和产业方向,并且正在成为实现经济社会数字化转型的核心信息基础设施。人工智能作为新一轮科技革命和产业变革的核心力量,正在推动传统产业升级转型,在智能交通、智能家居、智能医疗等领域应用逐步落地。可以说,人工智能为我们当下生活带来了在以前都不...

快来看,大数据两地三中心的容灾也可以如此省心!

2021-08-06
阅读 5 分钟
1.6k
摘要:随着数据湖技术从离线向实时的发展,数据湖在业务已逐渐从辅助决策向实时决策,实时干预甚至提前预防的方向发展,同时,随着国家把数据作为第五种生产要素,数据据价值在逐步提升,这样对海量数据湖的可靠性提出了新的要求。

Hudi自带工具DeltaStreamer的实时入湖最佳实践

2021-08-02
阅读 14 分钟
5k
传统大数据平台的组织架构是针对离线数据处理需求设计的,常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高,按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的(准)实时同步系统的开发。

华为云MVP周峥:气象预报是个技术活,大数据、超算、AI,缺一不可

2021-07-20
阅读 2 分钟
1.7k
摘要:在这样一个关乎民生的行业里,人工智能、大数据、超算这些技术,可发挥的潜力也是无限的,华为云MVP周峥就是其中的技术践行者,他正带领着团队为国内气象行业带来一股温柔而不失力量的春风。

深度解读MRS IoTDB时序数据库的整体架构设计与实现

2021-06-28
阅读 9 分钟
2.6k
MRS IoTDB是华为FusionInsight MRS大数据套件最新推出的时序数据库产品,其领先的设计理念在时序数据库领域展现出越来越强大的竞争力,得到了越来越多的用户认可。为了大家更好地了解MRS IoTDB,本文将会系统地为大家介绍MRS IoTDB的来龙去脉和功能特性,重点为大家介绍MRS IoTDB时序数据库的整体架构设计与实现。

解读8大场景下Kunpeng BoostKit 使能套件的最佳能力和实践

2021-06-08
阅读 9 分钟
2.8k
摘要:本次鲲鹏 BoostKit 训练营为开发者介绍如何基于鲲鹏 BoostKit 使能套件实现应用性能的加速,并重点剖析性能优化技术和关键能力。

教你一招:让集群慢节点无处可藏

2021-05-29
阅读 5 分钟
1.7k
摘要:GaussDB在大规模集群上运行的过程中,随着时间推移,部分节点可能会出现性能严重下降的情况。此时这些节点仍然能对外提供服务,但响应明显变慢,处理同样的请求所需时间较其他正常节点大很多,从而影响了整个集群的性能。这样的节点称为“亚健康节点”,或“慢节点”。

人人都在谈的图数据库到底是个啥?

2021-05-19
阅读 5 分钟
3.7k
摘要: 图数据库,如果是刚接触的人,可能会被其字面意思所误导。其实,图数据库并不是指存储图片、图像的数据库,而是指存储图这种数据结构的数据库。那么图又是什么呢?

Elasticsearch数据库优化实战:让你的ES飞起来

2021-05-18
阅读 4 分钟
6.6k
Elasticsearch主要功能是什么,不同的场景有不同的定位,在日志场景我们可以用ELK生态搭建日志分析系统,在搜索领域ES是当前最热门的搜索引擎。在大数据领域,ES可以对标Hbase提供海量日志的数据仓库;在数据库领域ES可以作为查询分析型的分析型数据库使用。ES已经成为了全能型的数据产品,在很多领域越来越受欢迎,本文...

云小课 | 大数据融合分析:GaussDW(DWS)轻松导入MRS-Hive数据源

2021-05-18
阅读 10 分钟
2.2k
摘要:通过建立GaussDB(DWS)与MRS的连接,支持数据仓库服务SQL on Hadoop,以外表方式实现Hive数据的快捷导入,满足大数据融合分析的应用场景。

抵制羊毛党,图计算“加持”互联网电商风控

2021-04-30
阅读 2 分钟
1.5k
摘要:图计算可以说是互联网电商风控的有力武器,不仅在复杂关系的存储和分析上优于关系型数据库,而且能够有效利用数据间关联关系和结构,提供更为精准可靠的决策依据。

跨湖跨仓场景下如何实现海量数据分钟级分析

2021-04-29
阅读 3 分钟
1.6k
摘要:华为开发者大会2021(Cloud)大会期间,华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博,分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。

华为云FusionInsight MRS:千余节点滚动升级业务无中断

2021-04-28
阅读 3 分钟
2k
摘要:滚动升级作为大集群数据底座的必备能力,能够完美解决了传统大数据平台操作繁琐、业务停机、升级成本高等问题,实现一个架构的持续演进,业务无中断。

FusionInsight MRS:你的大数据“管家”

2021-04-27
阅读 3 分钟
1.6k
摘要:4月24日-26日,HDC.Cloud2021在深圳大学城成功举办,华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案,为政企客户提供湖仓一体、云原生的大数据解决方案,一个架构可构建3种数据湖:离线数据湖、实时数据湖、逻辑数据湖,更有现场沙箱实验和名师大讲堂,一起来细品。

这才是大数据的正确打开方式

2021-04-17
阅读 4 分钟
1.2k
最近,随着健康码的流行,大数据又重回大众的视野。作为新基建产业的原油,数据逐步迈向信息产业的核心。不过随着数据量级的不断扩大,从数据仓库到数据湖再到仓湖一体,如何将各种大数据技术栈整合在一起,发挥出大数据技术的最大价值成为业界都在关注的问题。

云原生势不可挡,华为云GaussDB加速企业数字化转型

2021-04-14
阅读 2 分钟
1.6k
4月8日,华为云TechWave全球技术峰会在深圳成功举办,其中,在围绕“数据使能,驱动业务增长”为主题的数据使能分论坛会上,华为云GaussDB技术专家胡彦军现场分享了云原生数据库的能力优势和应用实践,加速企业实现数字化转型。

释放千行百业数据价值,华为云DAYU有一套

2021-04-09
阅读 3 分钟
3k
大禹(DAYU)治水是一个有美好寓意的故事,大禹汲取了父亲治水的经验教训,总结出一套行之有效的治水方法,对洪水进行治理疏导,用了13年完成治水大业。华为云数据使能服务DAYU也承载了同样的“使命”,将企业客户、政府客户的数据从数据资源变成数据资产,加速数据价值的释放。

统一元数据,数据湖Catalog让大数据存算分离不再是问题

2021-04-01
阅读 3 分钟
3.2k
随着5G、IoT等技术的发展,企业积累了越来越多的数据,需要激发更多的数据价值变现。传统大数据平台从建设到落地的长周期,不利于业务的高速发展;平台建成后,维护、升级、扩容均以集群为单位,管理离散,操作繁重。

万字长文:解读区块链7类共识算法

2021-02-19
阅读 10 分钟
2.5k
区块链技术起源于比特币,最初是比特币等数字货币的一种底层技术,区块链融合了密码学、组网技术、共识算法、智能合约等多种技术。随着区块链技术的逐渐成熟,其逐渐得到科研机构、政府、金融机构和科技企业的关注。区块链具有匿名、防篡改、可追溯和去中心化等特点。

华为云FusionInsight MRS在金融行业存算分离的实践

2021-02-18
阅读 2 分钟
2.8k
摘要:华为云FusionInsight MRS的大数据存算分离解决方案,实现资源价值最大化,存储与计算资源全面云化、灵活配置、弹性伸缩,降本增效。