云原生离线实时一体化数仓建设与实践

2022-05-17
阅读 7 分钟
简介:本篇内容分享了云原生离线实时一体化数仓建设与实践。 分享人:刘一鸣 Hologres 产品经理视频链接:[链接]正文:本篇内容将通过五个部分来介绍云原生离线实时一体化数仓建设与实践。一、离线实时一体化数仓建设难点二、离线实时一体化数仓技术演化三、阿里巴巴离线实时一体化数仓建设实践四、离线实时一体化数仓参...
封面图

MaxCompute湖仓一体介绍

2022-05-17
阅读 3 分钟
简介:本篇内容分享了MaxCompute湖仓一体介绍。 分享人:孟硕 阿里云 MaxCompute产品专家视频链接:[链接]正文:本篇内容将通过两个部分来介绍MaxCompute湖仓一体。一、什么是 MaxCompute 湖仓一体二、湖仓一体成功案例介绍一、什么是 MaxCompute 湖仓一体湖仓一体的整体架构,主要面向数据分析师,数据科学家以及大数据...
封面图

云湖共生-释放企业数据价值

2021-11-05
阅读 4 分钟
摘要:2021云栖大会云原生企业级数据湖专场,阿里云智能资深技术专家、对象存储 OSS 负责人罗庆超为我们带来《云湖共生-释放企业数据价值》的分享。本文主要从数据湖存储演进之路、数据湖存储3.0 进化亮点等方面分享了云湖共生带来的企业价值。
封面图

Cloudera Manager 术语和架构

2021-10-28
阅读 3 分钟
简介: 本文介绍了Cloudera Manager 的常见术语和架构Cloudera Manager 术语为了有效地使用Cloudera Manager,您应该首先了解其术语。术语之间的关系如下所示,其定义如下:有时,术语服务和角色用于同时指代类型和实例,这可能会造成混淆。Cloudera Manager 和本节有时对类型和实例使用相同的术语。例如,Cloudera Mana...
封面图

Apache Hudi 在 B 站构建实时数据湖的实践

2021-09-10
阅读 5 分钟
简介: B 站选择 Flink + Hudi 的数据湖技术方案,以及针对其做出的优化。本文作者喻兆靖,介绍了为什么 B 站选择 Flink + Hudi 的数据湖技术方案,以及针对其做出的优化。主要内容为:
封面图

Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?

2021-08-04
阅读 7 分钟
简介: 本文作者关涛是大数据系统领域的资深专家,在微软(互联网/Azure云事业群)和阿里巴巴(阿里云)经历了大数据发展20年过程中的后15年。本文试从系统架构的角度,就大数据架构热点,每条技术线的发展脉络,以及技术趋势和未解问题等方面做一概述。作者 | 阿里云计算平台研究员关涛、阿里巴巴项目管理专家王璀
封面图

智能数据构建与管理平台Dataphin的前世今生:缘起

2021-06-01
阅读 3 分钟
简介:阿里巴巴提出的OneData方法论帮助企业捋清了数据全生命周期的管理思路,更将其植入到产品Dataphin(智能数据构建与管理)中,通过阿里云为企业提供服务。
封面图

混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践

2019-10-30
阅读 3 分钟
摘要:2019杭州云栖大会大数据企业级服务专场,由斗鱼大数据高级专家张龙带来以 “混合云模式下 MaxCompute+Hadoop 混搭大数据架构实践” 为题的演讲。本文讲述了从 Apache Hadoop 阶段到 Cloudera CDH 阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和跳战,包括数据安全、数据同步以及迁移任务。概括了...

阿里巴巴飞天大数据架构体系与Hadoop生态系统

2019-09-12
阅读 7 分钟
Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算,充分利用集群的威力进行高速运算和存储。

千亿级的数据难题,优酷工程师怎么解决?

2019-07-10
阅读 5 分钟
阿里妹导读:优酷一天的日志量会达到千亿级别,面对如此大的数据样本,2017年5月,优酷完成了从Hadoop迁移到阿里云MaxCompute,实现计算消耗和储存的消耗呈下降趋势,得到了非常大的收益。今天,阿里数据技术专家门德亮给大家做个分享,从为什么要用MaxCompute,到优酷的业务场景下典型的方案及应用分析,聊聊迁移后对业...

优酷背后的大数据秘密

2019-06-12
阅读 5 分钟
大家好,我是门德亮,现在在优酷数据中台做数据相关的事情。很荣幸,我正好见证了优酷从没有MaxCompute到有的这样一个历程,因为刚刚好我就是入职优酷差不多5年的时间,我们正好是在快到5年的时候,去做了从Hadoop到MaxCompute的这样一个升级。这个是2016年5月到2019年现在的5月优酷的发展历程,上面是计算资源,下面是...

你应该知道的 HBase 基础,都在这儿了

2019-04-22
阅读 4 分钟
阿里妹导读:2006 年10 月Google 发布三架马车之一的《Bigtable:A Distributed Storage System for Strctured Data》论文之后,Powerset 公司就宣布 HBase 在 Hadoop 项目中成立,作为子项目存在。后来,在2010 年左右逐渐成为 Apache 旗下的一个顶级项目。可能是实际应用中包装得太好,很多人对于 HBase 的认识止步于 ...