数据治理实践 | 网易某业务线的计算资源治理

2023-04-19
阅读 4 分钟
653
由于数据治理层面可以分多个层面且内容繁多(包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容),因此需要单独拆分为6个模块单独去阐述其中内容。

云音乐数据资产化建设的思考与实践

2023-02-24
阅读 4 分钟
702
本文介绍是云音乐数据资产化建设相关的内容,介绍了近一年在具体实践过程中的一些阶段性的成果和思考;详细内容将从资产化建设的背景、近期的实践成果以及下一阶段的思考与规划共三个方面来展开。

厘清企业数据治理难题,《网易数据治理白皮书》重磅发布!

2022-12-13
阅读 1 分钟
994
为此,网易数帆联合全球知名中文IT技术交流平台CSDN重磅发布《网易数据治理白皮书》(以下简称“白皮书”),从专业视角逐步剖析数据治理难题,帮助企业厘清导致数字化缓慢的“症结”出在何处,精准治理、“对症下药”!
封面图

网易传媒基于 Arctic 的低成本准实时计算实践

2022-11-09
阅读 7 分钟
843
网易传媒大数据实际业务中,存在着大量的准实时计算需求场景,业务方对于数据的实效性要求一般是分钟级;这种场景下,用传统的离线数仓方案不能满足用户在实效性方面的要求,而使用全链路的实时计算方案又会带来较高的资源占用。
封面图

流通行业数据应用脱困,数据生产力模型解决方案

2022-10-20
阅读 2 分钟
651
周道明表示,流通企业日常的经营管理本质是决策的过程,因而有必要基于企业价值链,搭建一个类似汽车导航的智能运营平台,贯穿经营目标、可选路径、成本控制及过程追踪等管理,协同供应链、营运、营销、财务等关联部门,实现数据决策以提升管理效率。源自行业实践的数据生产力模型,为流通行业智能运营平台的建设与运营...

从 Delta 2.0 开始聊聊我们需要怎样的数据湖

2022-08-11
阅读 12 分钟
826
盘点行业内近期发生的大事,Delta 2.0 的开源是最让人津津乐道的,尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比,颇有些引战的味道。虽然 Databricks 的工程师反复强调性能测试来自第三方 Databeans,并且他们没有主动要求 Databeans 做这项测试,但如果全程看完 delta2.0 发布会,会发现在 delta2.0 即将...

Arctic开源!网易数帆×华泰证券,推动湖仓一体落地

2022-08-11
阅读 3 分钟
1.2k
数字化转型趋势下,各行业对数据生产力的探索与追求逐步进入深水区。现实的问题是,企业数据仓库存储、数据湖多种技术并存的局面将长期存在,如何才能摆脱技术协同的内耗,让大数据直通生产力的彼岸?

汪源做客阿里云大咖说,论道数据库开源与存储生态

2022-03-31
阅读 2 分钟
1.3k
近日,网易副总裁、杭州研究院执行院长、网易数帆总经理汪源受邀参加阿里云“大咖说*对话开源”,与阿里云数据库开源战役负责人、阿里云智能数据库产品事业部架构组负责人曲山(黄贵)展开精彩对话,以Data Infra(数据基础设施)为例,就开源生态、商业化及国产化等一系列问题进行了深入探讨。

网易数帆实时数据湖 Arctic 的探索和实践

2021-12-09
阅读 7 分钟
1.7k
网易数帆实时数据湖Arctic的探索和实践作者 | 蔡芳芳采访嘉宾 | 马进 网易数帆平台开发专家数据中台也要从离线为主走向实时化,湖仓一体是第一步。数据从离线到实时是当前一个很大的趋势,但要建设实时数据、应用实时数据还面临两个难题。首先是实时和离线的技术栈不统一,导致系统和研发重复投入,在这之上的数据模型、...
封面图

Apache Kyuubi 助力 CDH 解锁 Spark SQL

2021-11-18
阅读 9 分钟
3.6k
Apache Kyuubi(Incubating)(下文简称Kyuubi)是⼀个构建在Spark SQL之上的企业级JDBC网关,兼容HiveServer2通信协议,提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计,社区正在努力使其能够支持更多通信协议(如 RESTful、 MySQL)和计算引擎(如Flink)。
封面图

Apache Kyuubi 在 T3 出行的深度实践

2021-11-12
阅读 6 分钟
3.8k
T3出行是一家基于车联网驱动的智慧出行平台,拥有海量且丰富的数据源。因为车联网数据的多样性,T3出行构建了以 Apache Hudi 为基础的企业级数据湖,提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言,平台的技术门槛是另一种挑战。如果能将平台的能力统合,并不断地优化和迭代,让用户能够通过 JDBC 和 SQL...

数据库与数据仓库的区别是什么

2020-03-13
阅读 2 分钟
1.7k
我们知道,大部分公司都拥有了自己的财务,OA,CRM 等系统。这些系统都有自己的独立数据库,记录着企业运行情况某个方面的数据。但是单独看这些系统的报表,并不一定能对企业运行情况有全面客观的了解。就像只凭身高不能判断一个人是否健康,所以体检的时候我们需要化验许多指标,做各种检测,就是为了对身体情况有更全...