【有奖征文】首届网易数帆低代码征文大赛开启啦!

2023-12-21
阅读 3 分钟
285
2023年4月,网易数帆低代码平台升级CodeWave智能开发平台,定位中大型企业核心软件的智能化生产,从底层帮助企业提高开发效率,IT人员可以轻易实现从“智能生成”到“可视化拖拽调整”的全栈低代码应用搭建,让复杂应用开发更加高效,加快企业数字化与智能化进程。
封面图

证券行业异构系统众多,微服务和网格如何全都要

2023-06-14
阅读 2 分钟
585
在携手网易数帆取得中间件云原生化的创新成果之后,安信证券已在谋划大规模微服务化的布局,以确保信息系统架构走在现代金融科技的前列,支撑业务在未来数智金融竞争中把握主动权。

任务全链路诊断,助力云音乐大规模计算资源优化

2023-06-06
阅读 5 分钟
460
计算资源vcore的优化不同于内存优化,vcore严重影响着任务的运行效率。如何在保证任务运行效率不变甚至提高的情况下,能进一步优化vcore的利用率?我们需要对任务做出全面的分析,给出不同的优化策略。这篇文章主要围绕任务运行阶段,介绍任务全链路诊断针对任务不同检查项异常给予的优化策略,以及带来的收益。

大数据技术沙龙来袭!2023走进网易:创新重塑数据生产力

2023-05-16
阅读 1 分钟
550
随着大数据平台和技术在企业内部的推进与落地,长效价值逐渐成为关注点。❓如何更好地管理数据资产?❓是否有可参考的建设方法❓AIGC和ChatGPT热点是否能高效结合企业数据需求?❓企业IT部门又该如何更好地发挥其能力?网易将为您解答!!网易数帆联合信通院云大所、CSDN共同发起大数据技术沙龙,邀请一线专家分享前沿方法论...
封面图

数据治理实践 | 网易某业务线的计算资源治理

2023-04-19
阅读 4 分钟
608
由于数据治理层面可以分多个层面且内容繁多(包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容),因此需要单独拆分为6个模块单独去阐述其中内容。

任务运维 | 怎么补数据?这有一篇实践案例

2023-03-31
阅读 3 分钟
981
在任务运维同学的日常工作中,经常需要使用补数据功能,例如当一个新的数据开发任务提交上线后,需要将历史的数据也能写入对应的时间分区;或者当发现某个任务产出数据有误时,需要重新刷新数据,这时候也会需要用到补数据功能。

如何做好一场NPS调研?

2023-03-22
阅读 5 分钟
893
我们在工作中经常遇到的一个词,那就是“产品NPS调研”。当部分项目缺少专业的用研人员时,设计师、产品经理则经常会接受上级的要求,投身于NPS调研工作。

技术专家说 | 金融分布式多活架构在落地之时,都有哪些值得关注的点?

2023-02-24
阅读 11 分钟
600
今年,网易数帆将持续推出新栏目「金融专家说」「技术专家说」「产品专家说」等,聚集数帆及合作伙伴的数字化转型专家天团,聚焦大数据、云原生、人工智能等科创领域,带来深度技术解读及其在各行业落地应用等一系列知识分享,为企业数字化转型成功提供有价值的参考。

云音乐数据资产化建设的思考与实践

2023-02-24
阅读 4 分钟
666
本文介绍是云音乐数据资产化建设相关的内容,介绍了近一年在具体实践过程中的一些阶段性的成果和思考;详细内容将从资产化建设的背景、近期的实践成果以及下一阶段的思考与规划共三个方面来展开。

网易云音乐用户画像资产治理及业务赋能

2023-01-17
阅读 3 分钟
523
针对业务场景中数据应用价值的落地,网易数帆形成了以 DataOps、DataFusion、DataProduct 为内核,数据技术、数据资产、数据应用和数据运营为四要素的数据生产力模型,其中网易公司数据运营的一个重要手段是网易数据治理大赛。本文是第二届网易数据治理大赛获奖作品分享,来自于网易互娱用户体验中心数据团队。云音乐用...

扬州万方:基于申威平台的 Curve 块存储在高性能和超融合场景下的实践

2023-01-16
阅读 2 分钟
632
扬州万方科技股份有限公司主要从事通信、计算机和服务器、智能车辆、基础软件等产品的科研生产,是国家高新技术企业、专精特新小巨人企业、国家火炬计划承担单位。

Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践

2023-01-13
阅读 5 分钟
883
Elasticsearch在生产环境中有广泛的应用,本文介绍一种方法,基于网易数帆开源的Curve文件存储,实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。

新一代云原生日志架构 - Loggie的设计与实践

2023-01-11
阅读 8 分钟
942
Loggie萌芽于网易严选业务的实际需求,成长于严选与数帆的长期共建,持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态,使得项目能够基于业务需求不断完善、成熟。目前已经开源:[链接]
封面图

正式毕业!Apache Kyuubi 成为 Apache 基金会顶级项目!

2022-12-29
阅读 4 分钟
1.3k
项目最初由网易数帆开发并于2018年开源,2021年6月捐赠 Apache基金会,经过1年多的孵化于2022年11月通过投票,在12月顺利毕业,成为 Apache 基金会顶级开源项目!
封面图

让金融机构轻松应对监管报送,网易数帆发布最新解决方案

2022-12-23
阅读 2 分钟
937
近年来,随着人民银行、银保监会等监管机构对金融机构数据报送的制度与规则日益完善,需要提交报送的数据量越来越大,对数据质量及业务合规性的要求也越来越高。
封面图

【活动预告】网易数帆首场低代码线上沙龙即将开启,报名从速!

2022-12-19
阅读 1 分钟
855
在当前的数字化转型趋势下,作为一款降本增效的工具,低代码正行驶在快车道之上,大大降低了数字化建设的门槛,使得数字化手段不再只是小部分头部企业的专利,每家企业都能快速上手。

厘清企业数据治理难题,《网易数据治理白皮书》重磅发布!

2022-12-13
阅读 1 分钟
945
为此,网易数帆联合全球知名中文IT技术交流平台CSDN重磅发布《网易数据治理白皮书》(以下简称“白皮书”),从专业视角逐步剖析数据治理难题,帮助企业厘清导致数字化缓慢的“症结”出在何处,精准治理、“对症下药”!
封面图

Curve 块存储应用实践 -- iSCSI

2022-12-02
阅读 5 分钟
756
Curve 是云原生计算基金会 (CNCF) Sandbox 项目,是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。为了让大家更容易使用以及了解 Curve,我们期望接下来通过系列应用实践文章,以专题的形式向大家展示 Curve。本篇文章是Curve块存储应用实践的第一篇,该系列文章包括:Curve块存储应用实践一部曲之iSCSICur...

创云融达基于 Curve 的智慧税务场景实践

2022-11-25
阅读 3 分钟
934
近年来,为了优化人们纳税缴费的服务体验,各省市税务系统逐步构建了面向税务办事大厅的各种创新型智慧设备和智慧应用,如办税一体机,智慧税务大屏,语音辅助设备、以及业务流程辅助 AI 机器人等。极大便利人们税业务体验的同时也对IT集成和IT基础设施提出了更高的要求。

多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践

2022-11-25
阅读 8 分钟
1.6k
伴随着国家产业升级的推进和云原生技术成熟,多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。
封面图

网易传媒基于 Arctic 的低成本准实时计算实践

2022-11-09
阅读 7 分钟
783
网易传媒大数据实际业务中,存在着大量的准实时计算需求场景,业务方对于数据的实效性要求一般是分钟级;这种场景下,用传统的离线数仓方案不能满足用户在实效性方面的要求,而使用全链路的实时计算方案又会带来较高的资源占用。
封面图

Arctic 基于 Hive 的流批一体实践

2022-10-27
阅读 7 分钟
934
随着大数据业务的发展,基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面 Hudi,Iceberg 这类系统在事务性,快照管理上带来巨大提升,但是对已经存在的 Hive 用户有较大的迁移成本,并且难以满足流式计算毫秒级延迟的需求。为了满足网易内外部...
封面图

Apache Kyuubi 在B站大数据场景下的应用实践

2022-10-27
阅读 10 分钟
1.8k
近几年随着B站业务高速发展,数据量不断增加,离线计算集群规模从最初的两百台发展到目前近万台,从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示,我们的BI、ADHOC以及DQC服务都是通过自研的Dispatcher路由服务来实现统一SQL调度,Dispatcher会结合查询SQL语法特征、...
封面图

流通行业数据应用脱困,数据生产力模型解决方案

2022-10-20
阅读 2 分钟
586
周道明表示,流通企业日常的经营管理本质是决策的过程,因而有必要基于企业价值链,搭建一个类似汽车导航的智能运营平台,贯穿经营目标、可选路径、成本控制及过程追踪等管理,协同供应链、营运、营销、财务等关联部门,实现数据决策以提升管理效率。源自行业实践的数据生产力模型,为流通行业智能运营平台的建设与运营...

KubeCube 新增版本转换:K8s 尝鲜再也不用担心影响老版本了

2022-10-20
阅读 5 分钟
1k
多租户可视化 K8s 管理平台 KubeCube近日迎来了新版本的发布,新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式,为集群和项目设置 Ingress 域名后缀等特性,也修复了若干已知问题,详见 ChangeLog。

SparkSQL on K8s 在网易传媒的落地实践

2022-10-18
阅读 6 分钟
1.3k
随着云原生技术的发展和成熟,大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在 2021 年成功将 SparkSQL 部署到了 K8s 集群,并实现与部分在线业务的混合部署,到目前已经稳定运行了一年多。期间传媒联合杭研 Spark 内核团队和云计算团队对出现的问题进行了持续的改进,本文将对这些落地优化实践进行初步...

Service Mesh Summit 回顾 | 轻舟服务网格的无侵入增强 Istio 经验

2022-10-14
阅读 12 分钟
889
在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上,网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验,本文据此次分享整理,介绍了对无侵入和实现的思考,轻舟服务网格演进过程中的扩展增强,以及这些扩展增强和无侵入的关系。这里“无侵入”强调的是对服务网格基础设施本身的无侵...
封面图

基于 Impala 的高性能数仓实践之物化视图服务

2022-10-13
阅读 12 分钟
1.2k
接上篇,前两篇分别讲了执行引擎和虚拟数仓,它们是让一个 SQL 又快又好地执行的关键。但如果某些 SQL 过于复杂,比如多张大表进行 Join 并有大量的聚合类操作,那么再优秀的执行引擎也无法保证能够秒级执行完成,虚拟数仓的弹性扩展能力也很难及时跟上,这正是物化视图能够发挥作用的场景。

汪源:数据分析热词迭出,“三个统一”值得关注

2022-09-30
阅读 4 分钟
797
从流批一体、湖仓一体、NoETL、数据中台到DataOps,现代数据分析领域热词迭出,企业如何抓住本质,经营数据生产力以提质增效?9月26-27日,ArchSummit全球架构师峰会杭州站举办,网易副总裁、网易杭州研究院执行院长、网易数帆总经理汪源受邀在会上发表主题演讲,深入浅出地剖析了现代化数据分析架构中最值得关注的三条...