Curve 基于 Raft 的写时延优化

2022-04-27
阅读 6 分钟
1.6k
Curve([链接] )是网易数帆自主设计研发的高性能、易运维、全场景支持的云原生软件定义存储系统,旨满足Ceph本身架构难以支撑的一些场景的需求,于2020年7月正式开源。当前由CurveBS和CurveFS两个子项目构成,分别提供分布式块存储和分布式文件存储两种能力。其中CurveBS已经成为开源云原生数据库PolarDB for PostgreSQ...

驯服 Kubernetes!网易数帆云原生运维体系建设之路

2022-04-25
阅读 9 分钟
2.1k
对于运维来说,其实就是效率、稳定性、成本。其实,不管是稳定性,还是提升运维效率都是为了钱:效率提升了能减少人力成本,稳定性保障/监控报警做得好,可以少故障少赔钱。对于运维来说,当然还有一个非常重要的是安全,不过今天我们不会怎么讲安全。

Slime 2022 展望:把 Istio 的复杂性塞入智能的黑盒

2022-04-25
阅读 9 分钟
1.7k
网易数帆轻舟微服务团队很早就开始使用 Istio 做服务网格。在实践过程中,我们开发了很多 Istio 周边模块,方便了自身及网易集团内部客户使用 Istio。为了回馈社区,我们系统整理了这些模块,并选择了一部分,在2021年初开源出 Slime 项目。

破浪人丨国内首位 Envoy Maintainer!王佰平独家讲述四年开源之路

2022-04-24
阅读 5 分钟
2.2k
说在前面在扬帆破浪的2022年里,有一批可爱的数帆同事在工作中、工作外凭热爱发光发热。一个个小故事背后,呈现出他们在数字化技术与应用实践中,步履不停的探索和开拓进取的力量。今天是「破浪人」栏目第2期。受邀成为Envoy 社区国内首位且唯一的 Maintainer,网易数帆资深架构师王佰平讲述个人四年开源贡献的心得体会...

首届 DIVE 精彩回顾丨践行企业数字化,基础软件如何创新

2022-04-19
阅读 3 分钟
1.2k
“墙高基下,虽得必失。”在构建数字企业大厦的工程中,基础软件的重要性不言而喻。但对于各行各业而言,面向传统经营模式设计的基础软件已经难以支撑数字业务的创新,唯有汲取专业团队的经验,缩短基础软件升级探索的时间,方能排除后顾之忧投入业务和管理的数字化,全心应对全球大环境的风险及行业的不确定性。

为什么你应该了解 Loggie

2022-04-13
阅读 3 分钟
1.2k
你可能对日志并不感兴趣。不过没关系,本文也不打算介绍Loggie如何采集日志。首先请不要被Loggie的名称限制了思维,我想重新定义一下:什么是Log?从本质上,Log即为Data。而Data,在我们平时的开发中无处不在。引用知名经典野猪书《Designing Data-Intensive Applications》(还没看过这本书的请不要错过)里的一句话:...

IstioCon 2022,网易数帆六年优化经验即将揭秘

2022-04-13
阅读 1 分钟
1.7k
北京时间4月25~29日,Istio 社区第二届全球峰会 IstioCon 2022 将于线上举行,来自 Google、网易、IBM、腾讯等公司的 80+ 服务网格(Service Mesh)技术专家将带来 60+ 场技术分享,其中网易数帆资深架构师 Yonka Fang(方志恒)将为全球开发者和用户分享网易数帆 Istio 实践经验。

T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践 网易数帆 网易数帆

2022-03-31
阅读 8 分钟
2.7k
在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上,T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3出行高级大数据工程师李心恺共同分享了 Apache Kyuubi(Incubating) 在T3出行的最新实践与应用,包括基于 Kyuubi 设计的 Flink SQL Engine,Kyuubi 与 Apache Linkis 的集成,以及在T3出行的落地实践。

汪源做客阿里云大咖说,论道数据库开源与存储生态

2022-03-31
阅读 2 分钟
1.6k
近日,网易副总裁、杭州研究院执行院长、网易数帆总经理汪源受邀参加阿里云“大咖说*对话开源”,与阿里云数据库开源战役负责人、阿里云智能数据库产品事业部架构组负责人曲山(黄贵)展开精彩对话,以Data Infra(数据基础设施)为例,就开源生态、商业化及国产化等一系列问题进行了深入探讨。

eBay 基于 Apache Kyuubi 构建统一 Serverless Spark 网关的实践

2022-03-25
阅读 8 分钟
3.4k
本文来自 eBay 软件工程师、Apache Kyuubi PPMC Member王斐在Apache SeaTunnel & Kyuubi 联合 Meetup的分享,介绍了Apache Kyuubi(Incubating)的基本架构和使用场景,eBay基于自身的需求对Kyuubi所做的增强,以及如何基于Kyuubi构建Unified & Serverless Spark Gateway。
封面图

巨变来了!金融大数据平台走向何方?

2022-03-22
阅读 4 分钟
1.5k
如今大数据早已成为金融机构核心竞争力的关键一环,其中,数据中台、大数据平台已经成为了金融机构全面数字化转型的关键,金融机构服务客户、创新产品、内部管理等都越来越依赖“数字”。
封面图

一文读懂丨国产化大背景下,企业如何稳固数据底座?

2022-03-21
阅读 1 分钟
1.1k
随着国产化趋势加速,信创产业发展也开始从核心的芯片、操作系统、数据库等领域覆盖到大数据平台等更广泛的领域。作为率先启动信创实践的行业,金融行业是其中较为典型的、最早将实现稳定创新和自主可控纳入视野范围的,甚至将其作为IT基础建设的重要目标。

网易数帆云原生日志平台架构实践

2022-03-14
阅读 8 分钟
2.4k
导读:网易从2015年就开始了云原生的探索与实践,作为可观测性的重要一环,日志平台也经历了从主机到容器的演进,支撑了集团内各业务部门的大规模云原生化改造。本文会讲述在这个过程中我们遇到的问题,如何演进和改造,并从中沉淀了哪些经验与最佳实践。

网易X工行:云原生日志系统 Loggie 正式开源!

2022-03-10
阅读 3 分钟
2.3k
近日,由网易和中国工商银行联合发起的云原生日志系统Loggie项目(github.com/loggie-io/loggie/)正式开源。这是网易数帆向云原生日志痛点发起的一次冲锋,也是团队联合合作伙伴践行“架构开放,内核开源”技术理念、把控制权交给客户的又一行动。

Apache Kyuubi & SeaTunnel 联合 Meetup | 见证中国大数据崛起!

2022-03-02
阅读 2 分钟
2.1k
十多年来,Apache 社区一向是大数据技术的风向标。去年,5 个源自中国的新项目进入 ASF 项目孵化器,其中 3 个是大数据相关项目,更是见证了本土大数据的雄起。

网易数帆内核团队:memory cgroup 泄漏问题的分析与解决

2022-01-10
阅读 4 分钟
1.9k
memory cgroup 泄露是 K8s(Kubernetes) 集群中普遍存在的问题,轻则导致节点内存资源紧张,重则导致节点无响应只能重启服务器恢复;大多数的开发人员会采用定期 drop cache 或者关闭内核 kmem accounting 进行规避。本文基于网易数帆内核团队的实践案例,对 memory cgroup 泄露问题的根因进行分析,同时提供了一种内核层...

解读服务网格的 2021:告别架构“大跃进”,技术生态百家争鸣

2022-01-10
阅读 7 分钟
1.9k
服务网格的 2021,“稳” 字当先。不管是原生社区发展,还是行业实践落地,都以 “稳定” 为第一要义。少了前几年大跃进式的架构演进、功能更迭,多了更务实、更落地的行业探索与实践,2021 年的服务网格正从当年那个狂奔的“少年”、“流量明星”,成长为真正的“实力派”,逐步进入成熟期,被更多行业、企业和标准化组织所接纳。...

KubeCube 用户管理与身份认证

2021-12-17
阅读 7 分钟
2k
前言KubeCube ([链接]) 是由网易数帆近期开源的一个轻量化的企业级容器平台,为企业提供 kubernetes 资源可视化管理以及统一的多集群多租户管理功能。KubeCube 社区将通过系列技术文章解读 KubeCube 的设计特点和技术实现,帮助开发者和用户更快地理解和上手 KubeCube。本文是第三篇,重点介绍 KubeCube 中用户管理与身...
封面图

CurveFS预览版重磅首发,Curve加速迈向云原生软件定义存储

2021-12-16
阅读 8 分钟
3.7k
今天,我们很高兴地发布Curve项目的文件系统,以及全新的部署工具。这也是CurveFS的第一个beta版本,预示着在Curve社区同仁的共同努力之下,Curve距离更好用的云原生软件定义存储又前进了一步。
封面图

网易数帆实时数据湖 Arctic 的探索和实践

2021-12-09
阅读 7 分钟
1.9k
网易数帆实时数据湖Arctic的探索和实践作者 | 蔡芳芳采访嘉宾 | 马进 网易数帆平台开发专家数据中台也要从离线为主走向实时化,湖仓一体是第一步。数据从离线到实时是当前一个很大的趋势,但要建设实时数据、应用实时数据还面临两个难题。首先是实时和离线的技术栈不统一,导致系统和研发重复投入,在这之上的数据模型、...
封面图

私有化场景下大规模云原生应用的交付实践

2021-12-09
阅读 9 分钟
1.6k
本文根据作者在 CSDN 云原生 Meetup 深圳站的演讲内容整理,分享云原生趋势下网易数帆在私有化场景下大规模应用的交付实践,包括在实践过程中遇到的问题,如何实现标准化、高效率且高质量的交付方案,以及取得效果。

Apache Kyuubi 助力 CDH 解锁 Spark SQL

2021-11-18
阅读 9 分钟
4.2k
Apache Kyuubi(Incubating)(下文简称Kyuubi)是⼀个构建在Spark SQL之上的企业级JDBC网关,兼容HiveServer2通信协议,提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计,社区正在努力使其能够支持更多通信协议(如 RESTful、 MySQL)和计算引擎(如Flink)。
封面图

Apache Kyuubi 在 T3 出行的深度实践

2021-11-12
阅读 6 分钟
4.1k
T3出行是一家基于车联网驱动的智慧出行平台,拥有海量且丰富的数据源。因为车联网数据的多样性,T3出行构建了以 Apache Hudi 为基础的企业级数据湖,提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言,平台的技术门槛是另一种挑战。如果能将平台的能力统合,并不断地优化和迭代,让用户能够通过 JDBC 和 SQL...

网易数帆、云音乐、Intel、有赞最新大数据实践(PPT下载+视频回放)

2021-06-25
阅读 4 分钟
3.6k
在近日由网易数帆、Intel联合举办的网易数帆技术沙龙大数据专场上,网易数帆大数据专家、Apache Spark Committer姚琴,有赞基础架构组OLAP负责人陈琦,Intel资深软件开发工程经理、Apache Hive Committer徐铖,网易云音乐数据专家雷剑波,以及网易数帆大数据产品专家顾平等五位专家,分别就Serverless Spark、ClickHouse...

“千言数据集:文本相似度”权威评测,网易易智荣登榜首

2021-06-21
阅读 2 分钟
2.9k
文本相似度,即识别两段文本在语义上是否相似,在自然语言处理(NLP)领域是一个重要研究方向,目前已大规模商用于智能客服、信息检索、新闻推荐等领域,如已服务超40万企业客户的网易七鱼智能客服,背后就有这项技术的支撑。

顶级项目Committer、Contributor齐聚,数帆xIntel大数据技术沙龙等你来

2021-06-11
阅读 2 分钟
1.9k
数字化、智能化转型的背景下,数据作为企业核心生产资料,被寄望发挥更大的价值。从Hadoop、Spark到Flink,从Iceberg、ClickHouse到Kubeflow,与“4V”对抗的大数据技术不断更新,而受其推动的行业进步又带来了新的挑战。如何打造适应未来业务发展的技术体系,成为各大数据团队都在探索的课题。6月19日,网易数帆、Intel联...

网易有数品牌升级:聚焦数据价值,助力企业数字化创新

2021-04-08
阅读 2 分钟
1.4k
4月7日,网易数帆正式升级旗下大数据业务品牌为“网易有数”,此次升级将大数据业务重点从“数据管理”转向“数据价值”,继续通过领先的大数据技术服务,助力企业数字化转型。网易有数将以“数据价值”为导向,通过提供数据产品及算法工具体系,帮助企业高效、低投入、快速打造全业务场景的智能化数据产品,让每个人、每个决策...

权威技术社区InfoQ列网易数帆为年度最有价值技术团队,技术实力获广泛认可

2021-02-07
阅读 1 分钟
1.4k
近日,权威技术社区InfoQ公布数字化转型技术服务商网易数帆为2020年最有价值技术团队,并被授予“最佳技术社区驱动力奖”,认可网易数帆在技术领域的突出成就和实力。

快手打新挤爆券商系统,网易数帆稳定性保障方案助力升级/快手打新挤爆系统,券商分布式技术底座如何升级

2021-02-02
阅读 2 分钟
1.2k
相信大家都还记得快手“老铁”挤爆券商系统的“大动作”,足够666。2021年刚开年,快手正式启动招股,申购情况比预测得还要火爆。认购开启仅2分钟,券商的融资额度便几乎被一抢而空,而认购页面的排队人数则还有数万人……

Devops下的接口全生命周期质量建设

2021-01-15
阅读 5 分钟
2.4k
什么是devops?随着时间的推移,devops的定义也在不断的演进。对于其定义可能出现千人千面,但从核心观点,整体业界还是保持着一致的认识。DevOps不是单一的技术或者工具,甚至不只是一个流程,他包含应用设计、敏捷开发、持续交付和监控运维等一系列流程,涉及到企业文化、团队协作流程等多个方面,它可以被理解为一系...