【云原生AI】Fluid + JindoFS 助力微博海量小文件模型训练速度提升 18 倍

2021-06-05
阅读 6 分钟
2.7k
简介: 深度学习平台在微博社交业务扮演着重要的角色。计算存储分离架构下,微博深度学习平台在数据访问与调度方面存在性能低效的问题。本文将介绍微博内部设计实现的一套全新的基于 Fluid(内含 JindoRuntime)的新架构方案,显著提升了海量小文件场景模型训练的性能和稳定性,多机多卡分布式训练场景可将模型训练的速...

OpenYurt v0.4.0 新特性发布:高效地管理边缘存储资源

2021-06-03
阅读 3 分钟
2.3k
OpenYurt 是由阿里云开源的基于原生 Kubernetes 构建的、业内首个对于 Kubernetes 非侵入式的边缘计算项目,目标是扩展 Kubernetes 以无缝支持边缘计算场景。它提供了完整的 Kubernetes API 兼容性;支持所有 Kubernetes 工作负载、服务、运营商、CNI 插件和 CSI 插件;提供良好的节点自治能力和云边协同能力。OpenYurt ...

OpenKruise v0.9.0 版本发布:新增 Pod 重启、删除防护等重磅功能

2021-06-02
阅读 7 分钟
2.4k
​OpenKruise 是阿里云开源的云原生应用自动化管理套件,也是当前托管在 Cloud Native Computing Foundation (CNCF) 下的 Sandbox 项目。它来自阿里巴巴多年来容器化、云原生的技术沉淀,是阿里内部生产环境大规模应用的基于 Kubernetes 之上的标准扩展组件,也是紧贴上游社区标准、适应互联网规模化场景的技术理念与最佳...

阿里云携手 VMware 共建云原生 IoT 生态,聚开源社区合力打造领域标准

2021-05-31
阅读 3 分钟
1.5k
来源 | 阿里巴巴云原生公众号​5 月 29 日,“2021 阿里云开发者大会”于北京国际会议中心举办。在本次大会“云原生技术与最佳实践”论坛现场,阿里云容器服务负责人易立、VMware 中国研发中心研发总监路广联合宣布达成双方在“云原生边缘计算”领域的技术战略合作,希望未来依托开源社区力量,加速边缘云原生生态系统的构建,...

dubbo-go v3 版本 go module 踩坑记

2021-05-31
阅读 7 分钟
1.6k
​该问题源于我们想对 dubbo-go 的 module path 做一次变更,使用 dubbo.apache.org/dubbo-go/v3 替换之前的 github.com/apache/dubbo-go。​首先,我们做了路径映射,在 dubbo.apache.org 下放置了一个 dubbogo/v3 文件,内容如下:​

暑期 2021 | Serverless Devs 最全项目申请攻略来啦!

2021-05-31
阅读 5 分钟
1.5k
Serverless 是近年来云计算领域热门话题,凭借极致弹性、按量付费、降本提效等众多优势受到很多人的追捧,各云厂商也在不断地布局 Serverless 领域。但是随着时间的发展,Serverless 领域也暴露出一些比较严重的问题,例如厂商锁定严重、没有合适的开发者工具、程序难以调试等。为此,Serverless Devs 应运而生。​Server...

Serverless Devs 的官网是如何通过 Serverless Devs 部署的

2021-05-31
阅读 4 分钟
1.5k
作者 | 江昱来源 | 阿里巴巴云原生公众号​只有自己吃自己的狗粮,自己做的东西才不“🐶”。Serverless Devs 自发展之处到现在,已经经历了几个月的时间,在这几个月,Serverless Devs 的成长是迅速的,这很大一部分的原因是“我们在吃自己的狗粮”,我们相信,如果自己都用不爽的东西,大家一定很难用的起来。​今天这篇文章,...

阿里云联合中国信通院发布《云计算开放应用架构》标准,加速云原生应用规模化落地进程

2021-05-27
阅读 3 分钟
1k
来源 | 阿里巴巴云原生公众号​2021 年 5 月 26 日,由阿里云计算有限公司、中国信息通信研究院等 10 余家单位联合发起的《云计算开放应用架构》标准文件在“云原生产业大会”现场发布。该架构以阿里云、微软云联合发起的开源项目“开放应用架构模型(Open Application Model,以下简称 OAM)”为实现基础,旨在为云端应用管...

集群镜像:实现高效的分布式应用交付

2021-05-27
阅读 7 分钟
2.1k
​顾名思义,和操作系统 .iso 镜像或 Docker 镜像类似,集群镜像是用一定的技术手段把整个集群的所有文件以一定格式打成的一个资源包。​

Kubernetes 稳定性保障手册:洞察+预案

2021-05-25
阅读 14 分钟
1.8k
作者 | 悟鹏来源 | 阿里巴巴云原生公众号《Kubernetes 稳定性保障手册》系列文章:​Kubernetes 稳定性保障手册 -- 极简版Kubernetes 稳定性保障手册 -- 日志专题Kubernetes 稳定性保障手册 -- 可观测性专题Kubernetes 稳定性保障手册 -- 洞察+预案(本文)综述​​稳定性保障是个复杂的话题,需要有效、可迭代、可持续保障...

程序员写好技术文章的几点小技巧

2021-05-24
阅读 4 分钟
1.8k
作者 | 门柳来源 | 阿里巴巴云原生公众号​去年成为了内网技术分享平台的年度作者,受邀写一篇关于“如何写好文章”的文章。我本身并不喜欢写字,去年写的几篇文章,涉及的话题自带流量,所以阅读量多了一些,谈不上有多擅长。不过还是决定分享一下自己在写文章时用到的一些小技巧,希望对大家有帮助。​

飞猪基于 Serverless 的云+端实践与思考

2021-05-24
阅读 5 分钟
1.1k
本文整理自飞猪旅行前端技术专家--王恒飞(承荫)在【阿里云 Serverless Developer Meetup 上海站】上的分享。点击查看直播回放:[链接]。​过去两年,飞猪前端一直在积极地进行 Serverless 建设和实践,2019 年 - 2020 年我们和集团 Node 架构组、研发平台一起完成了基础能力的建设和业务试点,成为集团率先落地 Serverl...

阿里云原生开源大家族加入中科院软件所开源软件供应链点亮计 - 暑期 2021

2021-05-24
阅读 7 分钟
976
2021 年,由中国开源软件推进联盟 COPU 牵头发布了《2021 中国开源发展蓝皮书》,涵盖当今全球开源的总体情况分析、开发者分析、项目分析、领域案例,绘制了一副"开源数字生态地图"。让我们全面地看到了开源领域的中国力量。​报告指出:​

参与 Apache 顶级开源项目的 N 种方式,Apache Dubbo Samples SIG 成立!

2021-05-24
阅读 3 分钟
1.4k
一说到参与开源项目贡献,一般大家的反应都是代码级别的贡献,总觉得我的代码被社区合并了,我才算一个贡献者,这是一个常见的错误认知。其实,在一个开源社区中有非常多的角色是 non-code contributor,一个开源社区中的很多关键职责被大家给忽略了。​组织活动也可以是贡献社区:

因你不同,2021 阿里云开发者大会重磅开启 @ 所有开发者!

2021-05-18
阅读 1 分钟
1.5k
来源|阿里巴巴云原生公众号​它来了!它来了!2021 年度阿里云开发者大会终于开始报名啦!每一个时代都有属于自己的英雄而在云时代开发者就是数字创新的践行者、是这个时代的英雄他们正在用自己独特的面孔参与到数字时代的建设中我们希望能够与开发者们共同成长、共同定义、共同分享云时代的发展“分享是一种快乐”我们也希...

博睿数据与阿里云签订云原生核心合作伙伴计划,推动企业智能运维落地

2021-05-18
阅读 3 分钟
1.1k
来源 | 阿里巴巴云原生公众号​5 月 13 日,博睿数据与阿里云宣布达成深度合作,重点发力企业智能运维领域。双方签订了云原生核心合作伙伴计划,通过博睿数据领先的拨测网络结合阿里云独特的 AIOps 能力,构建全球领先的 SaaS 产品云拨测,为企业提供领先、专业、全面的智能运维能力。​

Vineyard 加入 CNCF Sandbox,将继续瞄准云原生大数据分析领域

2021-05-18
阅读 4 分钟
1.2k
作者 | Vineyard 团队来源 | 阿里巴巴云原生公众号​Vineyard 是一个专为云原生环境下大数据分析场景中端到端工作流提供内存数据共享的分布式引擎,我们很高兴宣布 Vineyard 在 2021 年 4 月 27 日被云原生基金会(CNCF)TOC 接受为沙箱(Sandbox)项目。​Vineyard 项目开源地址:https://github.com/alibaba/v6d

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

2021-05-17
阅读 12 分钟
1.3k
台湾作家林清玄在接受记者采访的时候,如此评价自己 30 多年写作生涯:“第一个十年我才华横溢,‘贼光闪现’,令周边黯然失色;第二个十年,我终于‘宝光现形’,不再去抢风头,反而与身边的美丽相得益彰;进入第三个十年,繁华落尽见真醇,我进入了‘醇光初现’的阶段,真正体味到了境界之美”。​长夜有穷,真水无香。领略过了...

业界率先支持 MCP-OVER-XDS 协议,Nacos 2.0.1 + 1.4.2 Release 正式发布

2021-05-17
阅读 5 分钟
988
来源 | 阿里巴巴云原生公众号​Nacos 是阿里巴巴开源的服务发现与配置管理项目,本次同时发布两个版本:​发布 2.0.1 版本,主要致力于支持 MCP-OVER-XDS 协议,解决 Nacos 与 Istio 数据服务同步问题。发布 1.4.2 版本,极大增强 K8s 环境中 JRaft 集群 Leader 选举的稳定性。Nacos 2.0.12.0.1 主要变更为:​在 nacos-ist...

被解救的代码 - 代码即服务时代来了!

2021-05-17
阅读 3 分钟
1.9k
人类对自由的追求从未停止,我们用战斗获得民族自由,我们用代码获得双手自由,同时代码作为服务器的奴隶,也开始蠢蠢欲动,革命已经开始,当代码翻身做主,作为开发者的我们又该如何适应新时代的到来?

KubeVela + KEDA:为应用带来“与生俱来”的弹性伸缩能力

2021-05-13
阅读 4 分钟
1.1k
联合作者 | Yan Xun,阿里云 EDAS 团队高级工程师Andy Shi,阿里云开发者倡导者Tom Kerkhove,Codit 容器化业务负责人兼 Azure 架构师、KEDA 维护者、CNCF 大使来源 | 阿里巴巴云原生公众号​当你在伸缩 Kubernetes 时,你会想到一些领域,但是如果你是 Kubernetes 的新手,你可能会觉得有些难以应付。​在这篇博文中,我...

灵魂拷问:后端业务开发要会用 K8s 到什么程度?

2021-05-13
阅读 2 分钟
1.6k
很多人看着 K8s 成为最热门的开源技术,都纷纷开始学习 K8s,但也有很多人在抱怨 K8s 太复杂了。用 CNCF 新晋 TOC 张磊的话来说:这里的根本问题在于,K8s 的定位是“平台的平台”(The Platform for Platform),所以其核心功能、服务的对象是基础平台工程师,而非业务研发人员与运维人员;它的声明式 API 设计、CRD Oper...

Fluid 进入 CNCF Sandbox,加速大数据和 AI 应用拥抱云原生

2021-05-13
阅读 2 分钟
2.3k
2021 年 4 月 27 日,云原生计算基金会(CNCF)宣布通过全球 TOC 投票接纳 Fluid 成为 CNCF 官方沙箱项目。Fluid 是一个由南京大学、阿里云以及 Alluxio 开源社区联合发起并开源的云原生数据编排和加速系统。

如何做一场高质量的分享

2021-05-12
阅读 6 分钟
1.3k
最近我发现一些同学的分享越来越趋于“念稿”式。我一边看着分享的同学在上面念稿,另一边看着几十号人在下面看电脑看手机,我心里就特别着急。恨不得我自己上去讲,也恨不得没收了大家的电脑手机。但这种粗暴的方法肯定是不解决问题的,核心问题还是大家不善于分享。

论好文章和烂文章

2021-05-12
阅读 7 分钟
1.3k
我们为何写作?对于许多技术同学来说,写作是一件比写代码困难许多的事情,和电脑相顾无言数小时,发现自己写不出什么像样的东西来,着实不是一种很好的体验。即便对于有些经验的人来说,写四千字质量尚可的文章,我估计也要花 6 小时以上的时间,这还不算平时素材积累的时间消耗。

更灵活的边缘云原生运维:OpenYurt 单元化部署新增 Patch 特性

2021-05-12
阅读 7 分钟
888
在正文开始之前,我们先回顾一下单元化部署的概念和设计理念。在边缘计算场景下,计算节点具有很明显的地域分布属性,相同的应用可能需要部署在不同地域下的计算节点上。以 Deployment 为例,如下图所示,传统的做法是先将相同地域的计算节点设置成相同的标签,然后创建多个 Deployment,不同 Deployment 通过 NodeSelec...

Spring Cloud Bus 消息总线介绍

2021-05-12
阅读 12 分钟
2k
作者 | 洛夜来源 | 阿里巴巴云原生公众号在 Spring 生态中玩转 RocketMQ 系列文章:《如何在 Spring 生态中玩转 RocketMQ?》《罗美琪和春波特的故事...》《RocketMQ-Spring 毕业两周年,为什么能成为 Spring 生态中最受欢迎的 messaging 实现?》《使用 rocketmq-spring-boot-starter 来配置、发送和消费 RocketMQ 消息...

官宣:恭喜 ChaosBlade 项目进入 CNCF Sandbox

2021-05-12
阅读 2 分钟
2k
阿里巴巴开源的混沌工程项目 ChaosBlade 通过 CNCF TOC 投票,顺利推进 CNCF Sandbox。CNCF 全称 Cloud Native Computing Foundation (云原生计算基金会) ,旨在为云原生软件构建可持续发展的生态系统,服务于厂商中立的快速增长的开源项目,如 Kubernetes、Prometheus、Envoy 等。

高德 Serverless 平台建设及实践

2021-05-11
阅读 8 分钟
910
高德从 FY21 财年开始启动 Serverless 建设,至今一年了,高德 Serverless 业务的峰值超过十万 qps 量级,平台从 0 到 1,qps 从零到十万,成为阿里集团内 Serverless 应用落地规模最大的 BU,这中间的过程是怎么样的?遇到过哪些问题?高德为什么要搞 Serverless/Faas?是如何做 Serverless/Faas 的?技术方案是什么样...

工商银行分布式服务 C10K 场景解决方案

2021-05-11
阅读 6 分钟
2.1k
Dubbo 是一款轻量级的开源 Java 服务框架,是众多企业在建设分布式服务架构时的首选。中国工商银行自 2014 年开始探索分布式架构转型工作,基于开源 Dubbo 自主研发了分布式服务平台。