OpenYurt v1.2 亮点速览丨云边流量峰值相比原生 K8s 降低 90%

2023-02-21
阅读 4 分钟
北京时间 1 月 30 号发布的 OpenYurt v1.2.0 版本,社区呼声最高的几大特性终于落地,OpenYurt 的特点更加鲜明,主要特点包括:Kubernetes 无侵入,云边端全协同,可编程的资源访问控制,以及声明式云原生设备管理。

统一观测丨使用 Prometheus 监控云原生网关,我们该关注哪些指标?

2023-02-21
阅读 7 分钟
可观测体系的概念由来已有,随着分布式微服务迅猛发展,对可观测体系的依赖也越来越深,可观测体系通常包括 Metrics、Tracing、Logging 三类数据,再外加报警机制,即可构成完整的监控报警机制,业界对可观测也有系统性说明,如下:

从资源弹性到数据弹性,乾象如何将云上量化研究效率提升 40%?

2023-02-20
阅读 9 分钟
机器学习、云计算、云原生等技术的进步给金融行业创新注入了新的动力,以乾象投资 Metabit Trading 为代表的以人工智能为核心的科技型量化投资公司的工作就非常有代表性。他们通过深度融合和改进机器学习算法,并将其应用于信噪比极低的金融数据中,为投资人创造长期可持续的回报。

实时数仓Hologres 新一代弹性计算组实例技术揭秘

2023-02-20
阅读 6 分钟
随着实时数仓在业务生产系统的普及,资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。Hologres在保障业务方面持续优化核心技术竞争力,过去一年中,Hologres创新提出并实现了新一代弹性计算组实例,旨在通过更强的隔离和弹性能力,进一步提高业务系统的稳定性。Hologres弹性计算组在2022年双11也...

从 JDK 9 到 19,我们帮您提炼了和云原生场景有关的能力列表(上)

2023-02-17
阅读 7 分钟
在 JDK 9 之前,Java 基本上平均每三年出一个版本。但是自从 2017 年 9 月分推出 JDK9 到现在,Java 开始了疯狂更新的模式,基本上保持了每年两个大版本的节奏。从 2017 年至今,已经发布了 十一个版本到了 JDK 19。其中包括了两个 LTS 版本(JDK11 与 JDK17)。除了版本更新节奏明显加快之外,JDK 也围绕着云原生场景的...

为什么在容器中 1 号进程挂不上 arthas?

2023-02-17
阅读 6 分钟
最近在容器环境中,发现在 Java 进程是 1 号进程的情况下,无法使用 arthas。提示 AttachNotSupportedException: {代码...} 之前也遇到过,总是调整了下镜像,让 Java 进程不是 1 号进程就可以了。但这个不是长久之计,还是要抽时间看下这个问题。复现问题我们创建如下项目,来复现这个问题: {代码...} {代码...} 然后...

OpenSergo & Spring Cloud Alibaba 带来的服务治理能力

2023-02-16
阅读 5 分钟
Spring Cloud 应用为何需要服务治理随着微服务技术的发展,微服务(MicroServices) 的概念早已深入人心,越来越多的公司开始使用微服务架构来开发业务应用。如果采用得当,微服务架构可以带来非常大的优势。微服务架构的最大好处是它可以提升开发效率和系统整体的稳定性:开发部署简单:单个微服务的功能可以更快地更改,...

如何写出高性能的 SQL Join: join 实现和最佳实践

2023-02-16
阅读 4 分钟
Join是数据库和数仓中最常用的一个感念了。在关系型数据库的数据模型中,为了避免数据冗余存储,不同的数据往往放在不同的表中,分为事实表和维度表,这样做可以极大的节省数据存储空间。但是在分析数据时,则需要通过join把多表关联起来分析。可以说,做数据分析,绕不开的一个话题就是join。而join有多种类型,在使用...

通过日志服务实现数据库MySQL入湖OSS实践

2023-02-16
阅读 4 分钟
日志服务(SLS)是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能。阿里云提供了企业级的数据湖解决方案,存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能,实现数据的端到端的入湖。

Higress + Nacos 微服务网关最佳实践

2023-02-15
阅读 6 分钟
在去年11月的云栖大会上,我们开源了云原生网关 Higress,时隔 2 月,Higress 的 Github 项目已经收获了 700+ star,以及大量社区小伙伴的关注。在社区的交流中我们发现有不少微服务开发者在使用如 Spring Cloud Gateway/Zuul 等微服务网关对接 Nacos 注册中心实现微服务的路由,并且希望了解迁移到 Higress 网关能带来...

MaxCompute 中如何处理异常字符

2023-02-14
阅读 3 分钟
在处理数据时,当业务数据同步至MaxCompute后,会产生一些含异常字符的脏数据,比如字段中包含了一个不可见字符,在DataWorks中显示不出来,但在BI界面又会显示成其他字符,影响整体观感。这种情况,通常我们的解法是,将异常的字符洗掉,下面来介绍几种常见的处理异常字符的方法。

系统运维 SysOM profiling 在云上环境的应用观测实践

2023-02-14
阅读 5 分钟
云上环境,ECS客户一般都会布置一些常规监控观察系统指标或者业务指标,虽然通过这些指标能监控到系统或者应用的异常,但是却不能完全了解系统/应用正在做什么导致的指标异常。常见的如:看到系统CPU偶尔飙高却不知道是哪个应用引起、抓包发现报文已经到达了本机却不知道应用为何迟迟不收包等等,束手无策之余只能认为“...

镜像拉取节省 90% 以上,快手基于 Dragonfly 的超大规模分发实践

2023-02-14
阅读 3 分钟
快手容器云平台旨在为快手不断增长、不断变化和多样化的业务,提供基于容器化部署的超大规模基础设施服务。为了实现这一目标,快手工程师需要解决弹性、稳定性、效率和无服务器架构等挑战,在这些挑战中,镜像分发的稳定性和效率也是最棘手的问题之一。

基于 Kubernetes 的企业级大数据平台,EMR on ACK 技术初探

2023-02-14
阅读 2 分钟
当前,大数据与机器学习领域颇为关注存储与计算分离架构,逐渐向云原生演进。以Spark 为例,云下或自有服务器可以选择 Hadoop 调度支持 Spark,云上的 Spark 则会考虑如何充分享有公共云的弹性资源、运维管控和存储服务等,并且业界也涌现了不少 Spark on Kubernetes 的优秀实践。

Nacos 配置管理最佳实践

2023-02-14
阅读 6 分钟
Nacos 简介Nacos 是一个更易于构建云原生应用的微服务基础平台,核心包含动态服务发现,配置管理,服务管理平台。配置管理是 Nacos 的核心功能,它提供了运行期不重启应用的情况下动态修改配置值的功能。Nacos 配置中心发展历程Nacos 配置中心是从阿里集团内配置中心 Diamond 孵化而来,其整体发展分为三个阶段:1.阿里...

RocketMQ 集成生态再升级:轻松构建云上数据管道

2023-02-13
阅读 5 分钟
阿里云消息队列 RocketMQ 版是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台,面向互联网分布式应用场景提供微服务异步解耦、流式数据处理、事件驱动处理等核心能力。其自诞生以来一直为阿里集团提供稳定可靠的消息服务,历经多年双十一万亿级流量洪峰的验证。

ZooKeeper 避坑实践: Zxid 溢出导致选主

2023-02-13
阅读 2 分钟
线上 flink 用户使用 ZooKeeper 做元数据中心以及集群选主,一些版本的 flink 在 ZooKeeper 选主时,会重启 Job,导致一些非预期的业务损失。而 ZooKeeper 在 zxid溢出时,会主动触发一次选主,就会导致 flink Job 的非预期重启,造成业务损失。本篇从原理和最佳实践上分析和解决由于 ZooKeeper zxid 溢出导致的集群选主...

阿里云EMR 2.0:重新定义新一代开源大数据平台

2023-02-13
阅读 4 分钟
摘要:本文整理自阿里云高级产品专家何源(荆杭)在 阿里云EMR2.0线上发布会 的分享。本篇内容主要分为三个部分:开源大数据的痛点及EMR产品历程EMR2.0 新特征总结

消息服务 + Serverless 函数计算助力企业降本提效

2023-02-13
阅读 7 分钟
消息队列服务(下文均以 Message Service 命名)作为云计算 PaaS 领域的基础设施之一,其高并发、削峰填谷的特性愈发受到开发者关注。Message Service 对上承接消息生产者服务的请求,对下连接消费者服务。提到消费:那就不得不引入两个问题?

CNStack 2.0:云原生的技术中台

2023-02-10
阅读 10 分钟
在进入千禧年后,随着计算机技术的发展和业务创新的不断涌现,许多大公司内的 IT 计算中心也在酝酿着变革。一方面,各部门相对独立的 IT 管理平台已经难以满足日益增长和不断变化的计算管理需求;另一方面,IT 计算中心也越来越多的成为业务创新的发源地,从一个成本中心向营收来源发展。相应的,一种围绕着资源和负载管...

阿里云 PAI-Diffusion 功能再升级,全链路支持模型调优,平均推理速度提升75%以上

2023-02-09
阅读 7 分钟
随着Stable Diffusion模型在AI圈的爆火,AI生成内容(AI Generated Content,AIGC)的应用呈现出井喷式的增长趋势。其中,文图生成(Text-to-image Generation)任务是最流行的AIGC任务之一,旨在生成与给定文本对应的图像。在先前的工作中,阿里云机器学习PAI团队开源了PAI-Diffusion系列模型(看这里),包括一系列通...

Spark+Celeborn:更快,更稳,更弹性

2023-02-09
阅读 7 分钟
摘要:本文整理自阿里云 EMR Spark 团队的周克勇(一锤),在 Spark&DS Meetup 的分享。本篇内容主要分为三个部分:传统 Shuffle 的问题Apache Celeborn (Incubating)简介Celeborn 在性能、稳定性、弹性上的设计

解读 Java 云原生实践中的内存问题

2023-02-08
阅读 7 分钟
Java 凭借着自身活跃的开源社区和完善的生态优势,在过去的二十几年一直是最受欢迎的编程语言之一。步入云原生时代,蓬勃发展的云原生技术释放云计算红利,推动业务进行云原生化改造,加速企业数字化转型。

Spring Cloud Alibaba 在 Proxyless Mesh 上的探索

2023-02-07
阅读 12 分钟
站在 2023 年的今天,Service Mesh 早已不是一个新兴的概念, 回顾过去 6 年多的发展历程,Service Mesh 从一经推出就受到来自全世界的主流技术公司关注和追捧。

Java Agent 踩坑之 appendToSystemClassLoaderSearch 问题

2023-02-07
阅读 6 分钟
从 Java Agent 报错开始,到 JVM 原理,到 glibc 线程安全,再到 pthread tls,逐步探究 Java Agent 诡异报错。

谈谈我对于关键思考的理解

2023-02-07
阅读 6 分钟
之前看过杨振宁的一个采访,说他最大的成就,不是获得了诺贝尔奖的研究,而是之前的一个普通理论的研究:他坚信事物是遵循一定规律的,不是大家认为的不可捉摸,花了7年时间,陆陆续续,终于找到了一个很好的解释,并且幸运的是,这个研究结果可以覆盖非常多的场景。当我看到这个采访的时候,内心触动到的一个点是:尝试...

Serverless 时代开启,云计算进入业务创新主战场

2023-02-07
阅读 4 分钟
“我们希望让用户做得更少而收获更多,通过 Serverless 化,让企业使用云服务像用电一样简单。”Serverless 化正在成为全新的软件研发范式,阿里云将坚定推进核心产品全面 Serverless 化,帮助客户更好的实现敏捷创新。

基于 eBPF 的 Serverless 多语言应用监控能力建设

2023-02-06
阅读 3 分钟
监控能力作为基础运维能力和核心稳定性措施,开发运维人员可以通过监控系统有效进行故障定位,预防潜在风险,分析长期趋势进行容量规划和性能调优,是软件开发生命周期中必不可少的一环。与此同时,Serverless 作为云计算的最佳实践和未来演进趋势,其全托管免运维的使用体验和按量付费的成本优势,使得其在云原生时代备...

Java编程技巧之单元测试用例简化方法

2023-02-03
阅读 14 分钟
意思是:“ 一部书的篇幅太长,让人看见就害怕。”编写单元测试用例也是如此,如果单元测试用例写起来又长又复杂,自然而然地会让人“望而生畏”,于是开始反感甚至于最终放弃。为了便于Java单元测试的推广,作者总结了十余种测试用例的简化方法,希望能够让大家编写单元测试用例时——“化繁为简、下笔如神”。

维度建模实践一例 (一) 维度还是事实

2023-02-02
阅读 2 分钟
关于这个问题,最开始是在讨论成本计算的时候发现的。与教科书中零售场景不一样的是,工业上某个产品的成本是要计算出来的。而《维度建模权威指南》书中的成本是事实表的一个事实。如下图所示: