一文剖析PolarDB HTAP的列存数据压缩

2022-08-11
阅读 11 分钟
简介: PolarDB MySQL是阿里云自研的云原生数据库,主要处理在线事务负载(OLTP, OnLine Transactional Processing),深受企业用户的青睐。前言数据库迁移上云是大数据时代的一大趋势,PolarDB MySQL是阿里云自研的云原生数据库,主要处理在线事务负载(OLTP, OnLine Transactional Processing),深受企业用户的青睐。当下...

MSE 治理中心重磅升级-流量治理、数据库治理、同 AZ 优先

2022-08-11
阅读 6 分钟
简介: 本次 MSE 治理中心在限流降级、数据库治理及同 AZ 优先方面进行了重磅升级,对微服务治理的弹性、依赖中间件的稳定性及流量调度的性能进行全面增强,致力于打造云原生时代的微服务治理平台。作者:流士 本次 MSE 治理中心在限流降级、数据库治理及同 AZ 优先方面进行了重磅升级,对微服务治理的弹性、依赖中间件...

RocketMQ 消息集成:多类型业务消息——定时消息

2022-08-11
阅读 6 分钟
简介: 本篇将继续业务消息集成的场景,从使用场景、应用案例、功能原理以及最佳实践等角度介绍 RocketMQ 的定时消息功能。作者:凯易、明锻 引言 Apache RocketMQ 诞生至今,历经十余年大规模业务稳定性打磨,服务了 100% 阿里集团内部业务以及阿里云数以万计的企业客户。作为金融级可靠的业务消息方案,RocketMQ 从创...

浅谈数据仓库架构设计

2022-08-10
阅读 4 分钟
简介: 简单的比较了一下数据中台架构与数据仓库、BI、DSS之间的关系,并对比了一下Bill Inmon和Ralph Kimball架构的差异。1. 数据中台与DW/BI/DSS   个人认为数据中台本质上是一种新的适配大数据技术发展的新的“数据仓库-决策支持(商业智能)”架构。这个架构是构建在传统的架构基础之上,对传统架构的一种新的发展。  ...

一文读懂 BizDevOps:数字化转型下的技术破局

2022-08-10
阅读 8 分钟
简介: 目标、方法与实践。我们正迈向数字经济时代,数字化转型成为普遍行动。未来绝大多数业务都将运行在数字基座之上,软件系统成为业务创新和发展的核心引擎。在这一趋势下,产品研发的交付能力面临巨大挑战,产品研发的交付实践和方法亟待变革。 BizDevOps 将是这一变革的主题,是数字化时代的技术破局之道。本文将...

Ingress Nginx 接连披露高危安全漏洞,是否有更好的选择?

2022-08-10
阅读 6 分钟
简介: 在《K8s 网关选型初判:Nginx 还是 Envoy》一文中,我们已经给出了这个新的选项:MSE 云原生网关。本文继续展开分析,为何 MSE 云原生网关有更好的安全性保障。作者:澄潭 今年 K8s Ingress Nginx 项目接连披露了三个高危安全漏洞(CVE-2021-25745[1], CVE-2021-25746[2], CVE-2021-25748[3]),该项目也在近期宣...

为什么我要迁移 SpringBoot 到函数计算

2022-08-10
阅读 3 分钟
简介: 面对流量洪峰,我们再也不会手忙脚乱了,函数计算自动会帮我们扩容!很好的解决了我们的 API 场景和不定时执行各种不同任务的场景。作者:榴莲 为什么要迁移? 我们的业务有很多对外提供服务的 RESTful API,并且要执行很多不同的任务,例如同步连锁 ERP 中的商品信息到美团/饿了么等平台,在线开发票等。由于各...

数据库治理利器:动态读写分离

2022-08-10
阅读 4 分钟
简介: 本文详细描述了 MSE 即将推出的数据库治理能力矩阵中关于动态读写分离能力的介绍。通过 MSE 提供的 SQL 洞察能力,结合我们对业务的理解,我们可以快速定位划分接口请求为弱请求。将对主库性能以及稳定性影响大的读操作,分流至 RDS 只读库,可以有效降低主库的读写压力,进一步提升微服务应用的稳定性。作者:十...

一文详解用eBPF观测HTTP

2022-08-09
阅读 10 分钟
简介: 随着eBPF推出,由于具有高性能、高扩展、安全性等优势,目前已经在网络、安全、可观察等领域广泛应用,同时也诞生了许多优秀的开源项目,如Cilium、Pixie等,而iLogtail 作为阿里内外千万实例可观测数据的采集器,eBPF 网络可观测特性也预计会在未来8月发布。下文主要基于eBPF观测HTTP 1、HTTP 1.1以及HTTP2的角...

面向云时代的龙蜥操作系统,是 CentOS 替代的最佳选择

2022-08-09
阅读 6 分钟
简介: 龙蜥致力于打造“芯”“系”同频、云化创新、多快好省、安稳易用的操作系统产品!2022 开放原子全球开源峰会 OpenAnolis 分论坛上,阿里云智能基础软件产品经理张鹏程做了《面向云时代的龙蜥操作系统,应对 CentOS 停服的最佳选择》的主题分享,介绍了操作系统产业迎来新发展格局,龙蜥致力于成为 CentOS 迁移的最佳...

基于RTS超低延时直播优化强互动场景体验

2022-08-09
阅读 11 分钟
简介: 重构代码时,我们常常纠结于这样的问题:需要进一步抽象吗?会不会导致过度设计?如果需要进一步抽象的话,如何进行抽象呢?有什么通用的步骤或者法则吗?为了保证直观,本文将以一个 “生产者消费者” 的代码重构示例贯穿始终。最后还会以业务上常见的 Excel 导出系统为例简单阐述一个业务上的重构实例。作者 | 杜...

代码重构:面向单元测试

2022-08-09
阅读 11 分钟
简介: 重构代码时,我们常常纠结于这样的问题:需要进一步抽象吗?会不会导致过度设计?如果需要进一步抽象的话,如何进行抽象呢?有什么通用的步骤或者法则吗?为了保证直观,本文将以一个 “生产者消费者” 的代码重构示例贯穿始终。最后还会以业务上常见的 Excel 导出系统为例简单阐述一个业务上的重构实例。作者 | 杜...

Fury:一个基于JIT动态编译的高性能多语言原生序列化框架

2022-08-09
阅读 31 分钟
简介: Fury是一个基于JIT动态编译的多语言原生序列化框架,支持Java/Python/Golang/C++等语言,提供全自动的对象多语言/跨语言序列化能力,以及相比于别的框架最高20~200倍的性能。作者 | 杨朝坤(慕白)来源 | 阿里开发者公众号Fury是一个基于JIT动态编译的多语言原生序列化框架,支持Java/Python/Golang/C++等语言,提...

比Bloom Filter节省25%空间!Ribbon Filter在Lindorm中的应用

2022-08-08
阅读 11 分钟
简介: 本文研究了一种新的过滤器Ribbon Filter,并将其集成到Lindorm中作者:箫苏 朝戈 正研 1 前言Lindorm是一个低成本高吞吐的多模数据库,目前,Lindorm是阿里内部数据体量最大,覆盖业务最广的数据库产品。超高的性能和低RT一直是Lindorm追求的目标,因此Lindorm也在不断地优化和迭代,争取在每个小点上都做到极致...

客户端单元测试实践——C++篇

2022-08-08
阅读 6 分钟
简介: 我们团队在手淘中主要负责BehaviX模块,代码主要是一些逻辑功能,很少涉及到UI,为了减少双端不一致问题、提高性能,我们采用了将核心代码C++化的策略。由于团队项目偏底层,测试同学难以完全覆盖,回归成本较高,部分功能依赖研发同学自测,为了提高系统的稳定性,我们在团队中实行了单元测试,同时由于集团客户...

对软件系统的一些理解

2022-08-08
阅读 5 分钟
简介: 总了了一些个人对软件构建过程的一些理解前言这篇文章是想表达我对系统软件的一些理解,风格跟之前的不太一样,整体偏“务虚”。我自己其实是不太擅长“务虚”的,甚至是有点排斥。就跟相比起看论文,我更喜欢看code,当然我也看论文,只不过相对来说少些。

400倍加速, PolarDB HTAP实时数据分析技术解密

2022-08-08
阅读 13 分钟
简介: PolarDB MySQL是因云而生的一个数据库系统, 除了云上OLTP场景,大量客户也对PolarDB提出了实时数据分析的性能需求。对此PolarDB技术团队提出了In-Memory Column Index(IMCI)的技术方案,在复杂分析查询场景获得的数百倍的加速效果。本文阐述了IMCI背后技术路线的思考和具体方案的取舍。前言近期分析型数据库在资...

Lindorm-Operator云原生实践

2022-08-08
阅读 10 分钟
简介: Kubernetes 的CRD 机制(CustomResourceDefinition)支持通过自定义的controller来管理资源的生命周期,这样就可以像操作pod,deployment一样来方便的管理运维一些复杂的资源对象。伴随着云原生这股技术浪潮,lindorm-operator充分利用k8s底座的特点与优势,在云环境(包括公共云、私有云和混合云)极大提升了Lin...

MySQL统计信息不准导致的性能问题

2022-08-05
阅读 8 分钟
简介: 统计信息不准导致错误的执行计划,引发性能问题表的统计信息错误导致优化器选择错误的执行计划。一个客户的性能优化案例: 没有修改数据库实例的任何配置参数以及业务代码没有变更的情况下,一条 sql 出现大幅性能下降。

几种常见的MySQL/PolarDB-MySQL回收表空间方法对比

2022-08-05
阅读 3 分钟
简介: 当我们频繁的删除表中的数据后,碎片就会变多,有经验的DBA就会回收表空间,回收表空间有好几种方式,我们要选择哪一种呢?背景为什么需要回收表空间?任何一个存储或您购买的实例规格都有容量限制,并且根据存储介质不同,保存方式不同,相应地成本也会不同。在线数据库的存储成本是比较高的,所以架构师和DBA在...

PolarDB B-tree 并发控制优化

2022-08-05
阅读 3 分钟
简介: PolarDB 解决了 InnoDB 在 B-tree 并发控制上的限制,解决 index lock 竞争问题,并支持了 latch coupling。InnoDB 索引InnoDB 引擎使用索引组织表,每个表的数据都放在一个对应的索引中,该索引称为聚集索引(clustered index),使用索引组织表的目的是:动态地组织磁盘文件结构,维护数据记录有序;借助索引快...

Serverless 架构下的 AI 应用开发

2022-08-05
阅读 5 分钟
简介: 深度学习彻底改变了人工智能,但其广泛应用离不开强大的算力支撑,如何使用 Serverless 架构应对机器学习领域的工程挑战?随着时间的推移,Serverless 架构变得越来越火热,凭借着极致弹性、按量付费、低成本运维等特性,在很多领域发挥着越来越重要的作用;机器学习领域在近些年也非常火热,并在越来越多的行业...

从函数计算到 Serverless 架构

2022-08-05
阅读 8 分钟
简介: 如果说前十年,云计算对传统服务器进行了革新,那么我相信此时, Serverless 架构是云计算对自我的革新,而且这种革新还在不断的进行中。作者:秋雨陈(本文转载自”函数计算征集令“征文) 前言随着 Serverless 架构的不断发展,各云厂商和开源社区都已经在布局 Serverless 领域,一方面表现在云厂商推出传统服务/...

阿里云全站加速DCDN重磅发布!打造新一代加速引擎

2022-08-04
阅读 4 分钟
简介: 新一代的加速引擎DCDN,安全、高效、可计算在数字化转型变革逐步深入的当下,安全高效成为企业上云、全球化部署的关键需求。 随着应用场景复杂度不断提升、业务需求差异化发展,为了给企业提供更完善的安全加速服务,阿里云对全站加速DCDN产品进行了全面升级,针对边缘安全防护与数据运维能力进行了全方位优化。 ...

阿里云云原生一体化数仓--数据安全能力解读

2022-08-04
阅读 17 分钟
简介: 云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力,包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、开发生产环境隔离等安全能力,实现了端到端的安全管控能力。分享人:阿里云智能 产品专家 孔亮 没来得及看直播的同学,可...

EMT4J——让 Java 应用升级更轻松

2022-08-04
阅读 5 分钟
简介: EMT4J 是什么?如何使用 EMT4J 工具进行 Java 应用升级?前言JDK 升级对于 Java 应用来说是不得不面对的事情,一方面 Java 生态系统希望 Java 应用能跟上最新 JDK 版本:Oracle 建议将 JDK 的 LTS 版本的发布周期从 3 年调整为 2 年,对于只使用 LTS 版本的应用来说,可以在更短时间内使用最新的技术,但这也意味着...

多年锤炼,迈向Kata 3.0 !走进开箱即用的安全容器体验之旅| 龙蜥技术

2022-08-04
阅读 8 分钟
简介: 袋鼠与 Kata 将会碰撞出什么样的火花?文/云原生 SIG(Special Interest Group)一、Kata 的过去让我们将时钟拨回 2015 年 5 月,Hyper.sh 和 Intel 开源技术中心的工程师们分别独立发布了runV 和 Clear Containers 的虚拟化容器项目,而这两个项目便是 Kata Containers1  的前身。这两个项目互相有很多交流,在...

iLogtail社区版使用入门 - 采集MySQL Binlog

2022-08-04
阅读 5 分钟
简介: MySQL Binlog记录了MySQL的变更日志,业界也有一些方案来同步Binlog的数据,如Canal、MaxWell、DTS等。不同的工具可以实现不同的目标,iLogtail也提供了便捷的Binlog同步功能,iLogtail采集到Binlog后,可以将结果输出到各类flusher,本文以采集到Kafka为例进行介绍。iLogtail是阿里云日志服务(SLS)团队自研的...

客户端单元测试实践——C++篇

2022-08-03
阅读 6 分钟
简介: 我们团队在手淘中主要负责BehaviX模块,代码主要是一些逻辑功能,很少涉及到UI,为了减少双端不一致问题、提高性能,我们采用了将核心代码C++化的策略。由于团队项目偏底层,测试同学难以完全覆盖,回归成本较高,部分功能依赖研发同学自测,为了提高系统的稳定性,我们在团队中实行了单元测试,同时由于集团客户...

行业 SaaS 微服务稳定性保障实战

2022-08-03
阅读 10 分钟
简介: 对于Tob企业而言,稳定性即是生命线。那么,面对商户数目暴增, C 端场景业务不断扩展呢,F6汽车科技又是如何搭建可观测体系呢?一线负责人深度解读实际演进过程!很多研发人员在日常工作中经常回遇到以下两个问题:竟然不可以运行,为什么?竟然可以运行,为什么? 因此,他们非常期望可观测能够提供解决问题的...