如何写出高性能的 SQL Join: join 实现和最佳实践

2023-02-16
阅读 4 分钟
Join是数据库和数仓中最常用的一个感念了。在关系型数据库的数据模型中,为了避免数据冗余存储,不同的数据往往放在不同的表中,分为事实表和维度表,这样做可以极大的节省数据存储空间。但是在分析数据时,则需要通过join把多表关联起来分析。可以说,做数据分析,绕不开的一个话题就是join。而join有多种类型,在使用...

通过日志服务实现数据库MySQL入湖OSS实践

2023-02-16
阅读 4 分钟
日志服务(SLS)是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能。阿里云提供了企业级的数据湖解决方案,存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能,实现数据的端到端的入湖。

十年磨一剑,云原生分布式数据库PolarDB-X 的核心技术演化

2023-01-27
阅读 10 分钟
PolarDB-X前身是淘宝内部使用的分库分表中间件TDDL(2007年,Java库的形态),早期以DRDS(2012年开始研发,2014年上线,分库分表中间件+MySQL Proxy的形态)的品牌在阿里云上提供服务,后来(2019年)正式转型为分布式数据库PolarDB-X(正式成为了PolarDB品牌的一员)。从中间件到分布式数据库,我们在以MySQL为存储构...

谈谈in常量查询的设计与优化

2023-01-05
阅读 6 分钟
如标题所示,这是一篇介绍in常量查询的源码解读文章,但又不限于in常量查询,因为其中涉及的很多设计与优化对于大多数查询都是普适的。 一如往常一样,我们首先会过一遍整体的执行流程,梳理一个大致的框架。紧接着,同时也是更重要的,我们会通过一系列在真实场景中遇到的问题(说白了就是性能优化),来对各种细节处理...

实践教程之如何对 PolarDB-X 集群做动态扩缩容

2023-01-05
阅读 3 分钟
PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。

使用 DataWorks 将 PolarDB-X 中的数据同步到 MaxCompute

2022-12-27
阅读 4 分钟
MaxCompute是适用于数据分析场景的云数据仓库,适用于大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。大数据开发治理平台 DataWorks 基于MaxCompute / EMR / MC-Hologres 等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。本文介绍 Po...

实践教程之如何将 PolarDB-X 与大数据等系统互通

2022-12-27
阅读 3 分钟
本期实验将指导您使用PolarDB-X+Canal+ClickHouse搭建实时分析系统。本期免费实验地址本期教学视频地址前置准备假设已经根据前一讲内容完成了PolarDB-X的搭建部署,可以成功链接上PolarDB-X数据库。部署CanalCanal是一款流行的MySQL Binlog增量订阅工具,详情请参见Canal说明文档。Canal提供了Docker镜像,详情请参见Can...

实践教程之如何快速使用 PolarDB-X

2022-12-27
阅读 7 分钟
PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。

PolarDB-X源码解读:DDL的一生(下)

2022-12-19
阅读 7 分钟
在《DDL的一生(上)》中,我们以添加全局二级索引为例,从DDL开发者的视角介绍了如何在DDL引擎框架下实现一个逻辑DDL。在本篇,作者将从DDL引擎的视角出发,向读者介绍DDL引擎的架构、实现,以及DDL引擎与DDL Job的交互逻辑。

为什么要用 Tair 来服务低延时场景 - 从购物车升级说起

2022-11-29
阅读 10 分钟
『购物车升级』是今年双十一的重要体验提升项目,体现了大淘宝技术人“用技术突破消费者和商家体验天花板”的态度。这是一种敢于不断重新自我审视,然后做出更好选择的存在主义态度。

PolarDB-X 的 in 常量查询

2022-11-28
阅读 3 分钟
实际场景中经常需要根据一些常量指标做IN查询,并且IN值往往是分区键。例如在电商场景中,有两张表,买家表与订单表。订单的具体信息会记录到订单表中,该表按照订单ID进行哈希拆分;买家表则会保存买家ID及其关联的订单ID。一个买家经常需要查询其已购买的所有订单,一种普遍的做法是首先查询买家表获取该买家的所有订...

Intel PAUSE 指令变化如何影响 MySQL 的性能

2022-11-28
阅读 9 分钟
x86、arm指令都很多,无论是应用程序员还是数据库内核研发大多时候都不需要对这些指令深入理解,但是 Pause 指令和数据库操作太紧密了,本文通过一次非常有趣的性能优化来引入对 Pause 指令的理解,期望可以事半功倍地搞清楚 CPU指令集是如何影响你的程序的。

Serverless 时代下微服务应用全托管解决方案

2022-07-12
阅读 4 分钟
简介: 本文介绍了 Serverless 时代下微服务的发展以及过程中遇到的相对较复杂的需求,面对这些,阿里云 Serverless 应用引擎 SAE 将“Serverless”的理念发扬到了极致,从最底层的 IaaS、到上层的 K8s、应用 PaaS、CICD、微服务套件集成、可观测增强等等都做了“Serverless”化的托管,实现了 SAE 针对微服务场景的完整的解...

说说关系型数据库与Serverless

2022-07-07
阅读 6 分钟
简介: 看到如今Serverless在云计算行业喷薄欲出的态势,像极了《星星之火,可以燎原》中的描述:虽然不能预测未来的发展和变化,但对于云计算来说这是个相对确定的方向。本文从产业界和学术界出发,聊聊关系型数据库和serverless技术之间的林林总总。它是站在海岸遥望海中已经看得见桅杆尖头了的一只航船,它是立于高山...

如何用一个插件解决 Serverless 灰度发布难题?

2022-07-05
阅读 5 分钟
简介: 我们可以发现相比使用控制台进行灰度发布,使用 FC-Canary 插件免去了用户手动创建版本、发布别名、关联触发器和管理自定义域名的麻烦,使用起来非常方便。作者:长淇

数据湖构建—如何构建湖上统一的数据权限

2022-06-21
阅读 4 分钟
简介: 阿里云数据湖构建产品(DLF)提供的统一元数据服务,通过完善各种引擎/表格式生态解决了数据湖场景下多引擎面临的数据孤岛和元数据一致性问题,实现了开源大数据引擎及数据湖格式元数据的统一视图,避免了各引擎访问湖上数据其中额外的ETL成本并降低了业务处理链路的延时。背景信息阿里云数据湖构建产品(DLF)提...

现代斗山X瓴羊:“一横四纵“解决方案聚焦中台场景级部署

2022-06-21
阅读 3 分钟
简介: 经过充分的调研后,现代斗山IT团队和业务团队,与瓴羊数据中台项目组一起完成了涵盖客户、商机、设备等多层面的问题梳理及痛点分析,并借助于瓴羊Dataphin+Quick BI+Quick Audience的产品矩阵,最终形成了满足于现代斗山数据中台建设的“一横四纵”整体解决方案。

事务、全局索引、透明分布式,再见,分区健!

2022-06-14
阅读 6 分钟
简介: 在刚刚发布的PolarDB-X 2.1.0版本中,开源了透明分布式能力,能带给用户完全不同的透明分布式数据库使用体验。其中,一个最明显的不同,就是用户不再需要关注分区健这个概念,这也是副标题《再见,分区健》的来由。

阿里云架构师梁旭:MES on 云盒,助力客户快速构建数字工厂

2022-06-13
阅读 3 分钟
简介: 四大优势:一站式交付、业务低延时、数据本地驻留、多工厂统一运维2022年5月18日,在“云上数字工厂与中小企业数字化转型创新论坛”暨“鼎捷MES & 阿里云云盒云上数字工厂解决方案发布会”上,阿里云智能弹性计算产品解决方案架构师梁旭为大家带来了《MES on 云盒,助力客户快速构建数字工厂》的主题分享,详细介绍了...

MaxCompute 公共云多租户设计的技术要点详解及产品实现特色

2022-05-31
阅读 5 分钟
简介:公共云大数据平台在多租户的设计和实现方式上有所差异。本文主要介绍在公共云大数据平台的多租实现方案中需要考虑的问题和挑战,重点介绍了MaxCompute在计算和存储多租实现上的特点。期望通过这些介绍来让大家了解大数据云平台多租方案需要关注的技术点和MaxCompute在多租实现上的产品特色。
封面图

走进RDS|说说关系型数据库与Serverless

2022-05-27
阅读 6 分钟
简介:看到如今Serverless在云计算行业喷薄欲出的态势,像极了《星星之火,可以燎原》中的描述:虽然不能预测未来的发展和变化,但对于云计算来说这是个相对确定的方向。本文将和大家说说关系型数据库与Serverless。
封面图

成本节省 50%,10 人团队使用函数计算开发 wolai 在线文档应用

2022-05-27
阅读 4 分钟
简介:人们关注 wolai 独特的功能和舒适的用户的用户体验,更关注实现这些背后的技术架构。在一个晴朗下午,我们邀请了 wolai.com 的创始人马锐拉,跟我们聊聊 wolai 背后的 Serverless 架构。
封面图

PolarDB-X迎来开源后首个重大版本升级,2.1版本新增5大特色功能

2022-05-26
阅读 5 分钟
简介:2022 年 5 月25日,阿里云开源 PolarDB-X 升级发布新版本!PolarDB-X 从 2009 年开始服务于阿里巴巴电商核心系统, 2015 年开始对外提供商业化服务,并于 2021 年10月正式开源。本次发布是开源后首个重大版本升级,重磅推出在稳定性、生态融合以及易用性上有了长足进步的 2.1 版本,该版本在内核能力上首次对齐商...
封面图

云原生数仓如何破解大规模集群的关联查询性能问题?

2022-05-16
阅读 6 分钟
简介:AnalyticDB for PostgreSQL(以下简称ADB PG)是一款PB级的MPP架构云原生数据仓库。本文从ADB PG架构设计的角度出发,探讨Runtime Filter在ADB PG中的实现方案,并介绍了基于Bloom Filter的ADB PG Dynamic Join Filter功能技术细节。
封面图

Delta Lake基础介绍(商业版)

2022-05-13
阅读 5 分钟
简介:介绍 Lakehouse 搜索引擎的设计思想,探讨其如何使用缓存,辅助数据结构,存储格式,动态文件剪枝,以及 vectorized execution 达到优越的处理性能。
封面图

招商银行 KubeVela 离线部署实践

2022-04-25
阅读 4 分钟
简介:本文将以 KubeVela v1.2.5 版本为例,介绍招商银行 KubeVela 的离线部署实践,来帮助其他用户在离线环境中更便捷的完成 KubeVela 的部署。
封面图

Redis消息队列发展历程

2022-04-19
阅读 10 分钟
简介:Redis是目前最受欢迎的kv类数据库,当然它的功能越来越多,早已不限定在kv场景,消息队列就是Redis中一个重要的功能。Redis从2010年发布1.0版本就具备一个消息队列的雏形,随着10多年的迭代,其消息队列的功能也越来越完善,作为一个全内存的消息队列,适合应用与要求高吞吐、低延时的场景。本文将来盘一下Redis消...
封面图

基于 EventBridge 构建数据库应用集成

2022-04-15
阅读 3 分钟
事件总线 EventBridge 是阿里云提供的一款无服务器事件总线服务,支持将阿里云服务、自定义应用、SaaS 应用以标准化、中心化的方式接入,并能够以标准化的 CloudEvents 1.0 协议在这些应用之间路由事件,帮助您轻松构建松耦合、分布式的事件驱动架构。事件驱动架构是一种松耦合、分布式的驱动架构,收集到某应用产生的事...
封面图

阿里云PolarDB开源数据库社区与 Tapdata 联合共建开放数据技术生态

2022-04-14
阅读 2 分钟
近日,阿里云PolarDB开源数据库社区宣布将与 Tapdata 联合共建开放数据技术生态。在此之际,一直专注实时数据服务平台的 Tapdata ,也宣布开源其数据源开发框架——PDK(Plugin Development Kit),并同步启动 PDK 插件生态共建计划,旨在充分激发实时数据流动的价值,助力企业完成从传统数据架构平滑过渡到新一代数据库架...
封面图

PolarDB-X 发布 2.1.0 版本,Paxos 重磅开源

2022-04-07
阅读 3 分钟
简介:2022年4月1号,PolarDB-X 正式开源X-Paxos,基于原生MySQL存储节点,提供Paxos三副本共识协议,可以做到金融级数据库的高可用和容灾能力,做到RPO=0的生产级别可用性,可以满足同城三机房、两地三中心等容灾架构。
封面图