PolarDB-X HTAP新特性 - 列存索引

2023-12-26
阅读 7 分钟
随着数据爆炸式的增长,传统的OLTP和OLAP解决方案基于简单的读写分离或ETL模型,将在线库的数据以T+1的方式抽取到数据仓库中进行计算,这种方案存在存储成本高、实时性差、链路和维护成本高等缺陷。 为应对数据爆炸式增长的挑战,PolarDB分布式版本基于对象存储设计了一套列存索引(Clustered Columnar Index,CCI)功能...

PolarDB-X 开源 | 基于Paxos的MySQL三副本

2023-12-25
阅读 17 分钟
PolarDB-X 作为PolarDB分布式版,是阿里巴巴自主设计研发的高性能云原生分布式数据库产品,采用 Shared-nothing 与存储分离计算架构,支持集中式和分布式一体化形态,具备金融级数据高可用、分布式水平扩展、混合负载、低成本存储和极致弹性等能力,坚定以兼容MySQL开源生态构建分布式能力,为用户提供高吞吐、大存储、...

PolarDB-X最佳实践系列(三):如何实现高效的分页查询

2023-12-25
阅读 5 分钟
1、一张表有十亿的数据2、遍历这张表的所有数据,每次返回1000条3、遍历要按照数据写入的时间顺序4、遍历的性能需要是恒定的,不能有衰减,也即翻前面的页很快,翻到后面的页也很快5、数据不能有遗漏

好好的“代码优化”是怎么一步步变成“过度设计”的

2023-12-22
阅读 9 分钟
有一天Review师妹的代码,看到一行很难看的代码,毕竟师妹刚开始转JAVA,一些书写小习惯还是要养成,所以锱铢必较还是有必要的,于是给出了一些优化思路的建议,以及为什么要这么做。建议完后,我并没有停下”追求极致“的脚步,随着不断的思考,发现这段代码的优化慢慢变得五花八门起来了,完成了一次“代码优化”到“过度设...

模型服务网格:云原生下的模型服务管理

2023-12-21
阅读 11 分钟
模型服务网格(Model Service Mesh)是一种架构模式,用于在分布式环境中部署和管理机器学习模型服务。它提供了一个可扩展的、高性能的基础架构,用于将多个模型服务进行管理、部署和调度,以此更好地处理模型的部署、版本管理、路由和推理请求的负载均衡。

一张图看懂如何自运营一朵行业云

2023-12-21
阅读 1 分钟
随着云计算走向成熟化和规模化,许多企业开始探索如何自运营一朵行业云。什么是可自运营的行业云?如何运营好一朵行业云?阿里云分享基于飞天企业版进行行业云运营的实践经验。

不规范的枚举类代码引发的一场事故

2023-12-20
阅读 8 分钟
今天开发跟我反馈了一个很奇怪的问题,说有个对象的状态属性是枚举类,设置了该对象的状态后,插入数据库,这个状态没了,凭空消失了,变成了空白字符串。这让人感觉非常奇怪,我参与了整个问题排查过程,得到的结论和枚举类的规范有关系,我将过程总结在这里提供大家一起学习交流。

RocketMQ 中冷热分离的随机索引模块详解

2023-12-20
阅读 6 分钟
RocketMQ 广泛使用于各类业务场景中,在实际生产场景中,用户通常会选择消息 ID 或者特定的业务 Key(例如学号,订单号)来查询和定位特定的一批消息,进而定位分布式系统中的复杂问题。传统方案下,消息索引的存储是基于数据库系统或者基于本地文件系统实现的,受限于磁盘容量,很难满足海量数据的写入诉求。

AI Powered SLS 智能分析能力创新

2023-12-19
阅读 4 分钟
随着云计算技术不断升级,承载业务的 IT 基础设施规模扩大,各个应用之间的链路关系变得越来越复杂,每时每刻都在产生海量级的日志。对日志数据的采集、存储与分析处理方式,是衡量企业系统数字化程度的重要标志。传统的 IT 运维方案也会面临非常大的挑战,对于 DevOps 来说,需要花费数小时进行查找、对比和分析,以解...

阿里云 ACK One 新特性:多集群网关,帮您快速构建同城容灾系统

2023-12-19
阅读 5 分钟
近日,阿里云分布式云容器平台 ACK One[1]发布“多集群网关”[2](ACK One Multi-cluster Gateways)新特性,这是 ACK One 面向多云、多集群场景提供的云原生网关,用于对多集群南北向流量进行统一管理。

高光回眸:阿里云容器服务如何全面助力精彩亚运

2023-12-19
阅读 4 分钟
2023 年,第 19 届杭州亚运会在杭州成功举办。在亚运之光和科技之光的交相辉映下,这届亚运会成为亚运史上首届“云上亚运”,用云计算创造了历史,赛事核心系统和转播全面上云,为大型赛事的数字化普及奠定了坚实基础,杭州亚运会乘着科技的翅膀取得圆满成功。在这次赛事的多个核心项目中,阿里云原生技术发挥了重要的支撑...

Dubbo 3.3.0-beta 版本正式发布

2023-12-18
阅读 5 分钟
近日,Apache Dubbo 发布了 3.3 分支大版本 3.3.0-beta.1,相较于 3.2 系列版本,3.3.0-beta 引入了一些重量级的功能升级,按照社区规划,3.3 也将是 Dubbo3 非常重要的一个里程碑大版本,在 3.3.0 首个正式版本之后 Dubbo3 将正式进入长期稳定维护态,即标志着 Dubbo3 作为面向云原生时代的下一代微服务框架将具备规划...

PTS 3.0:可观测加持的下一代性能测试服务

2023-12-18
阅读 4 分钟
大家好,我是来自阿里云云原生应用平台的肖长军,花名穹谷,我此次分享的主题是《可观测加持的下一代性能测试服务》。提到性能测试大家并不陌生,性能测试已成为评估系统能力、识别系统弱点、进行系统调优,验证系统稳定性等的重要手段。

探索 Seata 项目开源开发之旅

2023-12-15
阅读 5 分钟
Seata 是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务。在今年的开源之夏活动中,我加入了 Apache Seata (Incubator) 社区,完成了开源之夏的课题,并从此一直积极参与社区。我有幸在云栖大会-开发者秀场上分享了我的开发者经验。在本文中,我将与大家分享我在 Seata 社区...

冠赢互娱基于 OpenKrusieGame 实现游戏云原生架构升级

2023-12-15
阅读 4 分钟
冠赢互娱是一家集手游、网游、VR 游戏等研发、发行于一体的游戏公司,旗下官方正版授权的传奇类手游——《仙境传奇》系列深受广大玩家们的喜爱。基于多年 MMORPG 类型游戏的自研与运营经验,冠赢互娱正式推出了 2D MMO 游戏开发引擎 Thousand,并成功应用至近期上线的《仙境传奇-梦回零三》 手游。其背后采用的云原生架构...

云存储在AIOps、数字人以及训练推理场景的最佳实践

2023-12-14
阅读 3 分钟
在以AIGC大模型为代表的技术新浪潮中,存储作为数据基础设施,将在数据采集、训练与推理、应用部署、内容审核与协同等多个关键环节发挥重要作用,助力 AI 创新加速。据IDC调研显示,67%的中国企业已经开始探索AIGC在企业内的应用机会或已经开始进行资金投入。

日志服务 SLS 深度解析:拥抱云原生和 AI,基于 SLS 的可观测分析创新

2023-12-14
阅读 8 分钟
10 月 31 日,杭州云栖大会上,日志服务 SLS 研发负责人简志和产品经理孟威等发表了《日志服务 SLS 深度解析:拥抱云原生和 AI,基于 SLS 的可观测分析创新》的主题演讲,对阿里云日志服务 SLS 产品服务创新以及背后的技术积累进行了深度解读。

阿里云人工智能平台PAI多篇论文入选EMNLP 2023

2023-12-13
阅读 4 分钟
近期,阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选。EMNLP是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大...

使用函数计算,数禾如何实现高效的数据处理?

2023-12-12
阅读 3 分钟
数禾科技以大数据和技术为驱动,为金融机构提供高效的智能零售金融解决方案,服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构,业务涵盖消费信贷、小微企业信贷、场景分期等多个领域,提供营销获客、风险防控、运营管理等服务。数禾科技通过自主开发的消费信贷产品,连接金融机构与普罗大众,赋能金融机构...

阿里云大模型数据存储解决方案,为 AI 创新提供推动力

2023-12-11
阅读 3 分钟
随着国内首批大模型产品获批名单问世,百“模”大战悄然开启。在这场百“模”大战中,每一款大模型产品的诞生,都离不开数据的支撑。如何有效存储、管理和处理海量多模态数据集,并提升模型训练、推理的效率,保障 AI 业务平台运行的稳定,仍是亟待解决的难题。在云栖大会上,阿里云推出一系列针对大模型场景的存储产品创新...

面向大规模数据智能的阿里云存储创新

2023-12-11
阅读 4 分钟
近年来,越来越多人意识到,我们正处在一个数据爆炸式增长的时代。IDC 预测 2027 年全球产生的数据量将达到 291 ZB,与 2022 年相比,增长了近 2 倍。其中 75% 的数据来自企业,每一个现代化的企业都是一家数据公司。

畅捷通的 Serverless 探索实践之路

2023-12-08
阅读 7 分钟
畅捷通是中国领先的小微企业财税及业务云服务提供商,成立于2010年。畅捷通在2021年中国小微企业云财税市场份额排名第一,在产品前瞻性及行业全覆盖方面领跑市场,位居中国小微企业云财税厂商矩阵领军象限前列。作为专注小微企业云服务、软件提供商,畅捷通于2017年在业内创新提出“智公司”的概念,于2018年进一步丰富提...

MSE Serverless 正式商用,构建低成本高弹性的微服务架构

2023-12-08
阅读 5 分钟
微服务架构充分提升了研发效率,解决了复杂业务系统的快速迭代问题。但随着业务及技术演进,各种微服务组件也愈发复杂。如何实现更敏捷的开发,降低微服务开发运维成本,做到全链路的弹性,保障整个系统的稳定性,依然存在诸多挑战。

构建高效数据流转的 ETL 系统:数据库 + Serverless 函数计算的最佳实践

2023-12-07
阅读 4 分钟
随着企业规模和数据量的增长,数据的价值越来越受到重视。数据的变化和更新变得更加频繁和复杂,因此及时捕获和处理这些变化变得至关重要。为了满足这一需求,数据库 CDC(Change Data Capture)技术应运而生。然而,从 ETL 架构的角度来看,CDC 仅满足了数据的提取(Extract)能力。

基于知识迁移的跨语言机器阅读理解算法

2023-12-07
阅读 3 分钟
近日,阿里云人工智能平台PAI与华南理工大学朱金辉教授团队、达摩院自然语言处理团队合作在自然语言处理顶级会议EMNLP2023上发表基于机器翻译增加的跨语言机器阅读理解算法X-STA。通过利用一个注意力机制的教师来将源语言的答案转移到目标语言的答案输出空间,从而进行深度级别的辅助以增强跨语言传输能力。同时,提出了...

基于大语言模型的复杂任务认知推理算法 CogTree

2023-12-07
阅读 3 分钟
近日,阿里云人工智能平台PAI与华东师范大学张伟教授团队合作在自然语言处理顶级会议EMNLP2023上发表了基于认知理论所衍生的CogTree认知树生成式语言模型。通过两个系统:直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设,反思系统对直觉系统产生的假设进行验证,并选择更有可能的...

面向垂直领域的知识预训练语言模型

2023-12-07
阅读 5 分钟
近日,阿里云人工智能平台PAI与华东师范大学数据科学与工程学院合作在自然语言处理顶级会议EMNLP2023上发表基于双曲空间和对比学习的垂直领域预训练语言模型。通过比较垂直领域和开放领域知识图谱数据结构的不同特性,发现在垂直领域的图谱结构具有全局稀疏,局部稠密的特点。为了补足全局稀疏特点,将垂直领域中分层语...

面向 Stable Diffusion 的自动 Prompt 工程算法 BeautifulPrompt

2023-12-06
阅读 3 分钟
近日,阿里云人工智能平台PAI与华南理工大学朱金辉教授团队合作在自然语言处理顶级会议EMNLP2023上发表了BeautifulPrompt的深度生成模型,可以从简单的图片描述中生成高质量的提示词,从而使文生图模型能够生成更美观的图像。BeautifulPrompt通过对低质量和高质量的提示进行微调,并进一步提出了一种基于强化学习和视觉...

双十一弹性能力支撑 - ECI稳定性建设

2023-12-06
阅读 6 分钟
背景从2018年正式发布,ECI已经打磨了整整4个年头,如今也已经快速成长为了阿里云serverless容器的基础设施,服务着阿里内外众多的公有云客户与云产品,每天承接着数百万的弹性容器创建。

从浏览器原理出发聊聊Chrome插件

2023-12-06
阅读 12 分钟
单进程浏览器是指浏览器的所有功能模块都是运行在同一个进程里,这些模块包含了网络、插件、JavaScript 运行环境、渲染引擎和页面等。在 2007 年之前,市面上浏览器都是单进程的。