奇思妙想的SQL|去重Cube计算优化新思路

1 月 2 日
阅读 7 分钟
SQL作为目前最通用的数据库查询语言,其功能和特性复杂程度远超大家常用的“SELECT * FROM tbl”这样简单,一段好的SQL和差的SQL,其性能可能有几十上千倍的而写出一个能够兼顾性能和易用性的SQL,超越的不仅仅是了解多少新特性的新写法,而是要深入理解数据的处理过程,然后设计好的数据的处理过程。

我在阿里做开发的高效打工技巧总结

1 月 2 日
阅读 4 分钟
很多新入职的工友反馈,大家现在除了编码之外,在厂子里还有很多七七八八的杂活才是工作耗时的大头,比如有些项目里面,沟通&对接相关的工作占比甚至大于70%,实际写代码&自测也就一两天,前面那些细碎的内容,也不方便录入工时,非常苦恼。出于对工友的爱和保护,鄙人决定在这里分享一些打工的技巧,希望能提供一些微不...

当 OpenTelemetry 遇上阿里云 Prometheus

2023-12-28
阅读 23 分钟
在云原生可观测蓬勃发展的当下,想必大家对 OpenTelemetry & Prometheus 并不是太陌生。OpenTelemetry 是 CNCF(Cloud Native Computing Foundation)旗下的开源项目,它的目标是在云原生时代成为应用性能监控领域的事实标准,它提供了一套统一的 API 和 SDK,用于生成、收集和处理分布式系统的遥测数据。总而言之,Open...

松柏之志,下聚百川 - 松下中国阿里云大数据实践

2023-12-27
阅读 6 分钟
松下集团在中国及东北亚地区拥有有64家法人公司,员工人数约4万人,业务范围涉及研究开发,养老、铸件、汽车、车载、能源、电池等多个方面,这些多元化的业务组合为松下常年可持续性发展提供坚实保障。中国地区的松下已有30多年的历史,集合了研发、生产、制造、流通、销售、服务于一体。

阿里云云原生助力安永创新驱动力实践探索

2023-12-27
阅读 3 分钟
云原生正在成为新质生产力变革的核心要素和企业创新的数字基础设施。2023 年 12 月 1 日,由中国信通院举办的“2023 云原生产业大会”在北京召开。在大会“阿里云云原生”专场,安永科技咨询合伙人王祺分享了对云原生市场的总览及趋势洞见,及安永基于阿里云容器服务、消息、微服务引擎、可观测等云原生技术产品方案,持续获...

PolarDB-X Operator|基于两次心跳事务的指定时间点恢复方案介绍

2023-12-26
阅读 5 分钟
数据库恢复方式有备份集恢复和任意时间点恢复(PITR, point-in-time recovery)。备份集恢复顾名思义是直接使用保存的数据备份集进行恢复,只能恢复到固定某一时刻的数据库状态;任意时间点恢复,利用数据库的数据备份和日志备份,先利用数据备份将数据恢复到某一个时刻的数据库状态,数据备份集中会有一个日志位点,下...

保姆级教程 | PAI x EasyPhoto,节日氛围AI写真生成

2023-12-26
阅读 7 分钟
生成式AI技术批量产出真/像/美的个人写真应用非常受欢迎。近期上线的EasyPhoto 作为一款开源的 SD WebUI 插件,提供更灵活、易用的开发方式,受到大量开发者们的关注和好评,用户可通过上传若干张同一人的照片,即可快速训练 LoRA 模型,并结合用户自定义的模板图片,最终生成真、像、美的写真照片。

PolarDB-X HTAP新特性 - 列存索引

2023-12-26
阅读 7 分钟
随着数据爆炸式的增长,传统的OLTP和OLAP解决方案基于简单的读写分离或ETL模型,将在线库的数据以T+1的方式抽取到数据仓库中进行计算,这种方案存在存储成本高、实时性差、链路和维护成本高等缺陷。 为应对数据爆炸式增长的挑战,PolarDB分布式版本基于对象存储设计了一套列存索引(Clustered Columnar Index,CCI)功能...

PolarDB-X最佳实践系列(三):如何实现高效的分页查询

2023-12-25
阅读 5 分钟
1、一张表有十亿的数据2、遍历这张表的所有数据,每次返回1000条3、遍历要按照数据写入的时间顺序4、遍历的性能需要是恒定的,不能有衰减,也即翻前面的页很快,翻到后面的页也很快5、数据不能有遗漏

好好的“代码优化”是怎么一步步变成“过度设计”的

2023-12-22
阅读 9 分钟
有一天Review师妹的代码,看到一行很难看的代码,毕竟师妹刚开始转JAVA,一些书写小习惯还是要养成,所以锱铢必较还是有必要的,于是给出了一些优化思路的建议,以及为什么要这么做。建议完后,我并没有停下”追求极致“的脚步,随着不断的思考,发现这段代码的优化慢慢变得五花八门起来了,完成了一次“代码优化”到“过度设...

模型服务网格:云原生下的模型服务管理

2023-12-21
阅读 11 分钟
模型服务网格(Model Service Mesh)是一种架构模式,用于在分布式环境中部署和管理机器学习模型服务。它提供了一个可扩展的、高性能的基础架构,用于将多个模型服务进行管理、部署和调度,以此更好地处理模型的部署、版本管理、路由和推理请求的负载均衡。

一张图看懂如何自运营一朵行业云

2023-12-21
阅读 1 分钟
随着云计算走向成熟化和规模化,许多企业开始探索如何自运营一朵行业云。什么是可自运营的行业云?如何运营好一朵行业云?阿里云分享基于飞天企业版进行行业云运营的实践经验。

不规范的枚举类代码引发的一场事故

2023-12-20
阅读 8 分钟
今天开发跟我反馈了一个很奇怪的问题,说有个对象的状态属性是枚举类,设置了该对象的状态后,插入数据库,这个状态没了,凭空消失了,变成了空白字符串。这让人感觉非常奇怪,我参与了整个问题排查过程,得到的结论和枚举类的规范有关系,我将过程总结在这里提供大家一起学习交流。

RocketMQ 中冷热分离的随机索引模块详解

2023-12-20
阅读 6 分钟
RocketMQ 广泛使用于各类业务场景中,在实际生产场景中,用户通常会选择消息 ID 或者特定的业务 Key(例如学号,订单号)来查询和定位特定的一批消息,进而定位分布式系统中的复杂问题。传统方案下,消息索引的存储是基于数据库系统或者基于本地文件系统实现的,受限于磁盘容量,很难满足海量数据的写入诉求。

AI Powered SLS 智能分析能力创新

2023-12-19
阅读 4 分钟
随着云计算技术不断升级,承载业务的 IT 基础设施规模扩大,各个应用之间的链路关系变得越来越复杂,每时每刻都在产生海量级的日志。对日志数据的采集、存储与分析处理方式,是衡量企业系统数字化程度的重要标志。传统的 IT 运维方案也会面临非常大的挑战,对于 DevOps 来说,需要花费数小时进行查找、对比和分析,以解...

Dubbo 3.3.0-beta 版本正式发布

2023-12-18
阅读 5 分钟
近日,Apache Dubbo 发布了 3.3 分支大版本 3.3.0-beta.1,相较于 3.2 系列版本,3.3.0-beta 引入了一些重量级的功能升级,按照社区规划,3.3 也将是 Dubbo3 非常重要的一个里程碑大版本,在 3.3.0 首个正式版本之后 Dubbo3 将正式进入长期稳定维护态,即标志着 Dubbo3 作为面向云原生时代的下一代微服务框架将具备规划...

PTS 3.0:可观测加持的下一代性能测试服务

2023-12-18
阅读 4 分钟
大家好,我是来自阿里云云原生应用平台的肖长军,花名穹谷,我此次分享的主题是《可观测加持的下一代性能测试服务》。提到性能测试大家并不陌生,性能测试已成为评估系统能力、识别系统弱点、进行系统调优,验证系统稳定性等的重要手段。

探索 Seata 项目开源开发之旅

2023-12-15
阅读 5 分钟
Seata 是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务。在今年的开源之夏活动中,我加入了 Apache Seata (Incubator) 社区,完成了开源之夏的课题,并从此一直积极参与社区。我有幸在云栖大会-开发者秀场上分享了我的开发者经验。在本文中,我将与大家分享我在 Seata 社区...

冠赢互娱基于 OpenKrusieGame 实现游戏云原生架构升级

2023-12-15
阅读 4 分钟
冠赢互娱是一家集手游、网游、VR 游戏等研发、发行于一体的游戏公司,旗下官方正版授权的传奇类手游——《仙境传奇》系列深受广大玩家们的喜爱。基于多年 MMORPG 类型游戏的自研与运营经验,冠赢互娱正式推出了 2D MMO 游戏开发引擎 Thousand,并成功应用至近期上线的《仙境传奇-梦回零三》 手游。其背后采用的云原生架构...

阿里云人工智能平台PAI多篇论文入选EMNLP 2023

2023-12-13
阅读 4 分钟
近期,阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选。EMNLP是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大...

使用函数计算,数禾如何实现高效的数据处理?

2023-12-12
阅读 3 分钟
数禾科技以大数据和技术为驱动,为金融机构提供高效的智能零售金融解决方案,服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构,业务涵盖消费信贷、小微企业信贷、场景分期等多个领域,提供营销获客、风险防控、运营管理等服务。数禾科技通过自主开发的消费信贷产品,连接金融机构与普罗大众,赋能金融机构...

阿里云大模型数据存储解决方案,为 AI 创新提供推动力

2023-12-11
阅读 3 分钟
随着国内首批大模型产品获批名单问世,百“模”大战悄然开启。在这场百“模”大战中,每一款大模型产品的诞生,都离不开数据的支撑。如何有效存储、管理和处理海量多模态数据集,并提升模型训练、推理的效率,保障 AI 业务平台运行的稳定,仍是亟待解决的难题。在云栖大会上,阿里云推出一系列针对大模型场景的存储产品创新...

畅捷通的 Serverless 探索实践之路

2023-12-08
阅读 7 分钟
畅捷通是中国领先的小微企业财税及业务云服务提供商,成立于2010年。畅捷通在2021年中国小微企业云财税市场份额排名第一,在产品前瞻性及行业全覆盖方面领跑市场,位居中国小微企业云财税厂商矩阵领军象限前列。作为专注小微企业云服务、软件提供商,畅捷通于2017年在业内创新提出“智公司”的概念,于2018年进一步丰富提...

基于知识迁移的跨语言机器阅读理解算法

2023-12-07
阅读 3 分钟
近日,阿里云人工智能平台PAI与华南理工大学朱金辉教授团队、达摩院自然语言处理团队合作在自然语言处理顶级会议EMNLP2023上发表基于机器翻译增加的跨语言机器阅读理解算法X-STA。通过利用一个注意力机制的教师来将源语言的答案转移到目标语言的答案输出空间,从而进行深度级别的辅助以增强跨语言传输能力。同时,提出了...

面向垂直领域的知识预训练语言模型

2023-12-07
阅读 5 分钟
近日,阿里云人工智能平台PAI与华东师范大学数据科学与工程学院合作在自然语言处理顶级会议EMNLP2023上发表基于双曲空间和对比学习的垂直领域预训练语言模型。通过比较垂直领域和开放领域知识图谱数据结构的不同特性,发现在垂直领域的图谱结构具有全局稀疏,局部稠密的特点。为了补足全局稀疏特点,将垂直领域中分层语...

双十一弹性能力支撑 - ECI稳定性建设

2023-12-06
阅读 6 分钟
背景从2018年正式发布,ECI已经打磨了整整4个年头,如今也已经快速成长为了阿里云serverless容器的基础设施,服务着阿里内外众多的公有云客户与云产品,每天承接着数百万的弹性容器创建。

从浏览器原理出发聊聊Chrome插件

2023-12-06
阅读 12 分钟
单进程浏览器是指浏览器的所有功能模块都是运行在同一个进程里,这些模块包含了网络、插件、JavaScript 运行环境、渲染引擎和页面等。在 2007 年之前,市面上浏览器都是单进程的。

SLS支持高精度时间戳和全局排序

2023-12-06
阅读 4 分钟
随着数字化浪潮下企业数字化转型进程的不断加速,以及云原生趋势下可观测性理念的逐渐普及,企业的日志数据来源越来越丰富, 数据规模也正在快速增长,为了高效处理分析这些数据, 日志的集中管理越来越有必要, 数据集中收集之后, 在需要的时候再查询和分析以充分挖掘这些数据的价值。

Koordinator 助力云原生应用性能提升:小红书混部技术实践

2023-12-05
阅读 6 分钟
编者按:Koordinator 是一个开源项目,是基于阿里巴巴内部多年容器调度、混部实践经验孵化诞生,是行业首个生产可用、面向大规模场景的开源混部系统,致力于提升应用服务质量,优化资源使用效率。自 2022 年 4 月正式开源以来,吸引了业界众多优秀工程师的贡献参与和讨论。小红书是 Koordinator 社区的活跃成员,自项目...

分布式锁实现原理与最佳实践

2023-12-05
阅读 25 分钟
一、超卖问题复现1.1 现象存在如下的几张表:商品表订单表订单item表商品的库存为1,但是并发高的时候有多笔订单。错误案例一:数据库update相互覆盖直接在内存中判断是否有库存,计算扣减之后的值更新数据库,并发的情况下会导致相互覆盖发生: {代码...} 错误案例二:扣减串行执行,但是库存被扣减为负数在 SQL 中加入...