重磅更新:PolarDB-X V2.3 集中式和分布式一体化开源发布

2023-11-06
阅读 14 分钟
计算节点(CN, Compute Node) 计算节点是系统的入口,采用无状态设计,包括 SQL 解析器、优化器、执行器等模块。负责数据分布式路由、计算及动态调度,负责分布式事务 2PC 协调、全局二级索引维护等,同时提供 SQL 限流、三权分立等企业级特性。

AIGC 时代的算力基石,未来的数据平台将如何演进?

2023-11-06
阅读 5 分钟
我过去的经历和人工智能其实有过好几段交集,最早是2003年,也就是整整20年前。当时我在清华大学人工智能实验室读研究生,接触到了非常早期的人工神经网络。有个作业是用一个非常小的神经网络来拟合一个简单的函数,用于为我们机器人的控制添加灵活性。当时所做出来的神经网络只有三层几十个神经元,也就是几十个参数。...

记一个诡异的TCP挥手乱序问题

2023-11-06
阅读 14 分钟
本文内容包括但不限于:tcp四次挥手(同时关闭),tcp包的seq/ack号规则,tcp状态机,内核tcp代码,tcp发送窗口等知识。问题是什么?内核版本linux 5.10.112一句话:四次挥手中,由于fin包和ack包乱序,导致等了一次timeout才关闭连接。过程细节:同时关闭的场景,server和client几乎同时向对方发送fin包。client先收到...

通过述职发现自己“变”了

2023-11-02
阅读 5 分钟
述职的目的是通过事情本身看人的成长变化,有两点比较重要:一个是价值和结果的呈现、另一个是个人的成长和变化。本文针对这两个点展开聊聊,包括通过哪些方式来改变自己有所成长,如何进行价值的定义判断、结果及呈现。

LangChain+通义千问+AnalyticDB 向量引擎保姆级教程

2023-11-02
阅读 21 分钟
本文以构建AIGC落地应用ChatBot和构建AI Agent为例,从代码级别详细分享AI框架LangChain、阿里云通义大模型和AnalyticDB提供引擎的开发经验和最佳实践,给大家快速搭建AIGC应用提供参考。

复用性风控:软件复用成本的量化管理

2023-11-02
阅读 11 分钟
复用性(Reusability)是软件工程中一个被频频使用的术语,它一般作为产品的卖点被宣传,或者出现在技术设计文档之中。大部分看到这个概念的的受众只是将其作为一个积极的软件非功能属性去理解,但却忽略了其背后隐藏的风险。本文从另一个角度出发,去分析「复用性」这一概念背后的风险及成因,借助笔者在业务安全和基础...

十年业务开发总结,如何做好高效高质量的价值交付

2023-11-02
阅读 15 分钟
转眼间已经做了十年的业务开发,这十年大部分时间都是在承接各种各样的业务需求和项目,在需求评审环节,我们有些东西误以为双方达成共识了,上线后发现和PD想的不一样;代码发布后,总会出现一些问题,有些问题看着很简单,但是上线前我们就是没考虑到,甚至上线前我们不知道原来系统中还存在这样一个逻辑;代码运行一...

OpenSergo & Dubbo 微服务治理最佳实践

2023-11-01
阅读 8 分钟
如上图所示,可以看到词云中所展示的都是目前微服务架构在生产上所遇到的挑战。比如,最常见的流量激增的场景,近一年内 AIGC 突然爆火,相关网站/服务都存在过因为激增流量导致服务不可用的情况,可能会让我们错过一个最佳的增长窗口。

软件研发的道德情操

2023-10-31
阅读 5 分钟
现代社会流行 ”同理心“(或称”共情“) 这个词,这个词用英文来表达是 _empathy_,例如我们在街上看到一对久别重聚的恋人,他们快乐的笑容,能够让我们会心一笑;而当我们看到有人因为罹患重病而一筹莫展的时候,我们也会发自内心地感到伤感。

数据研发“新人”如何快速落地?

2023-10-30
阅读 5 分钟
工作久了,免不了转岗或跳槽,刚好最近完成了自校招加入阿里以来的第一次转岗(菜鸟->蚂蚁),过程中因为是要离职再入职,因此也算是一次跳槽了。在此,想以自己的本职工作角色“数据研发”出发,和大家分享下自己转岗落地学习过程中的一些感悟,以及落地过程中的一些浅薄经验。相信不论是谁,换到一个新环境,一开始都...

灵魂三问之稳定性摸排

2023-10-30
阅读 5 分钟
在之前写了篇文章《上线十年,81万行Java代码的老系统如何重构》,在文章后有同学留言问“这么复杂的改动,质量是如何应对的”,是一个特别好的问题,当时只是从现有的一些监控、测试、卡口手段上进行了回答。但在回答过程当中就在思考一个问题,交接过来的老代码历史包袱这么重,现有的手段真的可以监控到所有的问题么?...

实战总结|记一次迭代需求中的微型代码重构

2023-10-26
阅读 6 分钟
大家好,我是钉钉业务平台前端技术的单丹。以往,历经考勤、日志、审批、开放平台、工作台等多个钉钉重点业务,分享更多的是偏技术架构或业务思考,这次,仅记录下程序员一次普通的日常需求中的微型重构过程。

技术人对抗焦虑的加减法

2023-10-25
阅读 5 分钟
应该说绝大部分技术人都有焦虑感:“程序员35岁危机”、“成长太慢,工作5年了还是大头兵”、“不小心搞了一个生产故障,感觉待不下去了”、“负责的这块业务看起来没前途” 等等。

扩散模型加速采样算法 OLSS,大幅提升模型推理速度

2023-10-25
阅读 4 分钟
论文:Zhongjie Duan, Chengyu Wang, Cen Chen, Jun Huang, Weining Qian. Optimal Linear Subspace Search: Learning to Construct Fast and High-Quality Schedulers for Diffusion Models. CIKM 2023

从爬⾏到奔跑 - 我们为什么需要单元测试?

2023-10-24
阅读 5 分钟
刹车是降低了⻋速还是提升了⻋速?我们通常认为写单测费⼒动作、耽误研发进度,仿佛在给项⽬ “踩刹⻋”。大规模家形状带着这个问题往下看,详细聊聊为什么单元测试可以让软件开发跑得更快。

PolarDB-X 分布式数据库中的外键

2023-10-24
阅读 13 分钟
外键是关系型数据库中非常便利的一种功能,它通过一个或多个列为两张表建立连接,从而允许跨表交叉引用相关数据。外键通过约束来保持数据的一致性,通过级联来同步数据在多表间的更新和删除。在关系数据库系统中,大多数表都遵循外键的概念。因此使用外键可以在一定程度上减轻业务代码中对数据一致性判断的工作量。 虽然...

PolarDB-X 企业级特性之行级访问权限控制

2023-10-23
阅读 9 分钟
数据库软件诞生至今,经过了几十年的发展和演进,已经成为IT系统中不可或缺的关键技术。由于数据库存储了大量的敏感数据,因此需要对数据库进行访问控制和权限管理,以保护数据的安全和隐私。MYSQL数据库提供了权限管理功能,通过使用GRANT语句授权用户或用户组对特定数据库对象的操作权限,如全局级别、数据库级别、表...

PolarDB-X 混沌测试实践:如何衡量数据库索引选择能力

2023-10-23
阅读 9 分钟
随着PolarDB分布式版的不断演进,功能不断完善,新的特性不断增多,整体架构扩大的同时带来了测试链路长,出现问题前难发现,出现问题后难排查等等问题。原有的测试框架已经难以支撑实际场景的复杂模拟测试。因此,我们实现了一个基于业务场景面向优化器索引选择的混沌查询实验室,本文之后简称为CEST(complex environm...

大象转身 - 平台架构如何拥抱业务创新

2023-10-20
阅读 10 分钟
这是一篇架构实践和启发课。如果你正在负责一个超大复杂型平台(比如电商、支付、物流)的架构师,且面临各种技术负债(比如架构复杂性、团队协同复杂性),同时业务又面临从平台服务,到场景化创新的转型。那么这篇文章也许对你有收获:

对抗软件复杂度的战争

2023-10-19
阅读 9 分钟
当我们谈研发效能的时候,我们在谈些什么?这个议题被抛出来,有人讨论,是因为存在问题,问题就在于实际的研发效率,已经远低于预期了。企业初创的时候,一个想法从形成到上线,一个人花两个小时就完成了,而当企业发展到数千人的时候,类似事情的执行,往往需要多个团队,花费好几周才能完成。这便造成了鲜明的对比,...

预发部署时机器总是重启两次的“简单”排查

2023-10-18
阅读 8 分钟
前天同学反馈, 搜索业务的核心应用 magellan 在预发环境部署时总是重启两次,刚部署好,开始联调,突然又重启了,也导致老是被人抱怨搜索环境不稳定。

基于 Triple 实现 Web 移动端后端全面打通

2023-10-18
阅读 5 分钟
在我们正常开发微服务的时候,传统 RPC 服务可能在最底层。上层可能是浏览器、移动端、外界的服务器、自己的测试、curl 等等。我们可能会通过 Tomcat 这种外部服务器去组装我们的 RPC 层,也就是 BFF。或者我们没有 BFF,我们的 RPC 就是对外提供服务。但因为浏览器要访问,所以我们需要有一个网关,比如说 APISIX 或者 ...

浅谈交易链路中的一些设计原则&模式

2023-10-17
阅读 8 分钟
最近在读之前简单看过的书,其中一本就是《企业应用架构模式》,本想写一下读书笔记,但是写的时间是03年的,有些久远了,可能系统结构也翻天覆地,不一样了,摘抄出来感觉也很古老,共鸣没有那么大。不过当时读的时候的内心的宁静还是还是很令人眷恋的。转过头来,本人之前也对设计原则、模式等进行过学习,但是主要是...

深势科技基于 Serverless 容器为科研人员打造高效的开发平台

2023-10-17
阅读 4 分钟
以往科学家们的科研工作需要经过大量实验的重复验证、复杂数学计算,以及长年累月的不断试错和苦苦探索。云计算基础服务的发展和人工智能技术 AI 的兴起,也给科研领域带来了新转变。

茶百道全链路可观测实战

2023-10-17
阅读 6 分钟
茶百道是四川成都的本土茶饮连锁品牌,创立于 2008 年 。经过 15 年的发展,茶百道已成为餐饮标杆品牌,全国门店超 7000 家,遍布全国 31 个省市,实现中国大陆所有省份及各线级城市的全覆盖。2021 年 3 月 31 日,在成渝餐·饮峰会中,茶百道斩获“2021 成渝餐·饮标杆品牌奖”。2021 年 8 月,入选艾媒金榜(iiMedia Ranki...

基于阿里云服务网格流量泳道的全链路流量管理(一):严格模式流量泳道

2023-10-16
阅读 7 分钟
灰度发布是一种常见的对新版本应用服务的发布手段,其特点在于能够将流量在服务的稳定版本和灰度版本之间时刻切换,以帮助我们用更加可靠的方式实现服务的升级。在流量比例切换的过程中,我们可以逐步验证新版本服务的功能特性、可靠性等特性,一旦新版本服务不满足需求,还可以时刻将流量切回老版本,因此灰度发布也是...

政采云基于 Dubbo 的混合云数据跨网实践

2023-10-16
阅读 7 分钟
云岛中的“云”是指我们的云平台,云平台是我们公司自己部署的一套购物网站,技术上对应的是一套微服务框架。而“岛”呢,比如安徽或者山西它们都有自己的局域网,如果我们在它们那里也部署一套这个服务框架,就叫“岛”。

精进云原生 – Dubbo Kubernetes 最佳实践

2023-10-16
阅读 7 分钟
随着云原生的兴起,越来越多的应用选择基于 Kubernetes 进行部署,相关的 DevOps 等工具也应运而生。而 Dubbo 作为微服务体系的主流解决方案,如何开发面向 Kubernetes 部署和运维的微服务应用是很多开发者与架构师要解决的问题。本文将从开发、部署、监控、运维等多维度视角分析,详细的介绍如何基于 Dubbo 在Kubernete...

人力家:借助 Information Schema 合理治理费用

2023-10-13
阅读 5 分钟
人力家是由阿里钉钉和人力窝共同投资成立,帮助客户进入人力资源数字化,依靠产品技术创新驱动战略的互联网公司。公司主要提供包括人事管理、薪酬管理、社保管理、增值服务在内的人力资源SaaS服务,加速对人力资源领域赋能,实现人力资源新工作方式。目前已服务电子商务、零售服务等领域的多行业客户。

快速使用 Elasticsearch+PAI 部署 AI 大模型知识库对话

2023-10-11
阅读 9 分钟
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供 Elasticsearch、Kibana、Logstash、Beats 等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级产品服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品...