10倍性能提升!DLA SQL推出基于Alluxio的数据湖分析加速功能

2021-01-27
阅读 4 分钟
简介: 在存储计算分离的场景下,通过网络从远端存储读取数据是一个代价较大的操作,往往会带来性能的损耗。以OSS为例,OSS数据读取延时通常较本地磁盘大很多,同时OSS对单个用户使用的带宽上限做了限制,这都会对数据分析的延时造成影响。在云原生数据湖分析(DLA)SQL引擎中,我们通过引入本地缓存机制,将热数据缓存...

Seata RPC 模块的重构之路

2021-01-27
阅读 6 分钟
简介: RPC 模块是我最初研究 Seata 源码开始的地方,因此我对 Seata 的 RPC 模块有过一些深刻研究,在我研究了一番后,发现 RPC 模块中的代码需要进行优化,使得代码更加优雅,交互逻辑更加清晰易懂,本着 “让天下没有难懂的 RPC 通信代码” 的初衷,我开始了 RPC 模块的重构之路。

如何编写有效的接口测试?

2021-01-26
阅读 3 分钟
简介: 在所有的开发测试中,接口测试是必不可少的一项。有效且覆盖完整的接口测试,不仅能保障新功能的开发质量,还能让开发在修改功能逻辑的时候有回归的能力,同时也是能优雅地进行重构的前提。编写接口测试要遵守哪些原则?测试代码的结构应该是什么样的?接口测试有哪些实践技巧?本文分享作者在接口测试上的实践总...

阿里云拨测:主动探测Web应用质量,助力提升用户体验

2021-01-26
阅读 3 分钟
简介: 阿里云拨测是一种针对互联网应用(Web页面、网络链路等)进行应用性能和用户体验监测的服务,无需嵌码即可为云上用户提供开箱即用的企业级主动拨测式应用监测解决方案。

核桃编程:前端可观测性建设之路

2021-01-26
阅读 5 分钟
简介: 在3年时间内,技术团队至少对整体系统架构进行了6次以上的重大重构,涉及微服务化、容器化、分布式数据库等重要的技术,并尝试通过Serverless技术提升系统的弹性伸缩能力。

Apache Flink 在实时金融数据湖的应用

2021-01-26
阅读 5 分钟
在京东的商品搜索排序中,经常会遇到搜索结果多样性不足导致系统非最优解的问题。为了解决数据马太效应带来的模型商品排序多样性的不足,我们利用基于二项式汤普森采样建模,但是该算法仍存在对所有用户采用一致的策略,未有效考虑用户和商品的个性化信息。基于该现状,我们采取在线学习,使深度学习和汤普森采样融合,...

mPaas 研发流程和线上运维介绍

2021-01-26
阅读 2 分钟
金融级移动开发平台 mPaaS[1](Mobile PaaS)为 App 开发、测试、运营及运维提供云到端的一站式解决方案,能有效降低技术门槛、减少研发成本、提升开发效率,协助企业快速搭建稳定高质量的移动应用。在我们日常运维过程中发现,大部分用户对蚂蚁的研发流程比较感兴趣,特别是在上百个开发者同时在一个app的环境内进行高...

从云网络时延看应用部署架构

2021-01-25
阅读 7 分钟
简介: 介绍云网络时延的构成,并对其进行量化的分析,以及从云网络时延看不同应用对应的部署架构。 也简单的分析了5G时代对应用部署架构的影响和度量云网络时延的产品和工具。

媒体智能-淘宝直播流媒体互动实践 | D2 分享视频+文章

2021-01-25
阅读 6 分钟
背景:今天给大家带来的分享主题是《媒体智能-淘宝直播流媒体互动实践》,内容分为5个部分,首先看看在淘宝直播的直播间里主播可以怎样给用户拜年;然后具体讲如何制作一个手势拜年的特效;接着介绍我们媒体智能整体的方案设计以及其中核心的工作之一,MediaAI Studio这样一款编辑器的实现;最后讲讲我们后续的建设方向。

深度 | 阿里云蒋江伟:什么是真正的云原生?

2021-01-25
阅读 4 分钟
简介: 而今,云原生成了耳熟能详的热门词,似乎不提云原生就落伍了,加入 CNCF 也成了云厂商引以为傲的技术优势。 我们也看到各种云原生的定义,有来自 CNCF 的“微服务+容器+持续交付+DevOps”,也有来自不同云厂商的说法。2020 年 9 月,阿里云成立了云原生技术委员会,今天我就从云计算的初心尝试谈谈什么是真正的云原...

亲历者说 | 完整记录一年多考拉海购的云原生之路

2021-01-25
阅读 8 分钟
简介: 考拉海购的整个云化改造是从 2019 年 10 月份开始的,当时的唯一目标就是短时间内快速完成迁移。在不到 4 个月的时间里,考拉团队唯一考虑的是如何以最快的速度完成使命,云原生是我们选择的最合适的一条路。

一文读懂 Serverless,将配置化思想复用到平台系统中

2021-01-25
阅读 23 分钟
简介: 搭建一个 aPaaS 平台是需要很长时间的,当然也可以基于一些公有云产品的 Serverless 方案实现现有系统的灵活性与扩展性,从而实现针对于不同客户的定制。

深入理解C++中的RVO

2021-01-22
阅读 5 分钟
考虑存在这样一个类如HeavyObject,其拷贝赋值操作比较耗时,通常你在使用函数返回这个类的一个对象时会习惯使用哪一种方式?或者会根据具体场景选择某一种方式?

对容器镜像的思考和讨论

2021-01-21
阅读 6 分钟
简介: 常言道,startup 有 startup 的好,大厂有大厂的好,那么大厂究竟好在哪呢?拿硅谷老牌大厂们 FLG 来说,如果要问最令人怀念的是什么?Free food 和基础设施(Infrastructure)一定是会上榜的,两者均极大提升了广大应用开发者的幸福指数。那么能不能“让天下没有难做的应用”呢?请大家把目光投向正在兴起的云原生生...

数禾云上数据湖最佳实践

2021-01-21
阅读 15 分钟
简介: 数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的Cloudera Hadoop集群。但随着公司互联网金融业务的快速扩张发展,大数据团队承担的责任也越来越重,实时数仓需求,日志分析需求,即席查询需求,数据分析需求等,每个业务提出的需求都极大的考验这个Cloudera Hadoop集群的能力。...

如何做好技术 Team Leader?

2021-01-21
阅读 5 分钟
简介: 作为一个技术TL(Team Leader),除了自身技能,还会面临诸多团队管理上的困难和挑战。如何定义和明确团队的目标?怎样建立优秀的工程文化?让团队长期发挥战斗力和创新能力的核心是什么?本文作者基于四年的团队管理经验,分享他在招聘、目标管理、团队沟通和工程文化等方面的思考与总结,介绍相关的经验方法,...

如何落地云原生DevOps?

2021-01-21
阅读 6 分钟
简介: 什么是云原生DevOps?在阿里内部有怎样的实践?企业又该如何落地?阿里云云效专家团队提出了下一代精益产品开发方法体系——ALPD,提供了系统的云原生DevOps落地的方法支撑,帮助企业渐进式地迈入云原生DevOps。本文结合实际案例,分享通过阿里云云效落地云原生DevOps的五个阶段。

如何迁移 Flink 任务到实时计算

2021-01-21
阅读 3 分钟
简介: 本文由阿里巴巴技术专家景丽宁(砚田)分享,主要介绍如何迁移Flink任务到实时计算 Flink 中来。通常用户在线下主要使用 Flink run,这会造成一些问题,比如:同一个配置因版本而变化;无法快速切换不同版本;无法从之前的作业恢复。那么如何从线下迁移到线上呢?本文将通过下面四部分来向大家介绍。一、如何迁移...

闲鱼是怎么让二手属性抽取准确率达到95%+的?

2021-01-20
阅读 4 分钟
轻发布导致商品信息不足 闲鱼采用图文描述的轻发布模式,迎合了用户快速发布的体验,但也导致了商品结构化信息不足的问题。如果平台希望更理解商品到底是什么,就需要算法去识别用户描述的图片和文本。

怎么提升写代码的能力

2021-01-20
阅读 3 分钟
简介: 对于程序员而言,我始终认为代码是展现能力的关键,一个优秀程序员写的代码,和一个普通程序员写的代码是很容易看出差别的,代码作为程序员的硬实力和名片的展示,怎么提升写代码的能力始终是一个关键的话题,不过很遗憾这篇文章其实也不是讲具体的步骤、银弹方法、武功秘籍什么的,这篇文章讲讲我自己印象中对我...

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

2021-01-20
阅读 8 分钟
简介: 为了消灭数据孤岛,企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程,期间遇到的挑战,以及delta在数据接入中产生的价值。

如何将实时计算 Flink 与自身环境打通

2021-01-20
阅读 4 分钟
简介: 如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 客训练营产品、技术专家齐上阵,从 Flink的发展、 Flink 的技术原理、应用场景及行业案例,到开源Flink功能介绍和实时计算 Flink 优势详解,现场实操,9天即可上手! 本篇内容将介绍如何实时计算 Flink 与自身环境打通。

大流量场景下如何云淡风轻地进行线上发布?

2021-01-20
阅读 6 分钟
很多互联网公司在半夜发布的另外一个重要原因是不具备可灰度能力,新版本存在 bug 或者其它原因会影响线上的客户,无奈之下只能选择在半夜进行发布来减少影响面。

数据创新的四个陷阱

2021-01-19
阅读 3 分钟
简介: 数据的重要性在当今已经无需在多言,所有的企业都意识到数据的重要性,都希望利用数据来驱动业务的发展。但是,很多企业信息化管理者依然存在对于数据智能,数据驱动的一些误解,这些误解会让企业的数据利用陷入深渊。

云原生DevOps的5步升级路径

2021-01-19
阅读 6 分钟
简介: 究竟什么是云原生DevOps呢?我们认为:云原生DevOps是充分利用云原生基础设施,基于微服务/无服务架构体系和开源标准,语言和框架无关,具备持续交付和智能自运维能力,从而做到比传统DevOps更高的服务质量、更低的开发运维成本,让研发专注于业务的快速迭代。

如何跑通第一个 SQL 作业

2021-01-19
阅读 6 分钟
SQL分为四类,分别是数据查询语言(DQL)、数据操纵语言(DML)、数据定义(DDL)语言和数据控制语言(DCL)。今天将介绍前三种语言的使用。

开发效率提升15倍!批流融合实时平台在好未来的应用实践

2021-01-19
阅读 8 分钟
简介: 本文由好未来资深数据平台工程师毛祥溢分享,主要介绍批流融合在教育行业的实践。内容包括两部分,第一部分是好未来在做实时平台中的几点思考,第二部分主要分享教育行业中特有数据分析场景。

阿里云云效何勉:云原生是“精益实践”的最佳助力

2021-01-19
阅读 3 分钟
简介: 1月15日,国内知名“精益产品开发”研究和实践者、阿里云云效资深技术专家何勉在阿里云《云计算情报局》线上直播栏目中,分享其对研发新模式的最新思考,提出“下一代精益开发方法”,助力企业在研发效能上提升10倍。 同时,他认为,云原生是效能提升的巨大契机,赋予了精益实践天然的优势,是精益实践的最佳助力。

阿里云熊鹰:基于融合、协同系统的边缘云原生架构演进和实践

2021-01-18
阅读 4 分钟
简介: 云原生和边缘计算是近两年都非常火的技术话题了,在第十届云计算标准和应用大会上,阿里云高级技术专家熊鹰分享了《基于融合、协同系统的边缘云原生架构演进和实践》,希望通过介绍现在阿里云在边缘计算和边缘云原生这些技术领域的系统架构演进,让大家了解到业务在云原生和边缘计算结合场景下落地的一些思考。

测试一年多,上线就崩溃!微服务到底应该怎么测试?

2021-01-18
阅读 5 分钟
不久前,也就是11月16日,澳大利亚交易所(Australian Securities Exchange, ASX)上线了一个新的交易系统,但因为出现故障而被迫关闭。这是其 2016 年因硬件故障导致休市后最为严重的一次事故。