DLF +DDI 一站式数据湖构建与分析最佳实践

2021-08-05
阅读 13 分钟
简介: 本文由阿里云数据湖构建 DLF 团队和 Databricks 数据洞察团队联合撰写,旨在帮助您更深入地了解阿里云数据湖构建(DLF)+Databricks 数据洞察(DDI)构建一站式云上数据入湖。
封面图

技术解析:一文看懂 Anolis OS 国密生态 | 龙蜥专场

2021-08-04
阅读 4 分钟
简介: Anolis OS国密是社区在Anolis OS上做的国密技术解决方案。编者注:本文系两位演讲者整理,他们在2021年阿里云开发者大会的「开源操作系统社区和生态分论坛」上带了分享,演讲主题为《国密技术开发与实践》。,为国内的基础软件生态添砖加瓦。
封面图

阿里云马涛:什么是操作系统的云原生?

2021-08-04
阅读 3 分钟
注:本文作者马涛,阿里云智能研究员、阿里巴巴集团内核团队创始人之一、阿里云基础软件部操作系统团队负责人。先后在ORACLE、阿里巴巴负责Linux以及操作系统内核相关的研发工作。十五年以上操作系统和内核相关研发经验,国内知名Linux内核研发人员,在文件系统、内存管理、通用块设备层等方面均有深厚的积累,多次受邀...
封面图

致敬 hacker |盘点内存虚拟化探索之路

2021-08-04
阅读 5 分钟
云计算是通过 Internet 服务的方式提供动态可伸缩资源的计算模式,经过多年的发展已成为企业 IT 技术的重要支撑。虚拟化是云计算的核心技术之一,将一台计算机抽象为多台逻辑计算机,即虚拟机,每个虚拟机是一个单独安全的环境,可运行不同的操作系统且互不影响。
封面图

Java对象转换方案分析与mapstruct实践

2021-08-04
阅读 10 分钟
简介: 随着系统模块分层不断细化,在Java日常开发中不可避免地涉及到各种对象的转换,如:DO、DTO、VO等等,编写映射转换代码是一个繁琐重复且还易错的工作,一个好的工具辅助,减轻了工作量、提升开发工作效率的同时还能减少bug的发生
封面图

Snowflake如日中天是否代表Hadoop已死?大数据体系到底是什么?

2021-08-04
阅读 7 分钟
简介: 本文作者关涛是大数据系统领域的资深专家,在微软(互联网/Azure云事业群)和阿里巴巴(阿里云)经历了大数据发展20年过程中的后15年。本文试从系统架构的角度,就大数据架构热点,每条技术线的发展脉络,以及技术趋势和未解问题等方面做一概述。作者 | 阿里云计算平台研究员关涛、阿里巴巴项目管理专家王璀
封面图

剑指企业级云原生,阿里云 CNFS 如何破局容器持久化存储困境

2021-08-03
阅读 6 分钟
简介: 云原生趋势下,应用容器化比例正在快速增长,Kubernetes 也已成为云原生时代新的基础设施。 据 Forrester 预测,到 2022 年, 全球企业及组织在生产环境运行容器化应用。观察今天的容器和 Kubernetes 的应用现状,我们可以看到两个普遍的现象。首先,在云上托管 Kubernetes 已经成为企业上云及运行容器的优先选择...
封面图

快速界定故障:Socket Tracer网络监控实践

2021-08-03
阅读 6 分钟
简介: Socket Tracer定位是传输层(Socket&TCP)的指标采集工具,通过补齐网络监控的这部分盲区,来达到快速界定网络问题的目标。
封面图

阿里云飞天论文获国际架构顶会 ATC 2021最佳论文:全球仅三篇

2021-08-03
阅读 2 分钟
简介: 近日,计算机系统结构国际顶级学术会议 USENIX ATC在线上举行。ATC 始办于1992年,是由USENIX组织的计算机系统领域的顶级会议,至今已成功举办31届,计算机系统领域中Oak语言(JAVA语言的前身)、QEMU、ZooKeeper等一系列有影响力的研究成果都在USENIXATC发表或公布。ATC 对论文要求极高,必须满足基础性贡献、前...
封面图

拒做背锅侠!如何利用网站性能优化驱动产品体验提升

2021-08-03
阅读 4 分钟
简介: 对于运维工程师而言,如果要票选五大最抓狂运维支撑场景,花样繁多的各种促销活动一定榜上有名。每个促销季上线都是忐忑不安的不眠夜。大量内容更新、大量客户涌入,大量数据读写,虽有着各种技术方案或工具服务保障着大促顺利进行。但仍有可能收到譬如“商品图片加载不出来”、“页面打开缓慢”、“无法完成订单支付”...
封面图

生态和场景一站式集成?来看看小程序的“共享主义”

2021-08-03
阅读 2 分钟
小程序商家通过「支付宝」获取到更多流量曝光以及更流畅的支付体验,而「支付宝」也通过小程序生态,从原来简单的支付工具一跃成为了国民级生活服务平台。
封面图

DevOps 能力提升模型

2021-08-02
阅读 2 分钟
简介: DevOps 能力反映的是技术研发响应业务变化的能力。随着组织规模的增加和业务复杂性增长,DevOps 能力会变得越来越重要。持续提升 DevOps 的能力成为技术研发的共同挑战。
封面图

代码智能技术如何应用到日常开发?

2021-08-02
阅读 5 分钟
同时,开发者经常被戏称为面向搜索引擎编程,因为我们经常需要通过通用搜索引擎去查询文档资料,但是通用搜索引擎的内容质量参差不齐,开发者在找文档、选文档上都需要花费大量时间,这会让我们的开发过程碎片化,无法集中精力聚焦在业务逻辑的开发上。
封面图

案例|自建or现成工具?小型创业团队敏捷研发探索

2021-08-02
阅读 2 分钟
我是刘永良,是一名全栈开发者也是一名创业者,来自济南——一个目前被称为互联网洼地的地方。2020年4月和三位志同道合的朋友,在济南共同创建了山东旷野网络科技有限公司,主要从事自有项目和外包项目开发。
封面图

慢SQL治理分享

2021-08-02
阅读 6 分钟
简介: 这里的慢SQL指的是MySQL慢查询,是运行时间超过long_query_time值的SQL。真实的慢SQL通常会伴随着大量的行扫描、临时文件排序或者频繁的磁盘flush,直接影响就是磁盘IO升高,让正常的SQL变成了慢SQL,大面积执行超时。本文将和大家分享慢SQL的治理过程。
封面图

非标准化的阀门企业也在用钉钉宜搭实现数字化转型

2021-08-02
阅读 2 分钟
简介: 增长对于所有企业来说,都是机遇与挑战并存。对非标准化的制造企业来说,增长是一把双刃剑,它既是订单增长带来的销售提升,同时在另一边则往往是“低效与浪费”的困扰。
封面图

深入浅出FlatBuffers原理

2021-07-20
阅读 10 分钟
简介: FlatBuffers 是一个开源的、跨平台的、高效的、提供了多种语言接口的序列化工具库。实现了与 Protocal Buffers 类似的序列化格式。主要由 Wouter van Oortmerssen 编写,并由 Google 开源。本文将基于高德地图数据编译增量发布使用了FlatBuffers序列化工具,为大家分享FlatBuffers的原理。
封面图

浅谈云原生架构的 7 个原则

2021-07-19
阅读 9 分钟
简介: 作为一种架构模式,云原生架构通过若干原则来对应用架构进行核心控制。这些原则可以帮助技术主管和架构师在进行技术选型时更加高效、准确,下面将展开具体介绍。
封面图

阿里云力夺FewCLUE榜首!知识融入预训练+小样本学习的实战解析

2021-07-19
阅读 6 分钟
简介: 7月8日,中文语言理解权威评测基准CLUE公开了中文小样本学习评测榜单最新结果,阿里云计算平台PAI团队携手达摩院智能对话与服务技术团队,在大模型和无参数限制模型双赛道总成绩第一名,决赛答辩总成绩第一名。
封面图

实时数仓入门训练营:Hologres性能调优实践

2021-07-19
阅读 12 分钟
简介: 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 ...
封面图

Serverless 时代下大规模微服务应用运维的最佳实践

2021-07-19
阅读 7 分钟
简介:原来的微服务用户需要自建非常多的组件,包括 PaaS 微服务一些技术框架,运维 IaaS、K8s,还包括可观测组件等。SAE 针对这些方面都做了整体的解决方案,使用户只需要关注自己的业务系统,这极大地降低了用户使用微服务技术的门槛。作者 | 陈涛
封面图

Dubbo 跨语言调用神兽:dubbo-go-pixiu

2021-07-16
阅读 7 分钟
简介: Pixiu 是基于 Dubbogo 的云原生、高性能、可扩展的微服务 API 网关。作为一款网关产品,Pixiu 帮助用户轻松创建、发布、维护、监控和保护任意规模的 API ,接受和处理成千上万个并发 API 调用,包括流量管理、 CORS 支持、授权和访问控制、限制、监控,以及 API 版本管理。
封面图

Flink 1.12 资源管理新特性回顾

2021-07-16
阅读 11 分钟
简介: 介绍 Flink 1.12 资源管理的一些特性,包括内存管理、资源调度、扩展资源框架。本文由社区志愿者陈政羽整理,Apache Flink Committer、阿里巴巴技术专家宋辛童,Apache Flink Contributor、阿里巴巴高级开发工程师郭旸泽分享,主要介绍 Flink 1.12 资源管理的一些特性。内容主要分为 4 部分:
封面图

[JDBC] Kettle on MaxCompute 使用指南

2021-07-16
阅读 2 分钟
简介:Kettle是一款开源的ETL工具,纯Java实现,可以在Windows、Unix和Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑 。基本讲介绍基于Kettle的MaxCompute插件实现数据上云。
封面图

AI运动:阿里体育端智能最佳实践

2021-07-16
阅读 5 分钟
简介: 过去一年,阿里体育技术团队在端智能方面不断探索,特别在运动健康场景下实现了实践落地和业务赋能,这就是AI运动项目。AI运动项目践行运动数字化的理念,为运动人口的上翻提供了重要支撑,迈出了阿里体育端智能运动领域的第一步,为用户带来了更加有趣的新颖玩法。上线以来,项目受到了广泛关注。
封面图

MaxCompute非事务表如何更新数据

2021-07-16
阅读 2 分钟
对于大数据中的大多数存储格式,支持随机更新非常复杂。它需要扫描大型文件,MaxCompute推出了最新的功能Transactional表可以支持update和delete语句,但是update和delete功能不适用于高频更新、删除数据或实时写入目标表场景,同时对于非Transactional表无法执行update和delete。本文主要讲解如何通过insert overwrite...
封面图

如何利用云原生技术构建现代化应用

2021-07-15
阅读 7 分钟
今天,云和云计算技术已经被企业广泛所接受,关于云、云计算、云原生都有非常多的话题,但是我比较想讨论的是在所有云当中真正的主角,就是我们的应用。​
封面图

实时数仓入门训练营:实时计算 Flink 版 SQL 实践

2021-07-15
阅读 11 分钟
简介: 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 ...
封面图

实时数仓入门训练营:基于 Apache Flink + Hologres 的实时推荐系统架构解析

2021-07-15
阅读 12 分钟
简介: 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 ...
封面图

Flink + Iceberg + 对象存储,构建数据湖方案

2021-07-15
阅读 9 分钟
简介: 上海站 Flink Meetup 分享内容,如何基于Flink、对象存储、Iceberg 来构建数据湖生态。本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》,文章内容为:
封面图