数据研发“新人”如何快速落地?

2023-10-30
阅读 5 分钟
工作久了,免不了转岗或跳槽,刚好最近完成了自校招加入阿里以来的第一次转岗(菜鸟->蚂蚁),过程中因为是要离职再入职,因此也算是一次跳槽了。在此,想以自己的本职工作角色“数据研发”出发,和大家分享下自己转岗落地学习过程中的一些感悟,以及落地过程中的一些浅薄经验。相信不论是谁,换到一个新环境,一开始都...

宜搭小技巧|维护Excel太麻烦?Excel一键转应用,为你的工作减负!

2022-03-22
阅读 2 分钟
在钉钉的聊天窗口中,每天都会流转数量巨大的Excel表格,用于信息收集和数据统计,但有时这些表格并不能很好地帮助到我们的工作,相反还会带来许多不便。
封面图

实时数仓Hologres首次走进阿里淘特双11

2021-12-20
阅读 3 分钟
简介:这是淘特在阿里巴巴参与的第二个双11大促,大促期间累计超过上千万消费者在此买到心仪的商品,数百万家商家因为淘特而变得不同,未来,淘特也将会继续更好的服务于下沉市场,让惠民走近千万家。
封面图

基于海量日志和时序数据的质量建设最佳实践

2021-10-19
阅读 7 分钟
简介: 在云原生和DevOps研发模式的挑战下,一个系统从开发、测试、到上线的整个过程中,会产生大量的日志、指标、事件以及告警等数据,这也给企业质量平台建设带来了很大的挑战。本议题主要通过可观测性的角度来讨论基于海量日志和时序数据的质量建设最佳实践。
封面图

拒绝双写:巧用Lindorm数据订阅

2021-09-18
阅读 2 分钟
简介: 本文介绍了双写场景的一致性问题,详细介绍了三种解决方案,并针对DB->Binlog->Kafka方案给出了Lindorm数据订阅的最佳实践。
封面图

数据是如何被保护的?高质量存储告诉你

2021-09-10
阅读 1 分钟
简介: 作为关键信息基础设施运营者,阿里云提供了全方位的数据安全保护方案。今天,我们就从数据存储的角度来聊一聊数据是如何被保护的。原文链接本文为阿里云原创内容,未经允许不得转载。
封面图

基于 MaxCompute 的实时数据处理实践

2021-09-08
阅读 5 分钟
简介: MaxCompute 通过流式数据高性能写入和秒级别查询能力(查询加速),提供EB级云原生数仓近实时分析能力;高效的实现对变化中的数据进行快速分析及决策辅助。当前Demo基于近实时交互式BI分析/决策辅助场景,实现指标卡近实时BI分析、近实时市场监测、近实时趋势分析、近实时销量拆分功能。
封面图

海云健康:上云为10万家药店带去了什么价值?

2021-09-01
阅读 4 分钟
在海云健康(以下简称“海云”)的系统后台上,每一分钟就有10万笔的买药订单涌动。也许很多人没有听过海云健康的名字,但当他们走进社区药店时,已经在享受海云的“存健康”药店会员管理系统提供的服务。
封面图

40年技术发展变革,物联网行业的趋势、现状与挑战

2021-08-20
阅读 4 分钟
我们把过去四十年分为五个重要的技术发展阶段,从时间轴上我们把它切分为:1980 - 2000,2000 - 2005,2005 - 2010,2010 - 2020 以及 2020 - 2025。今天的发布会和第五个阶段的技术发展有关,从过去看未来,所以我们先回顾下技术发展史,先来看下前四个阶段分别经历了怎样的技术发展?在技术应用上的主要场景是什么?主...
封面图

如何玩转 WebGL 并行计算

2021-08-19
阅读 6 分钟
简介: 如今在 Web 端使用 WebGL 进行高性能计算已有不少实践,例如在端智能领域中的 tensorflow.js,再比如可视化领域中的 Stardust.js。
封面图

解密万亿参数M6模型预训练背后的分布式框架Whale

2021-08-18
阅读 5 分钟
简介: 最近,阿里云PAI团队和达摩院智能计算实验室一起发布“低碳版”巨模型M6,大幅降低万亿参数超大模型训练能耗。借助我们自研的Whale框架仅使用480卡GPU,即训练出了规模达人类神经元10倍的万亿参数多模态大模型M6,与传统海外公司实现万亿参数规模相比,能耗降低超八成、效率提升近11倍。
封面图

DataWorks 功能实践速览

2021-08-18
阅读 3 分钟
如上期数据同步解决方案介绍,数据集成的批数据同步任务运行时,需要占用一定的计算资源,这些资源即资源组,通常先从数据来源所在的机器抽取数据至资源组所在的机器,再推送至目标数据源所在的机器。
封面图

云原生演进趋势下传统数据库升级实践

2021-08-16
阅读 8 分钟
简介: 在数字化背景下,我们有许多思考。数据库跟以前那有什么不一样呢?什么是所谓的云原生数据库呢?作为使用数据库的开发者,对数据库的需求有什么变化?如今使用数据库我们一般会提什么样的诉求?本文将一一为大家解答。
封面图

Dataphin功能:集成——如何将业务系统的数据抽取汇聚到数据中台

2021-08-13
阅读 2 分钟
简介: 数据集成是简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力,为数据中台的建设打好坚实的数据基座。
封面图

Flink CDC 2.0 正式发布,详解核心改进

2021-08-13
阅读 9 分钟
简介: 本文由社区志愿者陈政羽整理,内容来源自阿里巴巴高级开发工程师徐榜江 (雪尽) 7 月 10 日在北京站 Flink Meetup 分享的《详解 Flink-CDC》。深入讲解了最新发布的 Flink CDC 2.0.0 版本带来的核心特性,包括:全量数据的并发读取、checkpoint、无锁读取等重大改进。
封面图

借助钉钉宜搭,奶茶店开始用黑科技管理门店了

2021-08-05
阅读 2 分钟
简介: 投诉处理的速度变快了——这是7分甜消费者在这个初夏最直观的感受,借助钉钉宜搭的低代码能力实现的数字化管理,过去7分甜的许多管理痛点,现在正被一一攻克。投诉处理的速度变快了——这是7分甜消费者在这个初夏最直观的感受,借助钉钉宜搭的低代码能力实现的数字化管理,过去7分甜的许多管理痛点,现在正被一一攻克。
封面图

DLF +DDI 一站式数据湖构建与分析最佳实践

2021-08-05
阅读 13 分钟
简介: 本文由阿里云数据湖构建 DLF 团队和 Databricks 数据洞察团队联合撰写,旨在帮助您更深入地了解阿里云数据湖构建(DLF)+Databricks 数据洞察(DDI)构建一站式云上数据入湖。
封面图

浅谈云原生架构的 7 个原则

2021-07-19
阅读 9 分钟
简介: 作为一种架构模式,云原生架构通过若干原则来对应用架构进行核心控制。这些原则可以帮助技术主管和架构师在进行技术选型时更加高效、准确,下面将展开具体介绍。
封面图

实时数仓入门训练营:基于 Apache Flink + Hologres 的实时推荐系统架构解析

2021-07-15
阅读 12 分钟
简介: 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 ...
封面图

数据智能构建管理平台Dataphin V2.9.4.3版本发布

2021-07-12
阅读 3 分钟
简介:Dataphin发布V2.9.4.3版本升级多项产品能力,该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程。
封面图

Quick Audience组织和工作空间功能解读

2021-07-12
阅读 2 分钟
近期,Quick Audience完成了权限系统全面升级,可以解决集团企业不同品牌、不同运营组织,不同消费者运营的诉求,精细化保障企业数据访问安全,提升管控的灵活度。
封面图

DevOps发布策略简介

2021-07-08
阅读 5 分钟
简介: DevOps追求更短的迭代周期、更高频的发布。但发布的次数越多,引入故障的可能性就越大。更多的故障将会降低服务的可用性,进而影响到客户体验。所以,为了保证服务质量,守好发布这个最后一道关,阿里逐步发展出了适应DevOps要求的发布策略。
封面图

CPU静默数据错误:存储系统数据不丢不错的设计思考

2021-07-05
阅读 7 分钟
简介: 对于数据存储系统来说,保障数据不丢不错是底线,也是数据存储系统最难的部分。据统计,丢失数据中心10天的企业,93%会在1年内破产。那么如果想要做到数据不丢不错,我们可以采取怎样的措施呢?
封面图

Hologres揭秘:优化COPY,批量导入性能提升5倍+

2021-07-02
阅读 3 分钟
Hologres(中文名交互式分析)是阿里云自研的一站式实时数仓,这个云原生系统融合了实时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构,为业务提供实时决策的能力,让大数据发挥出更大的商业价值...
封面图

Quick BI的可视分析之路

2021-07-01
阅读 3 分钟
简介: Quick BI是专为云上用户量身打造的智能数据分析和可视化BI产品,帮助企业快速完成从传统的数据分析到数据云化+分析云化的转变,将企业的业务数据产出后以最快的速度被推送到各组织侧消费使用。本篇着重介绍Quick BI在可视化分析上的能力与演进之路。
封面图

友盟+《小程序用户增长白皮书》:从五个角度入手分析小程序数据

2021-06-28
阅读 2 分钟
简介: 近日,国内领先的全域数据智能服务商——友盟+,发布了《友盟+U-APM 移动应用性能体验报告》。据悉,友盟+于去年将原移动分析U-App错误分析模块正式升级为U-APM应用性能监控平台,经过近一年的观察,通过DEM 视角分析移动应用端的性能表现发布这份报告,旨在帮助开发者清晰了解行业动态,精准定位自身产品位置。
封面图

PolarDB-X 2.0 全局 Binlog 和备份恢复能力解读

2021-06-25
阅读 5 分钟
简介: PolarDB-X 2.0 针对数据孤岛问题提供了全局 Binlog 能力,该能力为下游生态提供了与 MySQL Binlog 完全一致的增量日志消费体验。针对数据损坏问题提供了实例级、表级、SQL 级和行级等不同粒度的数据恢复能力,包括一致性备份恢复、表回收站、SQL 闪回、Flashback Query 等。
封面图

数字化让618有了洞悉消费者内心的“大脑”

2021-06-25
阅读 4 分钟
简介:阿里云数据中台已形成包括会员智能运营、全域天攻智投、GMV策略模拟等在内的近10套解决方案,围绕“人”“货”“场”三大零售行业要素,逐个击破品牌业务难点,记者了解到,过去一年,悦诗风吟、Benefit、高露洁、三只松鼠、九阳等多个海内外品牌已经尝鲜应用。
封面图

PolarDB-X 2.0:使用一个透明的分布式数据库是一种什么体验

2021-06-25
阅读 4 分钟
简介: 透明分布式,是PolarDB-X即将发布的能力,它能让应用在使用PolarDB-X的过程中,犹如使用单机数据库一般的体验。与传统的中间件类型的“分布式数据库”相比,有了透明分布式能力的PolarDB-X,不再需要应用考虑分区键的概念,应用可以完全将单机MySQL上开发的建表语句、应用代码直接迁移到PolarDB-X上运行起来。本文...
封面图

唯品会:在 Flink 容器化与平台化上的建设实践

2021-06-24
阅读 10 分钟
自 2017 年起,为保障内部业务在平时和大促期间的平稳运行,唯品会就开始基于 Kubernetes 深入打造高性能、稳定、可靠、易用的实时计算平台,现在的平台支持 Flink、Spark、Storm 等主流框架。
封面图