Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓

1 月 16 日
阅读 4 分钟
Hologres 是阿里云自研一站式实时数仓,统一数据平台架构,将OLAP查询、即席分析、在线服务、向量计算多个数据应用构建在统一存储之上,实现一份数据,多种计算场景。

Hologres 实时湖仓能力增强,挑战5分钟加速分析OSS数据

1 月 15 日
阅读 7 分钟
5分钟快速使用Hologres实时湖仓能力,无需移动数据,直接加速读取存储于数据湖OSS上的Hudi、Delta、Paimon等格式类型的数据

曹操出行基于 Hologres+Flink 的实时数仓建设

1 月 10 日
阅读 8 分钟
曹操出行创立于2015年5月21日,是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务,以“科技重塑绿色共享出行”为使命,将全球领先的互联网、车联网、自动驾驶技术以及新能源科技,创新应用于共享出行领域,以“用心服务国民出行”为品牌主张,致力于打造服务口碑最好的出行品牌。

流式湖仓增强,Hologres + Flink 构建企业级实时数仓

1 月 5 日
阅读 9 分钟
随着大数据从规模化走向实时化,实时数据的需求覆盖互联网、交通、传媒、金融、政府等各个领域。实时计算在企业大数据平台的比重也在不断提高,部分行业已经达到了50%。Hologres+Flink通过众多的丰富企业级能力,替换开源复杂的各类技术组件,减少多种技术栈学习、多种集群运维、多处数据一致性维护等成本,让企业专注于...

通义千问 Qwen-72B-Chat 大模型在PAI平台的微调实践

1 月 4 日
阅读 6 分钟
通义千问-72B(Qwen-72B)是阿里云研发的通义千问大模型系列的720亿参数规模的大语言模型,在2023年11月正式开源。Qwen-72B的预训练数据类型多样、覆盖广泛,包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上,使用对齐机制打造的基于大语言模型的AI助手。

松柏之志,下聚百川 - 松下中国阿里云大数据实践

2023-12-27
阅读 6 分钟
松下集团在中国及东北亚地区拥有有64家法人公司,员工人数约4万人,业务范围涉及研究开发,养老、铸件、汽车、车载、能源、电池等多个方面,这些多元化的业务组合为松下常年可持续性发展提供坚实保障。中国地区的松下已有30多年的历史,集合了研发、生产、制造、流通、销售、服务于一体。

面向 Stable Diffusion 的自动 Prompt 工程算法 BeautifulPrompt

2023-12-06
阅读 3 分钟
近日,阿里云人工智能平台PAI与华南理工大学朱金辉教授团队合作在自然语言处理顶级会议EMNLP2023上发表了BeautifulPrompt的深度生成模型,可以从简单的图片描述中生成高质量的提示词,从而使文生图模型能够生成更美观的图像。BeautifulPrompt通过对低质量和高质量的提示进行微调,并进一步提出了一种基于强化学习和视觉...

米哈游大数据云原生实践

2023-11-22
阅读 11 分钟
近年来,容器、微服务、Kubernetes 等各项云原生技术的日渐成熟,越来越多的公司开始选择拥抱云原生,并开始将 AI、大数据等类型的企业应用部署运行在云原生之上。以 Spark 为例,在云上运行 Spark 可以充分享有公共云的弹性资源、运维管控和存储服务等,并且业界也涌现了不少 Spark on Kubernetes 的优秀实践。

林伟:大数据AI一体化的解读

2023-11-09
阅读 6 分钟
今年是AI大爆发的一年,大语言模型的诞生推动了席卷整个行业的大模型热潮,许多人认为“AI的iPhone时代”到来了。训练大模型其实不简单,因为模型参数量的增加意味着需要更好的算力、更多的数据去锤炼,并且需要合适的工具让开发者快速迭代模型,只有这样才能更快地提高模型精度。这几年来阿里云一直在宣传AI工程化和规模...

DataWorks 增强分析发布,一站式数据查询分析与可视化

2023-09-25
阅读 2 分钟
8月31日阿里云郑州峰会,阿里云行业解决方案研发部总经理曾震宇在主论坛飞天发布时刻重磅发布DataWorks与DataV-Card合作推出的AI增强分析产品,一站式完成从数据查询、分析、可视化、共享的完整链路,1分钟即可形成数据报告,帮助互联网、金融、政务等各个行业客户表达数据观点,讲好数据故事。

实时数仓 Hologres:推出计算组实例/支持JSON数据/向量计算+大模型等新能力

2023-09-25
阅读 6 分钟
阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心,致力于解决用户多元化数据的计算需求问题,实现存储、调度、元数据管理上的一体化架构融合,支撑交通、金融、科研、等多场景数据的高效处理,是目前国内最早自研、应用最为广泛的一体化大数据平台。

DataWorks 全新发布:增强分析/数据建模个人版等新能力

2023-09-19
阅读 5 分钟
阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心,致力于解决用户多元化数据的计算需求问题,实现存储、调度、元数据管理上的一体化架构融合,支撑交通、金融、科研、等多场景数据的高效处理,是目前国内最早自研、应用最为广泛的一体化大数据平台。

MaxCompute - ODPS重装上阵 第十二弹 - PIVOT/UNPIVOT

2023-09-12
阅读 15 分钟
MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

人力家:用 MaxCompute 事务表2.0主键模型去重数据持续降本增效

2023-08-31
阅读 4 分钟
人力家是由阿里钉钉和人力窝共同投资成立,帮助客户进入人力资源数字化,依靠产品技术创新驱动战略的互联网公司。公司主要提供包括人事管理、薪酬管理、社保管理、增值服务在内的人力资源SaaS服务,加速对人力资源领域赋能,实现人力资源新工作方式。目前已服务电子商务、零售服务等领域的多行业客户。

基于预测的云资源弹性伸缩框架MagicScaler,实现“高QoS,低成本”双丰收

2023-08-29
阅读 3 分钟
近日,由阿里云计算平台大数据基础工程技术团队主导,与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作,基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler: Uncertainty-aware, Predictive Autoscaling 》被数据库领域顶会VLDB 2023接收。

MaxCompute 发布按量付费闲时版,计算成本最高节省66.66%!

2023-08-16
阅读 2 分钟
开通MaxCompute按量付费闲时版,意味着用户可以使用MaxCompute闲时计算资源(os_SpotQuota),它是一种共享型按量付费计算资源,闲时计算资源池与按量付费标准版计算资源共享,与包年包月计算资源隔离,不可指定用量。

金蝶管易云 X Hologres:新一代全渠道电商ERP最佳实践

2023-08-02
阅读 4 分钟
金蝶管易云是金蝶集团旗下专注提供电商企业管理软件服务的子公司,成立于2008年,是国内最早的电商ERP服务商之一,目前已与300+主流电商平台建有合作关系,以企业数据为驱动,深度融合线上线下数据,为超过11万家客户提供实现业务、财务、税务一体化的全渠道管理解决方案和业务财务一体化解决方案,覆盖电商全流程的SaaS...

面向未来的开源 OLAP 技术架构探讨以及选型实践

2023-07-27
阅读 10 分钟
摘要:本文将介绍开源大数据 OLAP 的演化过程和最佳实践。文章将围绕下面六点展开:1.开源 OLAP 综述2.OLAP 场景思考3.开源数据湖/流式数仓解决方案4.StarRocks 介绍5.客户案例6.未来规划

MaxCompute 湖仓一体近实时增量处理技术架构揭秘

2023-06-27
阅读 10 分钟
MaxCompute作为阿里云自研的海量大数据处理平台已经有十几年的发展历史,在规模和扩展性方面一直表现比较优秀。其依托阿里云飞天分布式操作系统,能够提供快速,完全托管的EB级数据仓库及数据湖解决方案,可经济高效的处理海量数据。目前,其承担着阿里集团绝大部分离线数据存储和计算力,是阿里云产品矩阵中最重要的自...

Hologres 弹性计算在 OLAP 分析上的实践和探索

2023-06-26
阅读 5 分钟
简介:1、本文介绍了OLAP分析在大数据分析中的位置2、分析并介绍目前大数据OLAP遇到的分析性能、资源隔离、高可用、弹性扩缩容等核心问题3、解析阿里云Hologres是如何解决极致性能、弹性、业务永续、性价比等核心刚需的最佳实践4、介绍阿里云Hologres弹性计算组在弹性计算、资源隔离上的探索和创新一、 OLAP分析在大数据...

大数据 SQL 数据倾斜与数据膨胀的优化与经验总结

2023-06-26
阅读 3 分钟
目前市面上大数据查询分析引擎层出不穷,如Spark,Hive,Presto等,因其友好的SQL语法,被广泛应用于各领域分析,公司内部也有优秀的ODPS SQL供用户使用。笔者所在团队的项目也借用ODPS SQL去检测业务中潜在的安全风险。在给业务方使用与答疑过程中,我们发现大多含有性能瓶颈的SQL,主要集中在数据倾斜与数据膨胀问题中...

开源大数据平台 E-MapReduce Serverless StarRocks 产品介绍

2023-06-05
阅读 4 分钟
摘要:本文将分享阿里云与 StarRocks 社区合作打造的云上 StarRocks 极速湖仓的云原生产品实践。主要包括四个部分,第一部分介绍 StarRocks 全托管形态,以及免运维服务的 OLAP 云产品;第二部分介绍 StarRocks Manager 的实例管理、诊断分析、元数据管理、安全中心等功能;第三部分介绍在社交、在线教育、电商等场景的...

Maxcompute 数据上云一致性比对

2023-06-01
阅读 5 分钟
我写过很多如何去对数、如何批量对数的技术文档,最近项目遇到这个问题,我才发现在官方博客上还没有发布过这个课题的文章。这就像灯下黑,太长用到的知识点,反而没有意识到其重要性。

使用 PAI-Blade 优化 Stable Diffusion 推理流程(二)

2023-05-29
阅读 4 分钟
上一篇中,我们使用了 PAI-Blade 优化了 diffusers 中 Stable Diffusion 模型。本篇,我们继续介绍使用 PAI-Blade 优化 LoRA 和 Controlnet 的推理流程。相关优化已经同样在 registry.cn-beijing.aliyuncs.com/blade_demo/blade_diffusion镜像中可以直接使用。同时,我们将介绍 Stable-Diffusion-webui 中集成 PAI-Blade...

使用 PAI-Blade 优化 Stable Diffusion 推理流程

2023-05-29
阅读 4 分钟
AIGC是人工智能计算领域里发展迅速的重要业务。Stable Diffusion 是其中最热门的开源模型,受到广泛关注。然而,随着应用场景不断扩大,Stable Diffusion所面临的推理时延和计算成本问题也越来越突出。

PAI-Diffusion 中文模型全面升级,海量高清艺术大图一键生成

2023-05-26
阅读 8 分钟
以Stable Diffusion模型为代表,AI生成内容(AI Generated Content,AIGC)的模型和应用呈现出井喷式的增长趋势。在先前的工作中,阿里云机器学习PAI团队开源了PAI-Diffusion系列模型,包括一系列通用场景和特定场景的文图生成模型,例如古诗配图、二次元动漫、魔幻现实等。这些模型的Pipeline除了包括标准的Diffusion M...

MaxCompute 物化视图智能推荐最佳实践

2023-05-24
阅读 3 分钟
MaxCompute物化视图是一种预先计算和存储结果数据的数据对象,也可以称之为“实体化视图”。物化视图可以作为一张虚拟表存在于MaxCompute项目中,它的内容是一个或多个表的聚合,过滤以及Join组合计算结果。物化视图可以大幅度减少查询处理时间以及节省作业计算资源,基于MaxCompute优化器强大的自动查询改写能力,当作业...

基于 Package 跨项目访问资源实践

2023-05-24
阅读 2 分钟
目前随着公司业务的不断扩展,各个业务线的数据也越来越多,如果所有数据都集中管理比较错综复杂。MaxCompute的跨项目访问资源比较适合这样的场景。每个业务线创建对应的project,自行管理数据。如果有需要访问其他业务线数据的诉求,可以基于Package实现数据共享的诉求,下面我们来介绍下基于Package实现跨项目访问资源...

HashTable 在蚂蚁转化归因中的极致运用

2023-05-15
阅读 3 分钟
蚂蚁的转化归因在初期运行两个多小时的情况下,进行了一系列优化,其中建立hash cluster表及强制hash关联及Shuffle的手动干预进行remove操作此部分优化占了较大比重。本文则主要讲述hash cluster表的一些运用。

海量数据实时分析引擎 Apache Flink

2023-04-20
阅读 5 分钟
摘要:当系统出现大量或者重大的错误却不被人感知,将会对业务产生影响,从而导致资产损失。当竞争对手实施了新战术,却无法及时感知,跟不上竞争对手的节奏,总是追着对方尾巴走。当要做决策的时候,海量的业务数据增长却无法实时看到聚合结果,决策总是凭借过往经验或者过时的数据分析之上。