流式湖仓增强,Hologres + Flink构建企业级实时数仓

2024-01-30
阅读 9 分钟
820
2023年12月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新、实时查询。同时,随着流式湖仓的兴起,Hologres除了支持Delta、Hudi等通用湖格式,在今年新增了对Paimon的深度集成,不断拓展...

轻松上手:通过阿里云PAI QuickStart微调部署Qwen-72B-Chat模型

2024-01-23
阅读 7 分钟
537
通义千问-72B(Qwen-72B)是阿里云研发的通义千问大模型系列的720亿参数规模模型。Qwen-72B的预训练数据类型多样、覆盖广泛,包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上,使用对齐机制打造的基于大语言模型的AI助手。

基于PAI-EAS一键部署Stable Diffusion AIGC绘画

2024-01-23
阅读 3 分钟
309
人工智能平台PAI完成云上Stable Diffusion以文生图应用搭建,支持两种方式:使用交互式建模 PAI-DSW使用模型在线服务 PAI-EAS两种部署适用人群:1. 使用交互式建模 PAI-DSW 部署Stable Diffusion亮点:Notebook经典界面,对习惯代码操作的开发者更加友好;支持微调训练等操作,灵活度更高;有丰富的最佳实践教程可参考,...

快速玩转 Mixtral 8x7B MOE大模型!阿里云机器学习 PAI 推出最佳实践

2024-01-19
阅读 11 分钟
550
Mixtral 8x7B大模型是Mixtral AI推出的基于decoder-only架构的稀疏专家混合网络(Mixture-Of-Experts,MOE)开源大语言模型。这一模型具有46.7B的总参数量,对于每个token,路由器网络选择八组专家网络中的两组进行处理,并且将其输出累加组合,在增加模型参数总量的同时,优化了模型推理的成本。在大多数基准测试中,Mi...

Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓

2024-01-18
阅读 4 分钟
300
Hologres 是阿里云自研一站式实时数仓,统一数据平台架构,将OLAP查询、即席分析、在线服务、向量计算多个数据应用构建在统一存储之上,实现一份数据,多种计算场景。

Hologres技术揭秘: JSON半结构化数据的极致分析性能

2023-05-09
阅读 14 分钟
1k
近年来,随着移动端应用的普及,应用埋点、用户标签计算等场景开始诞生,为了更好的支撑这类场景,越来越多的大数据系统开始使用半结构化JSON格式来存储此类数据,以获得更加灵活的开发和处理。Hologres是阿里云自研的云原生一站式实时数仓,支持PB级数据多维分析(OLAP)以及高并发低延迟的在线数据服务(Serving),在...

实时数仓Hologres新一代弹性计算组实例技术揭秘

2023-02-21
阅读 6 分钟
797
随着实时数仓在业务生产系统的普及,资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。Hologres在保障业务方面持续优化核心技术竞争力,过去一年中,Hologres创新提出并实现了新一代弹性计算组实例,旨在通过更强的隔离和弹性能力,进一步提高业务系统的稳定性。Hologres弹性计算组在2022年双11也...

Flink X Hologres构建企业级Streaming Warehouse

2023-02-14
阅读 11 分钟
840
摘要:本文整理自阿里云资深技术专家,阿里云Hologres负责人姜伟华,在FFA实时湖仓专场的分享。点击查看>>本篇内容主要分为四个部分:一、实时数仓分层的技术需求二、阿里云一站式实时数仓Hologres介绍三、Flink x Hologres:天作之合四、基于Flink Catalog的Streaming Warehouse实践

阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践

2023-01-11
阅读 6 分钟
513
阿里妈妈数据引擎团队负责广告营销计算引擎Dophin的开发,目前支撑百万级广告主的营销产品,支持万亿级数据毫秒级交互式人群圈选、洞察分析及百亿级数据秒级广告效果分析,同时支持OLAP、实时、离线及AI超融合计算能力,为商家端产品万相台、直通车、超级推荐和达摩盘等营销产品提供极速的数据探索能力。

阿里CCO:基于Hologres的亿级明细BI探索分析实践

2023-01-05
阅读 13 分钟
1.2k
CCO是Chief Customer Officer的缩写,也是阿里巴巴集团客户体验事业部的简称。随着业务的多元化发展以及行业竞争的深入,用户体验问题越来越受到关注。CCO体验业务运营小二日常会大量投入在体验洞察分析中,旨在通过用户的声音数据结合交易、物流、退款等业务数据,洞察发现消费者/商家体验链路上的卡点问题并推进优化,...

技术原理|Hologres Binlog技术原理揭秘

2022-12-16
阅读 13 分钟
2.3k
同传统MySQL数据库,Hologres支持Hologres binlog,记录数据库中所有数据的变化事件日志。通过Hologres binlog,可以非常方便灵活的实现数据之间的复制、同步。同时在大数据场景上,支持Flink直接消费Hologres Binlog,相较于传统数仓分层,Flink+Hologres Binlog可以实现完整的事件驱动,完成ODS向DWD,DWD向DWS等的全...

升级JSONB列式存储,Hologres助力淘宝搜索2022双11降本增效!

2022-12-16
阅读 6 分钟
1.1k
2022年的双11,阿里淘宝搜推集群承载上千万每秒的的流量峰值,消费者的每一次浏览、点击都通过搜推集群进行流转,与往年双11不同的是,降本增效在今年也变成了特别重要的一个技术课题。在此背景下,阿里搜索推荐团队与Hologres深度合作,在技术上,通过将传统的Text Array升级为JSONB,并使用JSONB列式存储,相比去年双1...

看场景、重实操,实时数仓不是“纸上谈兵”

2022-12-07
阅读 6 分钟
812
比如:实时数仓是什么?如何从概念上去定义?有人认为,传统数据仓库做了实时化,就是实时数仓;有人认为,云数仓、湖仓一体是实时数仓;还有人认为,HTAP是解决实时数仓需求的一个重要手段!

乐元素 X Hologres:一站式高性能游戏运营分析平台

2022-11-15
阅读 7 分钟
789
乐元素创立于2009年,是一家以游戏研发运营为主营业务的游戏公司,同时业务涵盖动画作品、授权商品、音乐、演唱会、广播剧等在内的知名互动娱乐公司 。乐元素旗下拥有《开心水族箱》、《开心消消乐》、《海滨消消乐》 《Merc Storia》、《Ensemble Stars》 等多款畅销产品,以及《星梦手记》动画 和卡通形象品牌“消消乐...

阿里云 ODPS-Hologres刷新世界纪录,领先第二名23%

2022-11-08
阅读 1 分钟
767
2022年云栖大会上,阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清宣布阿里云一体化大数据平台ODPS全面升级。升级后的ODPS支持统一存储、统一调度、统一元数据的一体化融合架构,支持离线计算(ODPS-MaxCompute)、实时交互式分析(ODPS-Hologres)等引擎,提供机器学习、流式计算等可扩展的计算能力,具备全球领...

Hologres X TapTap:毫秒级实时在线推荐

2022-11-01
阅读 4 分钟
773
心动是一家全球游戏开发和发行商,从 2009 年以来提供多款网页游戏和手游。截至 2022 年中,心动运营 38 款免费和付费游戏,目前在全世界拥有 5,000 万月活跃用户,主要分布在大中华地区、东南亚、北美和南美。2016 年,心动推出手机游戏社区和应用商店 TapTap,截至2021财年在全球有 4,400 万月活跃用户。

诺亚财富 X Hologres : 统一OLAP分析引擎,全面打造金融数字化分析平台

2022-10-21
阅读 4 分钟
1.1k
诺亚控股有限公司以“诺亚财富”为品牌,源起于中国,是首家在港美两地上市的中国独立财富管理机构,首家开创了财富管理和资产管理的双轮驱动业务模式,同时也是国内首家获得标准普尔“投资级”评级的财富管理公司,公司业务涵盖财富管理、资产管理和其他业务。诺亚数据智能部门负责公司大数据体系框架建设,主要工作是支撑...

37手游云平台基于Flink+Hologres大数据建设实践

2022-10-17
阅读 8 分钟
894
本文整理自37手游大数据平台资深开发工程师史飞翔在实时数仓Workshop · 广州站的演讲。主要内容包括:37云平台大数据建设背景37云平台大数据建设方案应用实践未来规划作者:史飞翔 37手游大数据平台资深开发工程师公司介绍37手游是37互娱的子公司,主要负责运营,也就是发行业务。在中国大陆地区37手游以10%占有率仅次于...

菜鸟裹裹万能查:小包裹数据的大革新

2022-10-08
阅读 6 分钟
1.3k
菜鸟寄件业务当前为菜鸟的基础设施建设业务,是用户与【菜鸟】品牌最直接最基本的认知联系。通过与三通一达等巨头快递公司合作,降本增效,数字化、智能化的推动了中国快递行业腾飞。在新的一年里,菜鸟裹裹更是【做物流行业数字化转型的引擎】这一菜鸟大愿景的践行者。目前裹裹寄件日常寄件订单量百万级别,且双十一等...

淘菜菜 (一):基于Flink和Hologres的实时数仓架构升级之路

2022-09-23
阅读 7 分钟
1.2k
阿里淘菜菜(简称TCC)主营社区团购,其在阿里至少历经6年时间,为了更好支持业务发展,淘菜菜也在不断演进其技术架构。2020年淘菜菜开始与Hologres合作,历经2次大的架构升级,从传统多组件的架构升级为现在稳定的高可用实时数仓2.0,承载上千万RPS写入、几百T数据存储和秒级查询响应。在此合作过程中,淘菜菜技术团队...

阿里云云原生实时数仓升级发布,助力企业快速构建一站式实时数仓

2022-09-15
阅读 2 分钟
747
9月14日,阿里云云原生实时数仓升级发布。阿里云计算平台的产品专家分享了实时计算Flink版和Hologres构建企业级一站式实时数仓的核心能力升级及新功能解读。

阿里云 Flink+Hologres:构建企业级一站式实时数仓

2022-08-24
阅读 13 分钟
812
随着大数据的迅猛发展,企业越来越重视数据的价值,这就意味着需要数据尽快到达企业分析决策人员,以最大化发挥数据价值。企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。在业务建设过程中,实时数仓需要支持数据实时写入与更新、业务敏捷快速响应、数据自助分析、运维操作便捷、云原生弹性扩缩容等一系...

小迈科技 X Hologres:高可用的百亿级广告实时数仓建设

2022-06-30
阅读 5 分钟
750
小迈科技成立于 2015 年 1 月,是一家致力以数字化领先为优势,实现业务高质量自增长的移动互联网科技公司。始终坚持以用户价值为中心,以数据为驱动,为用户开发丰富的工具应用 、休闲游戏 、益智 、运动等系列的移动应用 。以成为全球领先开发者增长服务平台为愿景及使命,小迈希望通过标准化的产品和服务赋能,为开发...

Hologres共享集群助力淘宝订阅极致精细化运营

2022-06-30
阅读 3 分钟
588
淘宝订阅是基于C-B关系的用户/商家双私域产品,用户侧与推荐-猜你喜欢互补,构建订阅-我的喜欢心智。商家侧与商家深度联动,结构化,自动化引入优质供给,帮助商家更好地运营粉丝会员。初期构建了从商家后台内容发布,到算法分发推荐,再到前台消费和数据回收的完整链路;后期为了精细化运营,提升内容推荐体验,开始探...

DataFunTalk:阿里建设一站式实时数仓的经验分享

2022-06-14
阅读 7 分钟
1.2k
导读:大数据计算正从规模化走向实时化,实时大数据建设过程中开始面临很多的痛点和问题。本文内容整理于阿里资深技术专家姜伟华在DataFunTalk上的演讲,为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的经验和解决方案。分享的内容从以下三点展开:• 实时数仓的演进:一站式实时数仓• Hologres:阿里经过大...

湖仓一体,Hologres加速云数据湖DLF原理解析

2022-04-26
阅读 3 分钟
1.2k
随着云服务被接受的程度不断提升,云用户日益愿意将其收集的数据存储在低成本的对象存储里,比如OSS,S3等。与此同时,基于云的数据管理方式也得到相应的推广,元数据也不断存储在阿里云DLF(Data Lake Formation)上。OSS和DLF的结合成就了一种新的数据湖搭建方式。这种基于云存储的数据湖集累的数据规模也不断增长,相...

新东方基于Hologres实时离线一体化数仓建设实践

2022-02-17
阅读 7 分钟
1.8k
新东方教育科技集团定位于以学生全面成长为核心,以科技为驱动力的综合性教育集团。集团由1993年成立的北京新东方学校发展壮大而来,拥有短期培训系统、基础教育系统、文化传播系统等业务。

年度报告|Hologres重点功能年终大盘点

2022-01-20
阅读 6 分钟
1.4k
1月7日,由阿里云实时数仓Hologres和开发者社区共同举行了实时数仓年度发布会。在发布会上,来自阿里云的资深技术专家果贝从阿里的核心场景出发,深度解读了实时数仓技术发展的新趋势:一站式、在线化、敏捷化。在发布会上,Hologres产品负责人合一针对当前数仓的新趋势,重磅发布了Hologres年度重点能力,助力企业更好...

从阿里核心场景看实时数仓的发展趋势

2022-01-11
阅读 6 分钟
2.3k
2022年1月7日,阿里云实时数仓Hologres举行了年度发布会,在发布会上,来自阿里的资深技术专家从阿里的核心场景出发,为大家解读了实时数仓的新发展趋势“在线化、敏捷化、一站式”。通过本文,我们将会深入解读实时数仓发展所面临的问题,以及核心发展趋势,以帮助大家更好的做产品选型和数仓规划。​实时数仓是现在大数据...

Hologres揭秘:高性能原生加速MaxCompute核心原理

2021-07-01
阅读 5 分钟
4k
Hologres(中文名交互式分析)是阿里云自研的一站式实时数仓,这个云原生系统融合了实时服务和分析大数据的场景,全面兼容PostgreSQL协议并与大数据生态无缝打通,能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析。它的出现简化了业务的架构,为业务提供实时决策的能力,让大数据发挥出更大的商业价值...