SF
阿里云栖号
阿里云栖号
注册登录
关注博客
注册登录
主页
关于
RSS
弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
阿里云云栖号
3 月 12 日
阅读 8 分钟
日志服务 SLS 是云原生观测与分析平台,为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务,基于日志服务的便捷的数据接入能力,可以将系统日志、业务日志等接入 SLS 进行存储、分析;阿里云 Flink 是阿里云基于 Apache Flink 构建的大数据分析平台,在实时数据分析、风控检测等场景应用广泛。阿里云 F...
曹操出行基于 Hologres+Flink 的实时数仓建设
阿里云云栖号
1 月 10 日
阅读 8 分钟
曹操出行创立于2015年5月21日,是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务,以“科技重塑绿色共享出行”为使命,将全球领先的互联网、车联网、自动驾驶技术以及新能源科技,创新应用于共享出行领域,以“用心服务国民出行”为品牌主张,致力于打造服务口碑最好的出行品牌。
流式湖仓增强,Hologres + Flink 构建企业级实时数仓
阿里云云栖号
1 月 5 日
阅读 9 分钟
随着大数据从规模化走向实时化,实时数据的需求覆盖互联网、交通、传媒、金融、政府等各个领域。实时计算在企业大数据平台的比重也在不断提高,部分行业已经达到了50%。Hologres+Flink通过众多的丰富企业级能力,替换开源复杂的各类技术组件,减少多种技术栈学习、多种集群运维、多处数据一致性维护等成本,让企业专注于...
基于 Log 的通用增量 Checkpoint
阿里云云栖号
2023-06-01
阅读 11 分钟
摘要:本文整理自阿里巴巴开发工程师,Apache Flink Contributor 俞航翔,在 Flink Forward Asia 2022 核心技术专场的分享。本篇内容主要分为四个部分:
Flink SQL 的数据脱敏解决方案
阿里云云栖号
2023-05-25
阅读 5 分钟
Flink SQL 的数据脱敏解决方案,支持面向用户级别的数据脱敏访问控制,即特定用户只能访问到脱敏后的数据。此方案是实时领域Flink的解决思路,类似于离线数仓 Hive 中 Ranger Column Masking 方案。
流批一体的近实时数仓的思考与设计
阿里云云栖号
2023-05-25
阅读 8 分钟
摘要:基于对数据时间旅行的思考,引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在 Flink 的应用和数据湖元数据类型的思考,探索了基于数据湖的 Flink SQL 流批一体的实践,在流批一体 SQL 表达一致、结果一致性、流批任务分离、混合调度依赖等进行了设计和探索。同时,欢迎大家多分享具体实践,一起共筑新...
基于 Flink ML 搭建的智能运维算法服务及应用
阿里云云栖号
2023-04-21
阅读 10 分钟
摘要:本文整理自阿里云计算平台算法专家张颖莹,在 Flink Forward Asia 2022 AI 特征工程专场的分享。本篇内容主要分为五个部分:1.阿里云大数据平台的智能运维2.智能运维算法服务应用场景3.传统算法工程链路的局限性4.使用 Flink ML 搭建智能运维算法服务5.总结和开源计划
海量数据实时分析引擎 Apache Flink
阿里云云栖号
2023-04-20
阅读 5 分钟
摘要:当系统出现大量或者重大的错误却不被人感知,将会对业务产生影响,从而导致资产损失。当竞争对手实施了新战术,却无法及时感知,跟不上竞争对手的节奏,总是追着对方尾巴走。当要做决策的时候,海量的业务数据增长却无法实时看到聚合结果,决策总是凭借过往经验或者过时的数据分析之上。
基于 Flink CDC 的现代数据栈实践
阿里云云栖号
2023-04-19
阅读 8 分钟
摘要:本文整理自阿里云技术专家,Apache Flink PMC Member & Committer, Flink CDC Maintainer 徐榜江和阿里云高级研发工程师,Apache Flink Contributor & Flink CDC Maintainer 阮航,在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分:1.深入解读 Flink CDC 2.3 版本2.基于 Flink CDC 构建...
Flink CDC+Kafka 加速业务实时化
阿里云云栖号
2023-03-01
阅读 5 分钟
摘要:本文整理自阿里巴巴开发工程师,Apache Flink Committer 任庆盛,在 9 月 24 日 Apache Flink Meetup 的分享。主要内容包括:1.Flink CDC 技术对比与分析2.Flink + Kafka 实时数据集成方案3.Demo:Flink+Kafka 实现 CDC 数据的实时集成和实时分析
实践教程之使用 PolarDB-X 与 Flink 搭建实时数据大屏
阿里云云栖号
2023-02-24
阅读 5 分钟
PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。
从 Flink Forward Asia 2021,看Flink未来开启新篇章
阿里云云栖号
2022-01-25
阅读 11 分钟
简介:本文将对FFA Keynote议题作一些简单的归纳总结,感兴趣的小伙伴们可以在FFA官网[2]找到相关主题视频观看直播回放。作者 | 梅源(Yuan Mei)来源 | 阿里技术公众号律回春晖渐,万象始更新,这句诗用来形容2021年的大数据领域再合适不过,而Flink在2021年也开启了新的篇章。2022年1月8-9号,Flink Forward Asia(FFA...
顺丰科技 Hudi on Flink 实时数仓实践
阿里云云栖号
2021-10-12
阅读 5 分钟
本文作者为刘杰,介绍了顺丰科技数仓的架构,趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节,以及未来的一些规划。主要内容为:
Apache Flink 在汽车之家的应用与实践
阿里云云栖号
2021-10-11
阅读 16 分钟
简介: 汽车之家如何基于 Flink 上线了 AutoStream 平台并持续打磨。本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2020 分享的议题《Apache Flink 在汽车之家的应用及实践》。主要内容包括:背景及现状、AutoStream 平台、基于 Flink 的实时生态建设、后续规划。
37 手游基于 Flink CDC + Hudi 湖仓一体方案实践
阿里云云栖号
2021-09-24
阅读 6 分钟
本文作者是 37 手游大数据开发徐润柏,介绍了 37 手游为何选择 Flink 作为计算引擎,并如何基于 Flink CDC + Hudi 构建新的湖仓一体方案,主要内容包括:
Flink 在 58 同城的应用与实践
阿里云云栖号
2021-09-16
阅读 9 分钟
简介: 58 同城的实时 SQL 建设以及如何从 Storm 迁移至 Flink。本文整理自 58 同城实时计算平台负责人冯海涛在 Flink Forward Asia 2020 分享的议题《Flink 在 58 同城应用与实践》,内容包括:
Flink 1.14 新特性预览
阿里云云栖号
2021-09-07
阅读 8 分钟
本文由社区志愿者陈政羽整理,内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为:
伴鱼:借助 Flink 完成机器学习特征系统的升级
阿里云云栖号
2021-09-07
阅读 5 分钟
本文作者陈易生,介绍了伴鱼平台机器学习特征系统的升级,在架构上,从 Spark 转为 Flink,解决了特征上线难的问题,以及 SQL + Python UDF 如何用于生产实践。 主要内容为:
Apache Flink 在京东的实践与优化
阿里云云栖号
2021-09-02
阅读 6 分钟
简介: Flink 助力京东实时计算平台朝着批流一体的方向演进。本文整理自京东高级技术专家付海涛在 Flink Forward Asia 2020 分享的议题《Apache Flink 在京东的实践与优化》,内容包括:
SmartNews:基于 Flink 加速 Hive 日表生产的实践
阿里云云栖号
2021-08-20
阅读 5 分钟
本文介绍了 SmartNews 利用 Flink 加速 Hive 日表的生产,将 Flink 无缝地集成到以 Airflow 和 Hive 为主的批处理系统的实践。详细介绍过程中遇到的技术挑战和应对方案,以供社区分享。主要内容为:
Flink CDC 2.0 正式发布,详解核心改进
阿里云云栖号
2021-08-13
阅读 9 分钟
简介: 本文由社区志愿者陈政羽整理,内容来源自阿里巴巴高级开发工程师徐榜江 (雪尽) 7 月 10 日在北京站 Flink Meetup 分享的《详解 Flink-CDC》。深入讲解了最新发布的 Flink CDC 2.0.0 版本带来的核心特性,包括:全量数据的并发读取、checkpoint、无锁读取等重大改进。
京东:Flink SQL 优化实战
阿里云云栖号
2021-08-11
阅读 8 分钟
简介: 本文着重从 shuffle、join 方式的选择、对象重用、UDF 重用等方面介绍了京东在 Flink SQL 任务方面做的优化措施。本文作者为京东算法服务部的张颖和段学浩,并由 Apache Hive PMC,阿里巴巴技术专家李锐帮忙校对。主要内容为:
Flink 在爱奇艺广告业务的实践
阿里云云栖号
2021-08-06
阅读 11 分钟
简介: 5 月 22 日北京站 Flink Meetup 分享的议题。本文整理自爱奇艺技术经理韩红根在 5 月 22 日北京站 Flink Meetup 分享的议题《Flink 在爱奇艺广告业务的实践》,内容包括:
Flink 1.12 资源管理新特性回顾
阿里云云栖号
2021-07-16
阅读 11 分钟
简介: 介绍 Flink 1.12 资源管理的一些特性,包括内存管理、资源调度、扩展资源框架。本文由社区志愿者陈政羽整理,Apache Flink Committer、阿里巴巴技术专家宋辛童,Apache Flink Contributor、阿里巴巴高级开发工程师郭旸泽分享,主要介绍 Flink 1.12 资源管理的一些特性。内容主要分为 4 部分:
实时数仓入门训练营:实时计算 Flink 版 SQL 实践
阿里云云栖号
2021-07-15
阅读 11 分钟
简介: 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 ...
实时数仓入门训练营:基于 Apache Flink + Hologres 的实时推荐系统架构解析
阿里云云栖号
2021-07-15
阅读 12 分钟
简介: 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 ...
Flink + Iceberg + 对象存储,构建数据湖方案
阿里云云栖号
2021-07-15
阅读 9 分钟
简介: 上海站 Flink Meetup 分享内容,如何基于Flink、对象存储、Iceberg 来构建数据湖生态。本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》,文章内容为:
Flink 1.13,面向流批一体的运行时与 DataStream API 优化
阿里云云栖号
2021-07-01
阅读 8 分钟
简介: 在 1.13 中,针对流批一体的目标,Flink 优化了大规模作业调度以及批执行模式下网络 Shuffle 的性能,以及在 DataStream API 方面完善有限流作业的退出语义。本文由社区志愿者苗文婷整理,内容来源自阿里巴巴技术专家高赟(云骞) 在 5 月 22 日北京站 Flink Meetup 分享的《面向流批一体的 Flink 运行时与 DataStr...
深入解读 Flink SQL 1.13
阿里云云栖号
2021-07-01
阅读 10 分钟
简介: Apache Flink 社区 5 月 22 日北京站 Meetup 分享内容整理,深入解读 Flink SQL 1.13 中 5 个 FLIP 的实用更新和重要改进。本文由社区志愿者陈政羽整理,Apache Flink 社区在 5 月份发布了 1.13 版本,带来了很多新的变化。文章整理自徐榜江(雪尽) 5 月 22 日在北京的 Flink Meetup 分享的《深入解读 Flink SQL 1...
Flink+Hologres亿级用户实时UV精确去重最佳实践
阿里云云栖号
2021-06-28
阅读 8 分钟
针对离线计算场景,Hologres基于RoaringBitmap,提供超高基数的UV计算,只需进行一次最细粒度的预聚合计算,也只生成一份最细粒度的预聚合结果表,就能达到亚秒级查询。具体详情可以参见往期文章>>Hologres如何支持超高基数UV计算(基于RoaringBitmap实现)
1
(current)
2
3
下一页
1
(current)
下一页