云消息队列 Kafka 版生态谈第一期:无代码转储能力介绍

1 月 8 日
阅读 3 分钟
云消息队列 Kafka 版本身是一个分布式流处理平台,具有高吞吐量、低延迟和可扩展性等特性。它被广泛应用于实时数据处理和流式数据传输的场景。然而,为了将云消息队列 Kafka 版与其他数据源和数据目的地集成,需要额外的开发/组件来实现数据的传输和同步,客户需要大量的研发、运维等投入。

Flink CDC+Kafka 加速业务实时化

2023-03-01
阅读 5 分钟
摘要:本文整理自阿里巴巴开发工程师,Apache Flink Committer 任庆盛,在 9 月 24 日 Apache Flink Meetup 的分享。主要内容包括:1.Flink CDC 技术对比与分析2.Flink + Kafka 实时数据集成方案3.Demo:Flink+Kafka 实现 CDC 数据的实时集成和实时分析

阿里云消息队列 Kafka 生态集成的实践与探索

2023-02-28
阅读 4 分钟
Apache Kafka是一个分布式流平台,作为互联网领域不可或缺的消息组件,在全球获得了广泛的应用。在使用过程中,Kafka一般被作为消息流转的核心枢纽,上下游系统通过Kafka实现异步,削峰填谷。在大数据处理和实时数据处理领域Kafka也是不可替代的组件。

企业版Spark Databricks + 企业版Kafka Confluent 联合高效挖掘数据价值

2022-05-19
阅读 8 分钟
简介:本文介绍了如何使用阿里云的Confluent Cloud和Databricks构建数据流和LakeHouse,并介绍了如何使用Databricks提供的能力来挖掘数据价值,使用Spark MLlib构建您的机器学习模型。
封面图

如何使用Delta Lake构建批流一体数据仓库

2022-05-13
阅读 4 分钟
简介:Delta Lake是一个开源存储层,它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理,并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上,并且与Apache Spark API完全兼容。希望本篇能让大家更深入了解Delta Lake,最终可以实践到工作当中。
封面图

喜马拉雅 Apache RocketMQ 消息治理实践

2022-02-07
阅读 3 分钟
简介:本文通过喜马拉雅的RocketMQ治理实践分享,让大家了解使用消息中间件过程中可能遇到的问题,避免实战中踩坑。作者:曹融,来自喜马拉雅,从事微服务和消息相关中间件开发。本文通过喜马拉雅的RocketMQ治理实践分享,让大家了解使用消息中间件过程中可能遇到的问题,避免实战中踩坑。业务背景现状以及遇到的问题1、...
封面图

消息队列 RocketMQ 遇上可观测:业务核心链路可视化

2022-01-24
阅读 5 分钟
简介:本篇文章主要介绍 RocketMQ 的可观测性工具在线上生产环境的最佳实践。RocketMQ的可观测性能力领先业界同类产品,RocketMQ 的 Dashboard 和消息轨迹等功能为业务核心链路保驾护航,有效应对线上大规模生产使用过程中遇到的容量规划、消息收发问题排查以及自定义监控等场景。
封面图

基于 EMR OLAP 的开源实时数仓解决方案之 ClickHouse 事务实现

2021-12-10
阅读 7 分钟
简介:阿里云 EMR OLAP 与 Flink 团队深度合作,支持了 Flink 到 ClickHouse 的 Exactly-Once写入来保证整个实时数仓数据的准确性。本文介绍了基于 EMR OLAP 的开源实时数仓解决方案。
封面图

带你体验云原生场景下 Serverless 应用编程模型

2021-10-20
阅读 7 分钟
简介: 阿里云 Knative 基于 ASK 之上,在完全兼容社区 Knaitve 的同时对 FC、ECI 工作负载进行统一应用编排,支持事件驱动、自动弹性,为您提供统一的 Serverless 应用编程模型。
封面图

告别Kafka Stream,让轻量级流处理更加简单

2021-09-24
阅读 3 分钟
一说到数据孤岛,所有技术人都不陌生。在 IT 发展过程中,企业不可避免地搭建了各种业务系统,这些系统独立运行且所产生的数据彼此独立封闭,使得企业难以实现数据共享和融合,并形成了"数据孤岛"。
封面图

技术干货|基于Apache Hudi 的CDC数据入湖「内附干货PPT下载渠道」

2021-09-06
阅读 9 分钟
简介: 阿里云技术专家李少锋(风泽)在Apache Hudi 与 Apache Pulsar 联合 Meetup 杭州站上的演讲整理稿件,本议题将介绍典型 CDC 入湖场景,以及如何使用 Pulsar/Hudi 来构建数据湖,同时将会分享 Hudi 内核设计、新愿景以及社区最新动态。
封面图

五年双十一:SLS数据管道发展之路

2019-12-10
阅读 8 分钟
日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一、双十二、新春红包锤炼。

Knative 实战:基于阿里云 Kafka 实现消息推送

2019-10-21
阅读 3 分钟
在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何在阿里云上基于 Kafka 实现消息推送,本文给大家解锁这一新的姿势。

Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL

2019-09-04
阅读 6 分钟
上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》,会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。完整分享可以观看 Meetup 视频回顾 :[链接]