Apache Pulsar Meetup | 北京站

Apache Pulsar 是下一代云原生分布式流数据平台，它源于 Yahoo，2016 年 12 月开源，2018 年 9 月正式成为 Apache 顶级项目，逐渐从单一的消息系统演化成集消息、存储和函数式轻量化计算的流数据平台。

2019 年 7 月，Apache Pulsar 正式发布了 2.4.0 版本，在 2.3.2 版本的基础上新增了诸多功能并修复了大量漏洞，包括存储端、Broker 端、Schema、安全、客户端、Pulsar Functions、Pulsar IO、Pulsar Kafka、Pulsar Flink 和 Pulsar Storm 等多方面。

Apache Pulsar 发展迅猛，持续规律地发出脉冲信号，社区已成功探索出以下脉冲星：

• 2019 年 6 月 深圳 Meetup：解析 Apache Pulsar 2.4.0 新功能、介绍 Pulsar 用户案例、Pulsar IO、Go Function、Pulsar 与 Flink 和 Spark 的集成等。
• 2019 年 3 月 杭州 Meetup：分享 Apache Pulsar 2.3.0 的新特性、Apache Pulsar 在智联的实践、Apache Pulsar 和 Apache Flink 在弹性数据处理方面的批流融合应用等。
• 2018 年 12 月 上海 Meetup：介绍如何使用 Apache Pulsar 打造实时数据 Pipeline、解构 Apache Pulsar 强大的生态组件 Functions/IO、Schema 与 Pulsar SQL 等。
• 2018 年 8 月 北京 Meetup：讲解 Apache Pulsar 的技术细节与生产实践等。

脉冲星是转速最快的中子星，也是宇宙中最重要的定位系统。中国的 FAST 望远镜为脉冲星的发展开创了新纪元，实现了一代天文学人的梦想，下一次观测脉冲星的机会将空降北京。想解密外太空的新世界吗？快快加入我们吧！

本次观测活动由 StreamNative 联合 Yahoo! Japan、Tencent、智联招聘、EMQ 和 Apache Flink 社区共同举办。

Apache Pulsar Meetup

时间：2019-08-17（周六） 9:30-18:00

地点：北京市海淀区上地信息路 26 号中关村创业大厦，二层多功能厅

Multifunction Hall, 2F, Zhongguancun Venture Mansion, Xinxi Rd 26, Haidian District, Beijing, China

直播地址：

B站 https://live.bilibili.com/214...

会议日程

演讲详情

题目：Apache Pulsar at Yahoo! Japan

Nozomi Kurihara | Manager of the Messaging Platform team in Yahoo Japan Corporation, and committer of the Apache Pulsar project. He is responsible for creating a centralized pub-sub messaging platform based on Apache Pulsar, which deals with a vast number of service/application traffics.

Abstract：Yahoo! Japan is a heavy user of Apache Pulsar. We have used Pulsar as a private messaging platform ever since it became an open-source software. Over 170 tenants (auction, shopping, maps, mail, etc.), 4K topics, and 50K messages are produced and consumed every second.

In this talk, we will introduce use cases of Yahoo! Japan:

Log pipeline
Notification
Job queueing
Migration from Kafka

Meanwhile, we will introduce our current project: Pulsar node.js client (open-source) and Web UI tool to manage topics (available as open source soon).

题目：神秘嘉宾，大咖来袭，敬请期待

题目：智联招聘如何参与社区开发以及 Key_Shared 等近期贡献特性详解

李鹏辉 | 智联招聘消息系统负责人、Apache Pulsar Committer。
丛搏 | 智联招聘研发工程师、Apache Pulsar Contributor。

摘要：从智联招聘开始调研 Apache Pulsar 至今已经有一年的时间，在这一年的时间里，Apache Pulsar 为智联提供了稳定的消息系统服务，承载了日均百亿级别的消息量。

智联招聘积极参与 Pulsar 社区讨论及开发，贡献了多个新特性，包括 Key_Shared 订阅模式、HDFS Offloader 以及诸多围绕 Pulsar Schema 以及 Presto SQL 相关的改进。

本次演讲，李鹏辉将分享智联招聘参与 Pulsar 社区的经验和收获，以及参与 Pulsar 2.4.0 版本发布的感受。此外，李鹏辉和从搏一起分享智联招聘为 Pulsar 贡献的特性及其使用和实现原理。

题目：Apache Pulsar 在腾讯计费场景下的实践

刘德志 | 腾讯后台开发高级工程师

摘要：围绕腾讯计费业务介绍 Pulsar 典型的应用场景，以及在实际业务中遇到的问题和解决方案。

题目：Preview of Transaction Support in 2.5.0

郭斯杰 | StreamNative 创始人及 CEO、Apache Pulsar/BookKeeper PMC Member
张勇 | Apache Pulsar/BookKeeper Contributor、开源爱好者

摘要：目前 Pulsar 通过 Idempotent Producer 支持在单个 partition 中的 exactly-once 语义。Idempotent Producer 保证 Producer 发送的消息在不丢失的情况下仅会被持久化一次。但是，当 Producer 发送消息到多个 partition 时，不能保证消息发送的原子性 。同样，Pulsar Functions 在处理多个事件或者输出一组结果到不同 topic partition 时，不能保证计算的原子性。PIP-31 通过增加对事务的支持来解决上述场景面临的问题。

本次演讲，郭斯杰和张勇将会详细解析 Pulsar 2.5.0 版本中支持的事务功能。

题目：Apache Pulsar 在 EMQ 物联网平台产品 ActorCloud 上的应用

金发华 | EMQ X 产品负责人

摘要：ActorCloud 是一个开源的物联网平台，集成了设备多协议接入、基于 SQL 的轻量级流式物联网数据处理、可扩展的数据持久化等功能，并且向上提供了基本的设备管理 API 和参考 UI 实现。Apache Pulsar 是云原生新一代的消息流数据平台，具有存储计算分离的先进架构、统一的消息消费模型、高可用和高可扩展性、以及丰富的企业级特性。本次演讲将介绍 ActorCloud 如何利用 Pulsar 的功能特性实现物联网平台功能需求。

题目：监控流系统中的 Flink 状态管理

唐云 | 阿里巴巴高级开发工程师，阿里巴巴实时计算事业部 Flink 核心引擎开发者。

摘要：本次演讲涵盖从监控流系统应用到 Flink 的状态管理和容错机制（state & checkpoint)。 唐老师会详细介绍 Flink State、checkpoint 及其使用方法。
在介绍这些概念的同时，唐老师会剖析相关原理，并详细介绍 Flink state & checkpoint 在功能和易用性增强方面的工作进展。

题目：Apache Pulsar 与大数据生态的集成与实践

申毅杰 | Apache Pulsar/Spark Contributor、开源爱好者。

摘要：和传统的消息队列（如 RabbitMQ）和实时数据管道（如 Apache Kafka）相比，Pulsar 的存储分层架构、以 Segment 为中心的分片存储、Tiered Storage 和对 Schema 的原生支持等诸多优秀设计使其可以一站式解决实时数据存储的需求。同时，Apache Pulsar 与当前大数据分析引擎（例如 Apache Spark，Apache Flink ）的批流融合趋势一致。

本次演讲，申毅杰将详细分析 Apache Pulsar 和诸多大数据分析平台的集成实践，分享 Pulsar 与 Apache Spark、Apache Flink、 Apache Hive 和 Presto 的集成模式和最新进展。

交通

地铁 13 号线上地站下车，A 西口出。步行 1.1 公里至中关村创业大厦，约16分钟。

更多信息

以下是近期 Apache Pulsar 的产品信息、技术干货与社区动态：

• 2019/07 Apache Pulsar 2.4.0 版本说明与功能解读
• 2019/05 Flink 和 Pulsar 的批流融合
• 2019/06 如何基于 Pulsar 和 Spark 进行批流一体的弹性数据处理
• 2019/05 选择 Pulsar 而不是 Kafka 的 7 大理由
• 2019/05 如何在 Pulsar 中使用 Debezium Connector
• 2019/06 Apache Pulsar Meetup | 深圳站

Pulsar 大事记

2019.07 Apache Pulsar 2.4.0 发布。

2019.05 Apache Pulsar 2.3.2 发布。

2019.04 Apache Pulsar 2.3.1 发布。

2019.02 Apache Pulsar 2.3 发布。

2018.09 Apache Pulsar 2.2 发布，Pulsar SQL 正式亮相。

2018.08 Apache Pulsar 2.1 发布，Pulsar Connector 和 Tiered Storage 正式亮相。

2018.02 Apache Pulsar 2.0 发布，Pulsar Functions 正式亮相。

2017.06 Apache Pulsar 进入 ASF 孵化。

2016.12 Yahoo 开源 Apache Pulsar。

关于主办方

本次 Meetup 由 StreamNative 主办，StreamNative 是一家围绕 Apache Pulsar 和 Apache BookKeeper 打造下一代流数据平台的开源基础软件公司。我们秉承“Event Streaming 是大数据的未来基石”、“开源是基础软件的未来”这两个理念，专注于开源生态和社区的构建，致力于前沿技术领域的创新。

社区合作伙伴

• Apache Pulsar
• Apache Flink

合作伙伴

• Yahoo! Japan
• Tencent
• 智联招聘
• EMQ

交流群

已报名的小伙伴，欢迎扫码加入本次 Meetup 线下交流群。

如遇微信群人员太多扫不进去，添加 bot 小助手拉您入群哦！

报名地址

https://www.huodongxing.com/e...