Cloud-Native Messaging & Streaming with Apache Pulsar
翟佳 | Streamlio创始团队成员, Apache Pulsar / BookKeeper PMC成员
1:30 -- 2:30
概要:
Apache Pulsar 是下一代分布式消息和流数据平台。 它于 2016 年由雅虎开源,并于 2018 年成
为 Apache 顶级项目。Apache Pulsar 目前已被广泛采用在各大互联网关键业务,比如在线业务
服务,流计算,实时交互式分析等。
本次分享将全面介绍 Apache Pulsar,包括Yahoo为什么要创建Pulsar,Pulsar跟其他系统的不同
之处,它如何使用云原生技术解决使用和运维过程中碰到的各种痛点,以及Pulsar在2.0之后加入
的大量流相关特性,和目前社区的状况以及相应的应用场景。
Apache Pulsar在智联搜索推荐中的应用
李世明 | 智联招聘平台架构组工程师
2:40 -- 3:20
概要:
智联简历职位搜索的数据有上亿条,需要支持所有职位、简历的数据变更实时同步到和搜索和推
荐服务。所以需要寻找一个强大的消息系统,来支撑每天大量的职位、简历的更新、刷新,和一
些商业事件。
通过Apache Pulsar的租户模式可以方面管理每个业务端的对接。Pulsar的高可用、一致性、签收
机制以及其他特性非常便捷的满足了搜索推荐服务的要求。
本次Talk主要分享Pulsar在智联的搜索推荐的应用。
Database Streaming with Apache Pulsar - Connector, Schema and SQL
郭斯杰 | Streamlio联合创始人,Apache Pulsar / BookKeeper PMC成员
3:30 -- 4:10
概要:
批量模式的ETL Pipelines是将数据从OTLP数据库导入到OLAP数据库的常用方案。但是这种方式
并不适合对于实时数据分析有强烈需求的用户场景。因此,针对于有实时数据分析需求的用户场
景,越来越多的企业开始使用CDC(Change Data Capature)和消息中间件打造流式的数据
Pipeline。
本次演讲将以Apache Pulsar为例,分享一下如何基于Pulsar打造流式的数据Pipeline。这其中将
介绍Pulsar的三个生态组件:IO Connectors,Schema,以及Pulsar SQL;以及如何将这三个组
件串联在一起:
-使用Pulsar的CDC Connector将数据库的Changes抓取到Pulsar中
-使用Pulsar内嵌的Schema来管理这些CDC数据的Schema
-使用Pulsar SQL进行交互式的实时查询
Apache Pulsar实践经验以及社区参与总结
李鹏辉 | 智联招聘平台架构组工程师,Pulsar Contributor
4:20 -- 5:00
概要:
经过Apache Pulsar在智联投入生产环境的4个多月,从最初每天3000万的消息量到10亿+消息
量。智联总结了一些线上实践经验以及一些最佳实践方案。合理的在不同的场景使用Pulsar以及
各个场景需要注意的方方面面。
结合智联的需求我们也在不断的为社区做贡献,积极参与社区讨论。智联也为社区贡献了一些重
要的特性比如Client Interceptors,Dead Letter Topic等。
本次Talk主要分享Pulsar在智联的实践以经验以及如何参与社区。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。