【亚洲峰会】Greenplum高级功能和案例,带你回顾六大话题

Greenplum
了解更多Greenplum技术干货,欢迎访问Greenplum中文社区网站

Greenplum 中国技术峰会是决策者、数据科学家、分析师、DBA 和开发人员聚会的地方,在这里一起共同讨论,共享和塑造高端数据技术的未来。今年由于疫情原因,我们将峰会搬到了线上。继全球峰会成功举办后,我们又相继举办了多场线上亚太峰会,分别以中文、英语和韩语为大家呈现多个精彩内容。

在11月26日举办的中文场第一场活动的精彩内容,我们探讨了 Greenplum 是如何在分析上取得成功的。在12月10日举办的中文场第二场活动中,我们将近一步深入挖掘Greenplum的高级功能和案例。相关视频均已上传Greenplum中文社区B站频道,欢迎观看。

话题1 Greenplum无处不在

讲师:褚洪峰 Greenplum数据和分析架构师

如今,数据无处不在——位于不同的位置,不同的格式和不同的“温度”,对于数据平台部署及访问手段,也提出了多样化的部署需求。根据客户对数据平台不同的使用需求,Greenplum可以通过多种方式进行部署:云部署方式(公有云、私有云、混合云)、容器化部署方式、传统裸机部署方式,具有多个部署选项,使公司可以微调其部署以匹配运营需求。在11月26日举办的Greenplum 亚洲峰会中文场第一场中,李仁厚在演讲中为大家介绍了Greenplum如何运行在私有云上,本演讲视频将为大家详细介绍Greenplum如何运行在公有云上以及在公有云上运行Greenplum的特点和优势。

演讲视频
https://www.bilibili.com/vide...

话题2 Apache NiFi 与Greenplum 数据湖整合

讲师:李巍 Greenplum产品架构师

Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。作为Greenplum的流计算引擎,Greenplum Streaming Server(简称 GPSS) 能将不同源端的增量数据同步到Greenplum中。GPSS采集流数据,通过Greenplum外部表,实现数据入库。GPSS目前支持Kafka消息中间件、avro,binary,csv和json等数据格式,Informatica等ETL工具。

Apache NiFi系统自带JDBC Processors处理器可以连接任何数据库包括Greenplum,JDBC接口是没有优化的接口,采用行记录的方式进行加载,与流式数据加载相比,性能落后很多,并且JDBC中的数据需要通过Master,才能加载到数据节点,所以性能不高。而优化过的Greenplum处理器,利用GPSS流加载服务,并行化加载数据到Greenplum数据库,具有高并发、高吞吐的特点,能够有效减少Master节点压力。欢迎观看演讲视频详细了解Greenplum处理器 for Apache NiFi。

演讲视频
https://www.bilibili.com/vide...

话题3  VMWare Tanzu Greenplum: 从准实时BI到敏捷AI

讲师:韩鹏 Greenplum数据和分析架构师

Greenplum是全球首个基于X86的商用开源高性能MPP数据库。Greenplum的使命是以经济易用方式应对大数据分析变局。Greenplum既可以作为一个海量并行面向对象关系型数据库,也可以作为一个OLTP OLAP混载数据库、一个云原生数据库、一个大规模图分析数据库、一个空间地理数据库、一个时序数据库、一个基于ANSI-SQL的结构化和半结构化数据库、还可以作为一个企业搜索平台、图像识别引擎、或者R和Python的高性能并行计算集群。本演讲详细介绍了Greenplum产品的核心特性、分析系统应用演进趋势、AI/BI一体化、和即时决策性OLTP和OLAP混载能力。

演讲视频
https://www.bilibili.com/vide...

话题4 案例分享——Greenplum的项目实践

讲师:周军军 北京华毅软件有限公司

华毅软件是Greenplum的合作伙伴之一,在Greenplum的建设、开发和运维上拥有众多的项目经验。在本演讲中,来自华谊软件的周军军与大家分享了某商业银行A,某商业银行B和某重工企业的项目案例,相信大家能从本演讲中有所收获。

某商业银行A早在2015年左右,在通过与包括Teradata、Oracle在内的数据库测试比较后,最终选定了Greenplum一体机构建数仓。随着时间的推移,由于机器的老化和版本过早,需要进行Greenplum4.3到Greenplum 5.x版本的升级,并完成现有Greenplum一体机系统迁移至新搭建的X86 Greenplum集群,同时进行灾备建设。某商业银行B主要是需要将数据仓库从Oracle迁移至Greenplum。而某重工企业由于其拥有庞大的数据量,需要转化为知识,为业务经营提供决策意见,需要搭建Greenplum企业数据仓库,统一数据源。通过下面演讲视频观看三个案例项目详情。

演讲视频
https://www.bilibili.com/vide...

话题5 Greenplum数据联邦的演进

讲师:李阳 Greenplum产品经理

数据量的增长,数据类型的增多和需求的复杂化,导致了越来越多的数据服务的出现,数据移动的成本越来越高。大数据的内在特质决定了联邦存在的必要性。数据联邦是指集成多个相同或不同的、独立部署的外部数据服务的能力。Greenplum除了卓越的结构化数据的处理能力,也可以处理非结构化数据。本演讲视频从数据联邦概述、外部表介绍和产品路线图三个大块为大家详细介绍了Greenplum数据联邦的相关内容。

演讲视频
https://www.bilibili.com/vide...

话题6 Greenplum 7的新功能

讲师:张桓 Greenplum高级工程师

Greenplum 6版本基于PostgreSQL 9.4,而预计于2022年初发布的Greenplum 7版本将基于PostgreSQL 12,横跨五个大版本,大大增强了Greenplum的总体能力,吸收了上游的新功能,优化和增强,通过大量的重构和清理工作,为Greenplum的持续稳定创新奠定了基础。本演讲介绍了Greenplum 7版本中为大家带来的多重惊喜,包括Block Range Index、VACCUM Enhancements、Extended Statistics、Upsert、Just-In-Time(JIT) Compilation、兼容PostgreSQL partition tablr、Table Access Method(AM)Interface、Stored Procedures with Transation Management等,欢迎戳链接观看演讲视频。

演讲视频
https://www.bilibili.com/vide...

image

阅读 1.3k

全球首个开源、多云大数据分析平台Greenplum
Greenplum相关新特性介绍、技术剖析等文章

Greenplum 是全球领先的开源、多云大数据分析平台,被广泛运用于大规模商业智能和分析中,具有极高的稳...

138 声望
61 粉丝
0 条评论

Greenplum 是全球领先的开源、多云大数据分析平台,被广泛运用于大规模商业智能和分析中,具有极高的稳...

138 声望
61 粉丝
文章目录
宣传栏