基于Greenplum构建下一代数据分析平台

2021-07-14
阅读 5 分钟
1.9k
​7月3日,《Greenplum走遍中国》系列技术研讨会走进了大明湖畔的济南。上一篇文章,我们已经为大家整理了活动中的第一个演讲内容《基于fdw的跨Greenplum集群数据库查询实现》。今天,我们帮大家整理了第二篇演讲内容《基于Greenplum构建下一代数据分析平台》供大家学习交流。

基于fdw的跨Greenplum集群数据库查询实现

2021-07-14
阅读 5 分钟
1.4k
《Greenplum走进全国》系列技术研讨会在告别西安后,于7月3日,携原厂、社区和合作伙伴的讲师们走进山东济南。活动中,我们与当地的Greenplumer进行了深入的交流,并带来了四个精彩主题演讲。为了能让更多社区的小伙伴学习相关内容,我们将陆续把主题演讲整理成文章,欢迎关注!

《Greenplum走进西安》技术研讨会:性能、新特性、案例,精彩纷呈

2021-07-14
阅读 3 分钟
977
随着疫情的好转,Greenplum中文社区的线下活动又重启啦!今年,我们将走进各大省会城市,举办《Greenplum走进全国》系列技术研讨会,携原厂专家,Greenplum客户、合作伙伴、及来自社区的讲师团队与各个地区的Greenplumer们面对面,共同探索Greenplum的技术细节,分享用户案例,和使用技巧。

【青梅快讯】不断前行,Greenplum发布最新版本 6.16.2

2021-06-29
阅读 6 分钟
1.3k
Greenplum 6.0自正式版发布以来,Greenplum保持每月一个小版本的迭代速率,持续为用户提供新功能和修复补丁,目前的最新版6.16.2。Greeplum 6.16.2于2021年6月4日发布。相关更新内容请查看下面详情。

【实战经验】Greenplum集群Master與Segment节点故障检测与恢复

2021-06-29
阅读 9 分钟
1.8k
​Greenplum集群主要包括Master节点和Segment节点,Master节点称之为主节点,Segment节点称之为数据节点。Master节点与Segment节点都是可以有备份的,其中Master节点的备节点为Standby Master(不能够自动故障转移),Segment是通过Primary Segment与Mirror Segment进行容错的。通过本文你可以了解:

【青梅快讯】Greenplum关键组件版本更新:GPSS 1.6.0和GPCC 6.5已发布

2021-06-10
阅读 2 分钟
1.2k
Greenplum商业版具有众多扩展组件来帮助用户更便捷的使用Greenplum,其中Greenplum监控管理平台GPCC和数据加载解决方案GPSS均是其中关键组件之一,在过去的一个月中,GPSS和GPCC均进行了版本更新,现在让我们带大家了解一下,新版本的GPSS和GPCC都带来了哪些新功能。

Greenplum数据加密功能前瞻(一):堆表的存储管理

2021-06-02
阅读 3 分钟
1.2k
为了满足客户对于数据安全的严苛要求,Greenplum开发团队正在为Greenplum数据库设计开发数据加密功能,保证磁盘上的数据是加密存储的。在这个系列文章中,我们将对这一功能做一个简要介绍,主要介绍数据加密功能的主要原理和它所能带来的价值。

【经验分享】使用analyze收集统计信息的正确姿势

2021-06-01
阅读 4 分钟
1.5k
统计数据是描述存储在数据库中的数据的元数据,查询规划器需要最新的统计信息来为查询选择最佳的执行计划。通过执行analyze语句收集和更新统计信息。最近遇到gp5.x通过analyze收集统计信息慢、集群性能下降的现象。本文将分享统计信息收集的优化过程以及涉及到相关概念。

Brin Index在Greenplum 7中的理论与实践 之AO表上的Brin

2021-05-14
阅读 4 分钟
1.2k
在上篇文章中,我们介绍了堆表上的Brin Index,包括Brin的优缺点、适用场景、Brin Scan、Brin Vacuum、Brin Storage等内容。本篇文章将为大家概述Brin在AppendOnly Table上的实现,并结合一些性能测试帮助的大家更好的理解Brin Index。

Brin Index在Greenplum 7中的理论与实践 之 堆表上的Brin

2021-05-13
阅读 5 分钟
1.9k
2022年初,Greenplum 7版本将正式GA(具体时间和功能请以最终发布为准)。今年,Greenplum中文社区将和墨天轮社区合作,邀请原厂专家,开展《Greenplum 7 新版本大剧透》系列直播。

一致性哈希及其在Greenplum中的应用

2021-05-06
阅读 5 分钟
1.7k
一致性哈希(consistent hashing)是分布式系统中非常重要的算法,在平滑扩缩容、动态负载均衡等方向有大量应用。相对于传统的线性(取模)哈希算法,一致性哈希可以保证在分布式哈希表中的桶数量发生变化时,受到影响需要重新映射的key尽量少。本文先简要复习下经典的割环一致性哈希方案,然后介绍它的变种——跳跃一致性哈希...

Pgbouncer最佳实践 之 部署篇

2021-04-28
阅读 7 分钟
1k
《Pgbouncer最佳实践》系列已经连载到了第四篇,概念篇介绍了数据库连接池在Pgbouncer中的三种方式。为什么使用连接池,使用与不使用之间的性能差异,以及连接池模式的工作流程、细节及一些注意事项等内容。性能提升篇介绍了Pgbouncer带来的性能提升的相关测试。池模式篇详细介绍事务池、会话池和语句池。

Pgbouncer最佳实践 之 池模式篇

2021-04-28
阅读 3 分钟
1.3k
《Pgbouncer最佳实践》系列已经连载到了第三篇,第一篇 概念篇 介绍了数据库连接池在Pgbouncer中的三种方式。为什么使用连接池,使用与不使用之间的性能差异,以及连接池模式的工作流程、细节及一些注意事项等内容。第二篇 性能提升篇介绍了Pgbouncer带来的性能提升的相关测试。

当谈起Greenplum 7时,我们在谈什么?之内核篇

2021-04-20
阅读 7 分钟
3.4k
在上篇文章中,我们为大家介绍了Greenplum商业版组件的最新近况,下面来具体介绍一下Greenplum 7中内核方面都将带来哪些惊喜。由于7版本中的新特性较多,本文将就一些重点特性进行简单介绍,具体细节可以关注《Greenplum 7新版本大剧透》的后续直播,原厂工程师将为大家详细讲解内核新特性和原理实现。相关PPT可以前往Gr...

当谈起Greenplum 7时,我们在谈什么?之组件篇

2021-04-16
阅读 5 分钟
2.1k
2022年年初,Greenplum 7版本将正式GA(具体时间请以官方信息为准)。今年,Greenplum中文社区将和墨天轮社区合作,邀请原厂专家,开展《Greenplum 7 新版本大剧透》系列直播。

Greenplum HTAP技术 入选国际数据库顶尖会议SIGMOD

2021-04-15
阅读 2 分钟
1.4k
​ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。SIGMOD和另外两大数据库会议VLDB、ICDE构成了数据库领域的三个顶级会议,其论文录取率是很低的,平均录取率大约仅为15%-17%。

Pgbouncer最佳实践 之 性能提升篇

2021-04-13
阅读 4 分钟
1.7k
在《Pgbouncer最佳实践》系列的第一篇 概念篇 中,我们介绍了数据库连接池在Pgbouncer中的三种方式。为什么使用连接池,使用与不使用之间的性能差异,以及连接池模式的工作流程、细节及一些注意事项等内容。

Pgbouncer最佳实践之概念篇

2021-03-23
阅读 3 分钟
3k
PgBouncer可以直接用来管理Greenplum 的数据库连接。Greeplum的数据库安装包里面已包含它,用户可以直接使用。用户名和要连接的数据库组成key, PgBouncer 会为不同的key创建不同的连接池(每个连接池中连接的用户和数据库是相同的),PgBouncer内部中可维护多个连接池。当客户端请求一个新连接的时,若对应的连接池中有空...

【经验分享】PT(persistent table)表异常导致gprecoverseg全量恢复失败的探索

2021-03-16
阅读 3 分钟
1.4k
最近来自中兴通讯的系统架构师、敏捷教练王爱军在工作过程中,遇到gp5.20通过 gprecoverseg -F做全量恢复失败的异常。master和primary的pg_log日志中打印internal error,然后primary crash。本文分享问题的定位过程以及涉及到相关概念,供大家学习参考。

GPText:开始并将持续回馈Apache Solr社区

2021-03-16
阅读 2 分钟
1.7k
​GPText是 Greenplum生态系统的一部分。它无缝集成了Greenplum数据库海量数据并行处理以及Apache Solr企业级文本检索的能力,为用户提供了一套易于使用、功能完备的文本检索、分析方案。GPText现已拥有来自多家顶尖投资银行及政府部门的众多国际用户,并在不断迭代中更新众多新特性,为用户提供更加成熟的功能。

【演讲视频】青梅煮酒,社区资深成员阿福帮你进一步了解Greenplum

2021-03-10
阅读 1 分钟
762
在2021年2月14日情人节,Greenplum中文社区阿福受PG分会邀请,在新年活动中做了关于《Greenplum前世今生》的分享。阿福在本次分享中,为刚接触Greenplum的小伙伴对Greenplum做了一个全面的介绍,作为社区的资深参与者,阿福也希望更多的小伙伴能参与到社区中来,贡献大家的力量。

还是青梅小萌新?这些资料帮你入门Greenplum

2021-03-04
阅读 3 分钟
1.5k
了解更多Greenplum技术干货,欢迎访问Greenplum中文社区网站刚接触Greenplum?还是Greenplum小萌新?不知道从哪里入手?这篇文章可以帮你!为了帮助大家更好的上手Greenplum,Greenplum中文社区为大家准备了包括视频、文章、书籍、文档全方位的学习资料。此外,活跃的社群和问答论坛askGP也为大家提供了交流平台。现在让...

【课程合集】深入浅出Greenplum内核,错过的课程都补回来

2021-03-04
阅读 4 分钟
1.6k
为了让大家对Greenplum的内核有更深入的了解,让大家在开发或者是使用Greenplum过程中更加得心应手,2020年,Greenplum中文社区开展了《深入浅出Greenplum内核》系列直播公开课,邀请Greenplum原厂内核讲师,从开发人员视角,理论配合实例,深入浅出地详尽剖析Greenplum主要核心模块,讲解Greenplum模块背后的设计思路和...

学习分布式事务一致性?这几个重点别忘划

2021-03-02
阅读 6 分钟
853
今天我们将在上篇文章的基础上,补充介绍Greenplum事务一致性的几个重点,它们也是Greenplum可以高可用的重要前提和保证。本文将就分布式事务日志在时间线上的顺序,以及事务的提交和可见在代码层面的细节逐一分析讲解。

Greenplum恢复系统知多少

2021-02-25
阅读 13 分钟
2k
《深入浅出Greenplum内核》系列直播已经顺利完结啦!全部十场的视频内容可以前往Greenplum中文社区B站频道观看相关视频,相关PPT均已上传Greenplum中文社区网站(cn.greenplum.org)的下载页面,欢迎获取!现在让我们来回顾一下完结场活动《揭秘Greenplum恢复(Recovery)系统》的精华内容。

【常见问题汇总】Greenplum最常被问到的14个问题

2021-02-24
阅读 2 分钟
2.5k
为了帮助社区小伙伴更好的使用 Greenplum,我们整理了社群和论坛中经常问到的一些问题供大家学习参考。大家脑海中还有什么常用问题呢?欢迎留言,我们将在后续的文章中进行补充回答!

【实战】Greenplum平台扩展框架PXF与Hadoop的数据交互

2021-01-27
阅读 6 分钟
2.5k
PXF作为Greenplum与hadoop集群数据交互的并行通道框架,在标准功能外,还支持自定义开发与扩展,在Greenplum中通过PXF可以并行加载及并行卸载Hadoop平台数据。

《六节课快速上手Greenplum》课程合集,你错过的精华都在这里

2021-01-21
阅读 3 分钟
1.3k
随着Greenplum社区的壮大和功能的增强,Greenplum吸引了很多新的用户的加入。为了让大家能够更好的学习和使用Greenplum,和腾讯云云加社区合作,我们筹划了《六节课快速上手Greenplum》的系列直播。六节课从Greenplum介绍、安装与部署开始,手把手带你进入Greenplum的世界。

理论+实例,带你入门Greenplum机器学习框架MADlib

2021-01-08
阅读 8 分钟
2.1k
本文介绍Greenplum和MADlib在机器学习方面的基本概念、架构和原理。并结合MNIST数据集完成对0-9阿拉伯数字的图形识别的应用实例。旨在为数据库开发者和DBA提供简单机器学习的了解和入门的方式。

【青梅快讯】惊喜不断,Greenplum 最新版本 6.13.0已发布

2021-01-07
阅读 6 分钟
1.7k
Greenplum 6.0自正式版发布以来,Greenplum保持每月一个小版本的迭代速率,持续为用户提供新功能和修复补丁,目前的最新版6.13.0。每个季度定期推送的青梅资讯系列中,小编将带你回顾Greenplum的新版本中的新特性和修复补丁信息。现在让我们来了解一下6.11到6.13版本中,Greenplum又带来了哪些惊喜。