大数据下大批量随机键值的查询

2020-03-03
阅读 3 分钟
1.2k
【摘要】键值查询是很常见的查询场景,在数据表上建有索引后,即使表中数据记录数巨大(几亿甚至几十亿行),用键值查询出单条记录也会很快,因为建立索引后的复杂度只有 logN 次,10 亿行数据也只要比较 30 次(10 亿约等于 2^30),在现代计算机上也只需要数十毫秒而已。不过,如果需要查询的键值很多,比如多达几千甚...

银行可视化大屏后端计算案例

2019-11-13
阅读 1 分钟
2.5k
【摘要】随着信息化建设的快速发展,可视化大屏需求越来越普及,然而大屏的背后意味着多样性数据源,传统的解决办法总是需要如下一些工作:ETL 工具先抽取清洗 DW 中的数据;文本文件需导入数据库中赋予计算能力后才能计算;开发对接第三方 API 数据接口,需写很多代码才能构造统一对外服务平台接口;这样的模式终将让开...

银行业大数据量清单报表案例

2019-10-21
阅读 1 分钟
977
【摘要】银行数据查询业务中,经常会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛,因此会从数据库中查出几百上千万甚至过亿行的记录,比如银行流水记录;为了避免内存溢出,一般都会使用关系型数据库的分页机制来做,但结果往往也不尽人意;有些情况下甚至底层采用了非关系型数据库,这更会加剧了问题...

海量账户大并发实时查询解决方案

2019-04-28
阅读 1 分钟
1.5k
【摘要】 手机银行查流水、网上银行查收入、游戏账号查明细、手机营业厅查充值记录等等都属于海量账户查询场景。此场景的特点是:访问人数特别多,全量数据超大,而且不能让用户等待!点击海量账户大并发实时查询解决方案,去乾学院看看在大并发海量账户查询场景中,如何用集算器实现秒级的查询速度!

银行业多用户大数据量自助分析提速方案

2019-03-20
阅读 1 分钟
1.2k
【摘要】银行自助分析系统用户多,数据量大,系统速度还要求飞快。与此同时,后台数据仓库却已经负担了太多的应用,无法为大量连接提供高性能查询。点击银行业多用户大数据量自助分析提速方案,去乾学院看看集算器如何解决这个矛盾,为自助分析提速! 本文是真实案例,预计阅读时间 3 分钟。

批量随机键值查询测试

2019-01-23
阅读 5 分钟
1.4k
【摘要】当数据量巨大时,使用大批量随机键值集获取对应记录集合,不仅仅考验数据库软件本身,更在于程序员对数据的理解!如何在硬件资源有限的情况下将性能发挥到极致?点击:批量随机键值查询测试,来乾学院一探究竟!本次测试主要针对集算器组表索引实现的批量键值取数性能,并与 Oracle 进行同规模运算对比。

10 行代码解决漏斗转换计算之性能优化

2018-12-29
阅读 8 分钟
2.4k
【摘要】庖丁解牛,给人的深刻印象是技艺酷炫!然而酷炫并非是庖丁的原意追求。本质上是对一个复杂的结构进行大量练习后,把细节融入了自己的身体,成为一种本能;流畅自然的动作给观赏者造成酷炫的感受,是一个副产品。数据处理的描述计算、性能优化也是类似的事情。成为数据界的庖丁同样需要两个必要条件:1、大量待解...

10 行代码,集算器实现写诗机器人

2018-10-30
阅读 1 分钟
1.8k
集算器不仅有大数据计算,还有诗和远方。最近看到不少写诗机器人的新闻,于是尝试用集算器简单地实现一个。这个实现真的很简单,简单到只有10几行代码,请看实现步骤:

百万级分组大报表开发与呈现

2018-10-30
阅读 4 分钟
2.7k
在《秒级展现的百万级大清单报表怎么做》中,我们介绍了无论 RDB 还是非 RDB,润乾报表都能够通过异步线程实现秒级海量大清单报表(以下简称:大报表)。实际业务中,除了查询明细,有时还要展现全量汇总数据,或者查询分组明细和计算分组汇总。本文就将介绍这些带有汇总和分组的大报表的开发方法。

超大数据下大批量随机键值的查询优化方案

2018-10-18
阅读 12 分钟
2.3k
键值查询是很常见的查询场景,在数据表上建有索引后,即使表中数据记录数巨大(几亿甚至几十亿行),用键值查询出单条记录也会很快,因为建立索引后的复杂度只有 logN(以 2 为底)次, 10 亿行数据也只要比较 30 次(10 亿约等于 2^30),在现代计算机上也只需要数十毫秒而已。

数据分析用它就够了 | 37 个场景你要用集算器

2018-10-18
阅读 4 分钟
2.6k
将冷热数据分离,仅将当期热数据存放在数据库中,冷数据存储在文件系统或数据库中,通过集算器完成跨源(库)计算,完成多源数据汇总、复杂计算,实现 T+0 全量数据实时查询