复杂计算之多层递归案例

2020-03-03
阅读 2 分钟
1.2k
【摘要】石油化工行业,经常要构造特殊中间表,以物料、时间、指标名等为参数,查询出对应层级的指标值!由于前端报表模块已经定型,用户不希望再改变,所以只能按照数据库的思路造出这种中间数据集以适用于报表;但事先不能确定维度及其层次的深度,导致 SQL 很难写 (往往用上百行代码才实现一种类型的算法)。总结一下...

SPL 实现自动建模和预测

2020-02-07
阅读 2 分钟
859
SPL 实现自动建模和预测.pdf

敏捷数据计算引擎

2020-01-09
阅读 2 分钟
955
集算器作为敏捷数据计算引擎,可以在报表数据源、JAVA 计算层、离线自由计算 3 个方面提供高效的计算输出,帮助用户解决由于开发效率低,描述业务难等这些问题:1、为报表准备数据的 SQL 长达数 K,写起来难,维护更难2、数据量大,报表呈现太慢,搞不好还溢出,用户抱怨3、Java 计算太繁琐,随便写个过滤分组都要数百行...

集算器协助报表实战大全

2019-12-24
阅读 2 分钟
1.3k
更新于 20191216 提效开发 如何处理报表中的舍位平衡 单向舍位平衡、双向舍位平衡 简易且通用的行列转置 行转列、列转行、双向转置、动态列转置、转置 & 列间计算 最简代码实现分库汇总 分库汇总代码示例:多数据源连接、并行执行、有序合并、二次汇总 跨库表运算经验汇总 跨库的合并运算、聚合运算、分组运算、关联...

银行业离线报表订阅系统案例

2019-10-21
阅读 1 分钟
1.2k
【摘要】随着数据量的持续增长,并发访问越来越密集;以及业务种类的不断丰富,报表需求还在不断增加,数据库需要不断扩容来应对这些变化。然而,仅仅对数据库本身扩容难免陷入高成本低成效的窘境,企业应当使用库外计算来减轻数据库的扩容压力和吞吐瓶颈!银行业离线报表订阅系统案例

在 Birt 中实现交叉表的动态分组

2019-10-08
阅读 2 分钟
875
在业务填报中,有时会需要基于时间段进行动态交叉分组统计,根据时间段长短实现按天、按周、按月、按年动态分组。例如:某企业根据业务需要,需按照2个参数(开始日期、结束日期)实现一段时间内订单的统计。统计规则如下:

木槿生活数据平台案例

2019-10-08
阅读 2 分钟
772
零售行业门店多、客户多、库存多,经常面临的问题:1、各个业务系统之间彼此不相关联,造成信息孤岛,很难从数据中发现隐藏的问题或商机。2、日积月累,报表查询越来越慢,甚至影响业务,如市场营销、数据整理再汇报。3、维护报表数量多,随着零售行业业务种类的不断丰富,报表数量还在不断增加。如何低成本得应对以上窘...

Birt 如何实现不规则月份统计

2019-07-05
阅读 2 分钟
542
业务报表中,常常需要基于时间段进行分组统计,特别是按月份分组统计。一般情况如果按自然月就简单了,但有时候也会需要按不规则月份来分组。例如,某企业从 1 月 16 日开始实行某种特殊的价格策略或营销活动,因此以后都想以每月 16 号为界来统计产品销售情况。这里所谓不规则月份就是指: 如果起始时间是 2013-01-16,...

复杂 Excel 表格导入导出的最简方法

2019-03-11
阅读 8 分钟
1.8k
把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情,但许多 Excel 文件的格式并不规整,需要事先将其中的数据结构化后再用 SQL 语句写入数据库。JAVA程序猿经常选择使用POI或者HSSFWorkbook等第三方类库来实现,通常都要硬编码,如果碰到格式复杂的表格,解析工作量还会成倍增加,Java没有表格对象,总要利用...

报表性能优化

2019-02-20
阅读 2 分钟
1.6k
【摘要】报表性能对用户的影响十分恶劣,所有用户查报表时都希望立等可取,超过 5 秒钟用户就会很不满意,更别提要求毫秒级响应的情况了。引起报表性能的原因有很多(数据量大、计算复杂、报表格式混乱),绝大部分是因为计算引起的,如果能将展现的数据能快速准备好,呈现的速度是飞快的!因此,解决报表性能问题的关键...

10 行代码提取复杂 Excel 数据

2019-01-14
阅读 4 分钟
3.5k
【摘要】  把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情,但许多 Excel 文件的格式并不规整,需要事先将其中的数据结构化后再用 SQL 语句写入数据库。而一般情况下,结构化的工作量会比较大,而且很难通用,每次都要针对文件格式进行分析后再进行开发。  集算器的 SPL 语言是一款高效、灵活的工具,...

基于文件系统实现可追加的数据集市

2018-12-13
阅读 9 分钟
1.3k
绝大多数的应用系统中,一开始数据的存储和计算基本都是由数据库来完成的,同时服务于业务交易和报表查询;不过在经过几年信息化建设和数据积累后,常常都会遇到数据库压力变大,从而导致性能瓶颈的问题。

如何处理报表中的舍位平衡

2018-11-07
阅读 9 分钟
1.4k
在报表的数据统计中,常常会根据精度呈现或者单位换算等要求,需要对数据执行四舍五入的操作,这种操作称为舍位处理。简单直接的舍位处理有可能会带来隐患,原本平衡的数据关系可能会被打破。

百万级分组大报表开发与呈现

2018-10-30
阅读 4 分钟
2.3k
在《秒级展现的百万级大清单报表怎么做》中,我们介绍了无论 RDB 还是非 RDB,润乾报表都能够通过异步线程实现秒级海量大清单报表(以下简称:大报表)。实际业务中,除了查询明细,有时还要展现全量汇总数据,或者查询分组明细和计算分组汇总。本文就将介绍这些带有汇总和分组的大报表的开发方法。

多层科目任意组合汇总报表的性能优化 (下)

2018-10-30
阅读 7 分钟
1.5k
在充分利用遍历一次的特点进行优化后,可能我们还会觉得计算性能有点慢,希望有进一步优化的空间。由于每次只需要取出总数据量的很小一部分 (100 个指标涉及的所有科目号大概几百个,即在几百万记录中取几百条),这时我们通常能想到的是:如果能利用数据有序直接进行有序查找(若源数据有序,可以快速定位到这几百条记录...

多层科目任意组合汇总报表的性能优化 (上)

2018-10-30
阅读 7 分钟
1.7k
这是一个典型的中国式复杂报表格式,其复杂并不在于布局,而在于其中“期末余额”的每个单元格都是一个需要独立计算的指标,互相之间几乎没有关系,事实上就是一个各种指标的汇总清单,而这些指标往往会有上百个之多。

数据分析用它就够了 | 37 个场景你要用集算器

2018-10-18
阅读 4 分钟
2.3k
将冷热数据分离,仅将当期热数据存放在数据库中,冷数据存储在文件系统或数据库中,通过集算器完成跨源(库)计算,完成多源数据汇总、复杂计算,实现 T+0 全量数据实时查询

秒级展现的百万级大清单报表怎么做

2018-10-11
阅读 5 分钟
2.5k
数据查询业务中,有时会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛,因此会从数据库中查出几百上千万甚至过亿行的记录,常见的包括银行流水记录,物流明细等。呈现时如果等着把这些记录全部检索出来再生成报表,那会需要很长时间,用户体验自然会非常恶劣。而且,报表一般采用内存运算机制,大多数情...