集算器技术方案

更新于 20190927

降费提速
A. 高性能在线计算
B. 高性能离线跑批
C. 高性能多维分析
省时提效
D. 报表数据源
E. Java 计算
F. 数据整理
G. 中台应用
H.数据微服务
I.边缘计算
舍我其谁
J. 跨库计算
K. 多样数据源
L. 算法外置
M. 临时计算

[](http://c.raqsoft.com.cn/forwa...高性能在线计算

【方案说明】海量数据下的高并发查询、多维分析、自助分析等在线应用，需要及时响应才能到达极速体验。传统经验是扩充数据库节点，摆放前置数据库或 ES 服务，采用这些方法将会承担昂贵的软硬件成本，承担前置数据库因数据不全无法胜任全量查询或 ES 无法关联查询的风险。集算器将数据冷热分离、按列压缩存储热数据，可编程路由结合 SPL 高效算法，只需少量硬件，就能实现各种关联和复杂条件的快速查询。

【技术案例】
1. 海量账户大并发实时查询解决方案
2. 产权交易所统一数据集市案例
3. 银行业自助分析前置服务器方案
4. 实时报表 T+0 的实现方案
5. SAP 系统大数据量资产负债表的性能优化案例
6. 生产制造业库龄计算案例New!

【代码示例】
1. 用计算路由的方法优化 BI 后台性能
2. 超大数据下大批量随机键值的查询优化方案
3. SPL 组表进一步优化 JOIN 性能
4. 批量随机键值查询测试
5. 漏斗转换计算
6. 性能优化技巧：查找
7. 性能优化技巧：组表数据更新
8. 性能优化技巧：内存关联计算
9. 性能优化技巧：位置利用

[](http://c.raqsoft.com.cn/forwa...高性能离线跑批

【方案说明】纯粹为了使用 SQL 和存储过程，将大量数据导入数据库跑批，往往速度太慢、耗时过长。为了给数据更新留有空间，数据库中数据存储的不够紧密，制约了数据库的读写效率，而离线跑批的数据都是不需要更新的，加上 SQL 很难控制执行路径和实现高效算法，存储过程在核心引擎之外，性能较差，用数据库跑批总不理想。数据存储成压缩文件可以更紧实，不仅遍历效率更高，而且能灵活分布、并行计算也更加方便，采用集算器 SPL 又可以根据数据特征实现高效算法，集算器在历次跑批性能对比中总能大幅胜出。

【技术案例】
1. 保险行业历史保单关联业务跑批性能优化

【代码示例】
1. 车险往年保单关联计算的性能优化
2. 从 TPCH 测试看 SPL 性能优化
3. 性能优化技巧：遍历
4. 性能优化技巧：集群维表
5. 性能优化技巧：程序游标

[](http://c.raqsoft.com.cn/forwa...高性能多维分析

【方案说明】用 CUBE 预汇总的方式做 OLAP 查询，降低了复杂度，保障了及时性，但当数据庞大、维度众多，存储空间也需非常巨大，大量无法通过预汇总的查询，只能放弃。用数据库支持 OLAP 查询，因库内数据间隙大，读取慢；Join 每次都要现算，浪费大量资源，屏蔽 Join 放入宽表，又失去了灵活性；集算器会根据数据的特征，采取列式压缩明细数据、一次性预关联维度数据、部分预汇总数据等手段，平衡空间与时间的矛盾，不仅大幅提高了性能，还能在 SPL 支持下实现更多的复杂计算。

【技术案例】
1.银行业自助分析前置服务器方案

【代码示例】
1. 轻量级可嵌入多维分析后台
2. 性能优化技巧：多层排号键