完整资料下载： 查询慢、跑批慢、性能低怎么办？| 润乾高性能计算专家

【摘要】         使用 SQL 查询语言，你只能查询位于数据库里面的数据，但是当你面对的数据是一些 Excel 表格或者 Txt 文本格式时，有什么办法能直接对着文件进行 Select 查询呢？去乾学院看个究竟：Java 中如何使用 SQL 查询文本! Ø 引言

大型企业的绩效考核系统一直是一个难于稳定的系统，总是面临着没完没了的需求变化。就其原因主要是软件架构僵化，业务逻辑与数据耦合度过高，造成需求的任何一点修改，都要对整个应用进行伤筋动骨的改动。而一个高度可集成的专业数据计算引擎，可以从根本上解决这一问题。

【摘要】MongoDB提供的 lookup 对多表关联实现了基本的支持，但面对一些比较复杂的关联情况，往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言，则因其离散性、易用性恰好能弥补 Mongo 这方面的不足。若想了解更多，请前往乾学院：简化 MongoDB 关联运算!MongoDB属于 NoSql 中的基于分布式文件存储的文档型数据...

【摘要】        SQL 虽然是针对记录的集合进行运算, 但在记录的多次利用以及有序运算却经常要重复计算，效率不佳。而集算器 SPL 则要直观许多，可以按自然思维习惯写出运算。这里对 SQL 和集算器 SPL 在记录的利用及有序运算方面进行了对比，如果需要了解更多，请前往乾学院：SQL 难点解决：记录的引用!

大多数JAVA程序猿都选择使用POI或者HSSFWorkbook等第三方类库来实现Excel自动化合并，这样一来不仅需要噼里啪啦的敲好多代码，费事费力，而且用起来灵活度也不高，对Excel的格式要求也很严格。如果能有一个专用的外部数据工具，写简单类似SQL的脚本来实现，然后在JAVA中直接调用并返回结果集，就再好不过了。润乾集算器...

要在 Java 代码中实现类似 SQL 中的 GroupBy 分组聚合运算，是比较繁琐的，通常先要声明数据结构（Java 实体类），然后用 Java 集合进行循环遍历，最后根据分组条件添加到某个子集合中。Java 8 有了 Lambda（stream）代码简洁了许多，分组后往往还要跟着聚合操作，仍然需要单写聚合函数 sum(),count(*),topN()等。这些还...

【摘要】        SQL 提供的静态转置功能 pivot 和 unpivot 适用范围很受限，要用 SQL 实现一些比较复杂的转置功能常常会遇到语句过于复杂的问题，而且也缺少一个标准的解决思路。而集算器的 SPL 语言，则因其语法的灵活和函数库的丰富，恰好可以弥补 SQL 这方面的不足。若想了解更多，请前往乾学院一探究竟：谈谈转置功...

【摘要】存在问题：跨库的数据汇总运算开发复杂、效率低。产生的原因：单库的大表数据量巨大，条件限制又不能做分布式数据库，而大多数应用程序都严重依赖数据库的计算能力，但是跨库时数据库的计算能力常常不给力！解决方案：建议采用专业计算引擎，不依赖于数据库的计算能力。降低跨库数据运算的开发复杂度、提升开发...

【摘要】当数据量巨大时，使用大批量随机键值集获取对应记录集合，不仅仅考验数据库软件本身，更在于程序员对数据的理解！如何在硬件资源有限的情况下将性能发挥到极致？点击：批量随机键值查询测试，来乾学院一探究竟！本次测试主要针对集算器组表索引实现的批量键值取数性能，并与 Oracle 进行同规模运算对比。

【摘要】SQL 虽然有集合概念，但对于集合运算、特别是有序集合运算，提供的支持却很有限，经常要采用很费解的思路才能完成，计算效率也不佳。而集算器 SPL 在方面则要直观许多，可以按自然思维习惯写出运算。这里对 SQL 和集算器 SPL 在集合运算和行号相关运算方面进行了对比，如果需要了解更多，请前往乾学院：SQL 难点...

【摘要】1）、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。是数据库安全技术之一。”2）、本...

【摘要】许多程序员都头疼测试数据的模拟，一个是要逼真，另一个需要数据量，不逼真往往导致一些 bug 测不出来，数据量不够则无法发现性能问题，这篇文章给出了很好的解决办法。1）、应用系统或软件产品一般都需要进行不同阶段的验证工作，包括原型功能论证、功能测试、性能测试等，这些测试、论证场景都可能涉及到测试...

【摘要】存在问题：BI 系统后台计算由中央分布式数据仓库（MPP）实现，性能不佳，导致交互式多维分析响应迟钝。产生的原因：中央数据仓库上挂数十个应用，计算负担太重！解决方案：数据前置计算 / 缓冲层，由应用程序直接计算，不再请求中央数据仓库。使用常规数据库实现前置计算的“烦恼”： 全量数据前置？高频数据前置...

【摘要】基于数据库系统的 T+0 全量实时查询，在数据量很大时一般只能进行数据库扩容（包括分库手段），成本高昂；如果采用文件系统和生产数据库混合运算，就可以实现低成本高性能的 T+0 查询，而热导出机制则是这个方案的基础！让我们一起去乾学院看个究竟吧：实时报表 T+0 的实现方案！

【摘要】保险行业计算车险往年保单，需要按照车辆 vin 码、车架号、牌照种类和牌照号等多字段关联，涉及到几千万甚至上亿的大表，用存储过程计算非常耗时。点击车险往年保单关联计算的性能优化，去乾学院看看集算器如何把几个小时的计算缩短到十几分钟!

【摘要】　　把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。而一般情况下，结构化的工作量会比较大，而且很难通用，每次都要针对文件格式进行分析后再进行开发。　　集算器的 SPL 语言是一款高效、灵活的工具，...

MongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似 json 的 bson 格式，因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单...

1、   对位分组 示例 1：按顺序分别列出使用 Chinese、English、French 作为官方语言的国家数量 MySQL8: with t(name,ord) as (select 'Chinese',1 union all select 'English',2 union all select 'French',3) select t.name, count(countrycode) cnt from t left join world.countrylanguage s on t.name=s.language w...

不过随着机器学习技术的普及，使用10几行代码，实现一个能够识别手写数字的程序，并不是一件难事。这是因为有太多的机器学习模型可以拿来直接用，比如tensorflow、caffe，在python下都有现成的安装包，写一个识别数字的程序，10几行代码足够了。

1、 生成连续整数序列 MySQL8: with recursive t(n) as ( select 1 union all select n+1 from t where n<7 ) select * from t; Oracle：select level n from dual connect by level<=7; 集算器 SPL： A1：构造从 1 到 7 的整数序列 示例 1：百鸡问题，鸡翁一值钱五，鸡母一值钱三，鸡雏三值钱一。百钱买百鸡，问...

【摘要】庖丁解牛，给人的深刻印象是技艺酷炫！然而酷炫并非是庖丁的原意追求。本质上是对一个复杂的结构进行大量练习后，把细节融入了自己的身体，成为一种本能；流畅自然的动作给观赏者造成酷炫的感受，是一个副产品。数据处理的描述计算、性能优化也是类似的事情。成为数据界的庖丁同样需要两个必要条件：1、大量待解...

WordCount 差不多是最常用的分布式系统练习程序了，Hadoop 就经常用这个当例子。我们来看用集算器怎么做 wordcount。 先从单线程开始。 例如，D:\files\novel 目录中，有一些小说文档，现在，需要统计这些小说中哪些单词最为常用： 在集算器中，如果不嫌写得长，只要一句代码就可以搞定了： A 1 =directory@p(“D:/files/...

有关国际象棋的问题很多，八皇后问题就是其中相当著名的一个。在 8×8 的国际象棋棋盘中，放入 8 个皇后，使它们不互相攻击，共有多少种方法呢？

绝大多数的应用系统中，一开始数据的存储和计算基本都是由数据库来完成的，同时服务于业务交易和报表查询；不过在经过几年信息化建设和数据积累后，常常都会遇到数据库压力变大，从而导致性能瓶颈的问题。

在日常工作中我们经常遇到具有相同表头的 Excel 文件，需要将它们合并到同一个工作表中再进行分析。当文件比较多时，手工合并表格通常是件很麻烦的事情，而如果数据量很大，用 Excel 自带的 VBA 来处理也会经常卡死。今天我就来分享一个专业的外部数据工具——集算器，掌握了集算器处理 Excel 多表合并的方法，就不用再编...

HANA、TimesTen等内存数据库可实现内存计算，但这类产品价格昂贵结构复杂实施困难，总体拥有成本较高。本文介绍的集算器同样可实现内存计算，而且结构简单实施方便，是一种轻量级内存计算引擎。

中间表是数据库中专门存放中间计算结果的数据表。报表系统中的中间表是普遍存在的。那么，这些中间表是如何出现的？为什么中间表会越来越多？中间表会给项目组带来什么样的困扰，如何解决这些困扰？这里我们就尝试探讨一下这个问题。

窗口函数是 SQL2003 标准才开始有的一系列 SQL 函数，用于应付一些复杂运算是比较方便。但是普遍使用的 MySQL 数据库对窗口函数支持得却很不好，直到最近的版本才开始有部分支持，这当然就让 MySQL 程序员很郁闷了。

【摘要】Echarts，江湖人称一个纯 Javascript 的图表库，图形种类星罗棋布且个个颜值爆表，可以轻松驾驭 PC 和移动设备，与绝大部分浏览器都可称兄道弟，而且已然众多拥趸，还有不少报表对它采取了嫁接技术。这么棒的图标库如何能在报表工具里导出和打印呢？Echarts 图形是由 Javascript 亲自在前端网页上绘制的，需要从...