协助 mongodb 计算之数位比较

【摘要】

      编写数位比较这类集合式运算，用 Mongodb 脚本或 Java 等高级语言来实现都比较麻烦，但可以利用集算器 SPL 语言来进行辅助实现。若想了解更多，请前往乾学院：协助 mongodb 计算之数位比较!

Mongodb脚本解决复杂问题的计算能力有限，直接使用时较为吃力。很多情况下需要将数据读出后在主程序中进一步完成运算，而在Java等高级语言中编写这类集合式运算也比较麻烦。这时可以用集算器SPL语言来辅助实现，下面用例子说明。

Mongodb中有一个test集合如下：

> db.test.find({},{"_id":0})
{"value" : NumberLong(112937552) }
{"value" : NumberLong(715634640) }
{"value" : NumberLong(487229712) }
{"value" : NumberLong(79198330) }
{"value" : NumberLong(440998943) }
{"value" : NumberLong(93148782) }
{"value" : NumberLong(553008873) }
{"value" : NumberLong(336369168) }
{"value" : NumberLong(369669461) }

…

       具体的需求：test集合包含多个value，每个value是一个数字串。每个数字串都要和另外所有的数字串比较，找出每个数字串的最大相同数和最大不同数。如果第1行和第n行都含有数字1，就算相同数有1个，否则第1行有1但第n行没有，就算不同数有1个。

       使用集算器 SPL 的代码如下：

         A1：连接mongodb，ip和端口号是localhost:27017，数据库是test，用户名和密码都是test。

         A2：使用find函数从mongodb中取数，形成游标。集合是test，过滤条件是空，键_id不取出。SPL的游标支持分批读取和处理数据，可以避免数据量过大，以防内存溢出。因为数据量不大，所以这里可以直接 fetch 出游标的所有记录。

         A3: 在A2的基础上增加两列same、diff，用来存放最大相同数和最大不同数。同时把value转成字符串。

         A4：针对A3集合循环，循环体是B4到D10。

         B4：取当前循环的value。

         C4：利用函数将value分拆成单个字符组成的序列，去掉重复的值。

         B5：对A3再进行一次内层循环。循环体是C6到D10。

         C5：如果内层循环的循环位置和外层当前位置的相等，即为同一个value时，就跳过本次内层循环，继续进行下一次内层循环。

         C6：取得内层循环的value。

         C7：定义两个变量same和diff，分别存放本次比较的相同数和不同数，初始值为0。

         C8： 利用循环函数，在内层循环的value中逐个查找外层循环的value分拆的序列数值。如果能找到，则same自加1，否则diff自加1。

         C9、C10：将same和diff和A4中的same和diff比较，将较大的重新赋值给A4中的same和diff。

运行结果如下：

        

简言之，SPL 先得到数据记录后，把每行数字串拆分成单个无重复字符组成的序列，通过内外层循环比较，找出每行数字串的最大相同数和最大不同数。SPL语言在编写这类集合式运算方面，具有得天独厚的优势。

       需要说明的是：集算器SPL并不包含mongodb的java驱动包。如果要用SPL访问mongodb，必须提前将mongodb的java驱动包（例如：mongo-java-driver-3.9.1.jar）放到集算器设置的外部库目录extLib\MongoCli下。

       除了在集算器中直接计算，上述使用SPL语言协助mongodb计算的脚本也很容易集成到java中，只要增加一行，写成return A3即可向java输出resultset形式的结果，具体的代码参考SPL教程。同样，用java调用SPL访问mongodb也必须将mongdb的java驱动包放到java程序的classpath中。