java 多线程访问mongodb速度和单线程差不多

Question

我现在基于probalistic latent semantic indexing(plsa)做图像检索，我的方法和这篇论文很像，需要计算一个条件概率p(z|w,v,d),我直接定义成了“double pzdwtwv[][][][];”简单地说，z是主题，w是英文单词，v是视觉单词，d是文档，大小分别为12100500*7000，就是12个主题，100个英文单词，500个视觉单词，7000个文档，double型的话算下来大概32G，其中z和d的数目是确定的，每个d的w和v的数目是不确定的。

因为数组不能全部放进内存，所以把它放进数据库中，我的数据库是这样设计的，把四维数组拆成二维数组，每次读或写一个二维数组。

我使用了40个线程跑算法，数据库中在collection中每个键对应的值是一个二维数组，每次计算完这个二维数组后就写入数据库，我的方法是这样的：

public synchronized void update(int d, int t, double[][][] topic_pro )
    {
        if(ifTrainset)
            mongo.update(true, (d+1)*100 + t, topic_pro[t]);
        else
            mongo.update(false, (d+1)*100 + t, topic_pro[t]);
    }

pzdwtwv和pzdwtwv_test是不同的collection。

mongo.update方法是这样的:

public void update(boolean ifTrainset, int key, double[][] new_value)
    {
        BasicDBObject query = new BasicDBObject().append("key", key);

        BasicDBObject updated_element = new BasicDBObject();
        updated_element.append("$set", new BasicDBObject().append("value", new_value));

        if (ifTrainset)
        {
            p_z_d_wt_wv.update(query, updated_element, true, false);
        }else{
            p_z_d_wt_wv_test.update(query, updated_element, true, false);
        }
    }

另外，运行程序的时候，cpu利用率很低，大概7%~8%左右，但是内存几乎达到100%。 请问这个怎么解决

Answer 1

对于题主的问题，简单分析一下：

1. synchronized是不必要的，mongodb本身是线程安全的，而你的update方法只是一个简单的切换；
2. 从你的问题描述上看，应该是计算密集型的任务，对与计算密集型的任务，一般ThreadNums=CpuNums+1，过多的线程数导致上下文频繁的切换，反而会影响效率；
3. 没有给出mongodb的版本信息，在2.2版本之前，mongodb的lock粒度是server级别，在2.2级别之后，lock粒度是db级别，对于粗粒度的锁，除非你的数据库进行了sharing，否则尽管两个collection是不同的，单次每次写(更新)操作时，仍然会等待锁，这也是与单线程性能差不多的主要原因；
4. benchmark测试，尽量需要减少硬件、软件等外部因素的影响。对于你的问题描述，无法看出这些，只有一个简单的多线程与单线程的区别，这在JVM层面的影响因素就有很多了，所以无法简单的给出性能的优劣评价。

Answer 2

本来就应该差不多。

首先要搞明白的一点是，你的瓶颈在哪里？

其次，CPU 密集型任务跑那么多线程竟然没有慢很多？你有多少个 CPU 核？这种事情一般是一个核一个线程，多了反而因为上下文切换浪费 CPU 时间。

另外，你确定你需要 synchronized？