首先,跑虚拟机就要损耗性能,和资源。然后,hadoop平台本身调度再损失一些。最后,才是你的程序能使用的部分。 所以,还不如单机性能好。。。 如果,单机想尽可能使用多核优势,请使用openmp编程。 如果,你只是想体验一下mapreduce编程模型,那么推荐你几个轻量级的库。 bushreduce 100多行的bash脚本实现多节点任务调度,非常经典! filemap File-Based Map-Reduce (python实现的类似的库还支持存储) mapred.io 使用nodejs实现的任务调度,可以将浏览器或者其他的机器当成计算节点进行调度,无需搭建平台,打开一个网页就能添加一个节点!!!
首先,跑虚拟机就要损耗性能,和资源。
然后,hadoop平台本身调度再损失一些。
最后,才是你的程序能使用的部分。
所以,还不如单机性能好。。。
如果,单机想尽可能使用多核优势,请使用openmp编程。
如果,你只是想体验一下mapreduce编程模型,那么推荐你几个轻量级的库。
bushreduce 100多行的bash脚本实现多节点任务调度,非常经典!
filemap File-Based Map-Reduce (python实现的类似的库还支持存储)
mapred.io 使用nodejs实现的任务调度,可以将浏览器或者其他的机器当成计算节点进行调度,无需搭建平台,打开一个网页就能添加一个节点!!!