单机上跑多个虚拟机搭建hadoop集群可以提高计算能力吗?

单机上跑多个虚拟机搭建hadoop集群可以提高计算能力吗?

阅读 5.3k
3 个回答

首先,跑虚拟机就要损耗性能,和资源。
然后,hadoop平台本身调度再损失一些。
最后,才是你的程序能使用的部分。

所以,还不如单机性能好。。。

如果,单机想尽可能使用多核优势,请使用openmp编程。

如果,你只是想体验一下mapreduce编程模型,那么推荐你几个轻量级的库。

  1. bushreduce 100多行的bash脚本实现多节点任务调度,非常经典!

  2. filemap File-Based Map-Reduce (python实现的类似的库还支持存储)

  3. mapred.io 使用nodejs实现的任务调度,可以将浏览器或者其他的机器当成计算节点进行调度,无需搭建平台,打开一个网页就能添加一个节点!!!

一顿午饭, 一手一勺, 能吃的更饱吗?

并不会啊!!

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进