mapreduce,spark,storm这些并行计算框架只是把大量任务分配到不同机器上吧,并不能达到整合大批机器的资源的目的?

也就是说单个机器上最细粒度程序的运算时间并不能通过这些框架提高,是不是?比如
一个计算任务是10000个程序a,程序a在单台机器上运行了10min,那么换做在这些并行计算框架上跑,程序a自己的运算时间不会降低吧?

阅读 3.7k
2 个回答

你的理解没错。

并行计算的意义在于:
我们可以等1000个机子跑100分钟
没法等1台自己跑100000分钟(近70天)

而阿里云按需使用 高配4核
可以按小时计费 1元每台机子
也就是说 并行计算 2000元 2个小时

或者你等3个月

除了计算性能以外,IO性能也是很要命的。分布式计算就是把IO负载分散了,同一份数据,分散存储,本地计算,结果汇总。这就是MapReduce的思想。

再强壮的人,要他搬一万块砖他也怂,特别是某些时候,还必须要一口气搬起来。但是如果你让1k个小个子同时每人搬起10块,只要指挥好就行了。而且往往请一个猛男很贵很贵,但是请小个子就便宜多了,不行随时还可以换。从企业的角度,更有诱惑力。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进