Yarn的出现到底给MapReduce、Spark等带来了什么?

好多MapReduce On Yarn , Spark On Yarn
可是没有yarn, MapReduce Spark 不是一样跑

阅读 3.4k
1 个回答
新手上路,请多包涵

这是为了统一资源管理,假如我集群同时装了spark与hadoop,spark是不知道mapreduce任务占了多少内核,多少内存的,分配任务的时候,以为这个节点是空闲的,其实已经被mapreduce占满了,就会导致spark任务运行失败,同时资源不统一管理也会涉及到相互锁住资源的问题.

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题