spark standalone 模式下 怎么配置hadoop

Question

spark standalone 模式已经跑起来了一个集群，一台master 两台slave

这个时候怎么配置hadoop，看了一下官网都是hadoop－yarn模式配置，求指教，是说hadoop也要配置为standalone模式么？

Answer 1

如果你这里的hadoop指的是hdfs，zookeeper等基础的话，直接配就行了，装好hdfs，zookeeper即可，不明白你说的配置hadoop具体指的是什么

Answer 2

Hadoop2.x其实就是yarn，资源管理平台了。spark on yarn是将spark运行在yarn上，资源分配回收由yarn自动管理。我想你所说的用Hadoop指的只是用hdfs，Hadoop和spark各自集群搭好，可以用zk进行ha。spark直接操作hdfs就可以了。