SF
spark总结
spark总结
注册登录
关注博客
注册登录
主页
关于
RSS
spark集群部署-硬件配置官方建议
凯伦wei
2017-02-01
阅读 1 分钟
4.3k
1、存储系统 因为spark job需要从外部的存储系统(或文件系统)读取数据(例如:hbase、hdfs等),所有让spark任务尽可能的接近数据本地,让spark和hadoop部署到相同的节点上;数据本地性:将计算任务推送到数据所在地,如果不能保证,也要尽可能的让计算任务接近数据所在地;