YARN的介绍及实践探索

2020-05-09
阅读 8 分钟
3.6k
Apache Hadoop YARN 是一种新的Hadoop资源管理器。它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。也就是说YARN在Hadoop集群中充当资源管理和任务调度的框架。

剖析Spark数据分区之Hadoop分片

2019-12-13
阅读 4 分钟
2.9k
本文来自OPPO互联网技术团队,是《剖析Spark数据分区》系列文章的第一篇,将重点分析Hadoop分片。该系列共三篇文章,敬请关注。 第一篇:主要分析Hadoop中的分片; 第二篇:主要分析Spark RDD的分区; 第三篇:主要分析Spark Streaming,TiSpark中的数据分区; 转载请注名作者,同时欢迎关注OPPO互联网技术团队的公众号...