Hadoop DistributedCache 已弃用 - 首选 API 是什么？

Question

我的地图任务需要一些配置数据，我想通过分布式缓存分发这些数据。

Hadoop MapReduce Tutorial 展示了DistributedCache类的 用法，大致如下：

 // In the driver
JobConf conf = new JobConf(getConf(), WordCount.class);
...
DistributedCache.addCacheFile(new Path(filename).toUri(), conf);

// In the mapper
Path[] myCacheFiles = DistributedCache.getLocalCacheFiles(job);
...

但是， DistributedCache 在 Hadoop 2.2.0 中被 标记为已弃用。

实现这一目标的新首选方法是什么？是否有涵盖此 API 的最新示例或教程？

原文由 DNA 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

分布式缓存的 API 可以在 Job 类本身中找到。在此处查看文档：http: //hadoop.apache.org/docs/stable2/api/org/apache/hadoop/mapreduce/Job.html 代码应该类似于

Job job = new Job();
...
job.addCacheFile(new Path(filename).toUri());

在您的映射器代码中：

 Path[] localPaths = context.getLocalCacheFiles();
...

原文由 user2371156 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

要扩展@jtravaglini，使用 DistributedCache 的首选方式 YARN/MapReduce 2 如下：

在您的驱动程序中，使用 Job.addCacheFile()

 public int run(String[] args) throws Exception {
    Configuration conf = getConf();

    Job job = Job.getInstance(conf, "MyJob");

    job.setMapperClass(MyMapper.class);

    // ...

    // Mind the # sign after the absolute file location.
    // You will be using the name after the # sign as your
    // file name in your Mapper/Reducer
    job.addCacheFile(new URI("/user/yourname/cache/some_file.json#some"));
    job.addCacheFile(new URI("/user/yourname/cache/other_file.json#other"));

    return job.waitForCompletion(true) ? 0 : 1;
}

在您的 Mapper/Reducer 中，覆盖 setup(Context context) 方法：

 @Override
protected void setup(
        Mapper<LongWritable, Text, Text, Text>.Context context)
        throws IOException, InterruptedException {
    if (context.getCacheFiles() != null
            && context.getCacheFiles().length > 0) {

        File some_file = new File("./some");
        File other_file = new File("./other");

        // Do things to these two files, like read them
        // or parse as JSON or whatever.
    }
    super.setup(context);
}

原文由 tolgap 发布，翻译遵循 CC BY-SA 3.0 许可协议