如何获取hadoop失败的attempt的所用数据

Yang
  • 10

用hadoop streaming跑python脚本会在一些mapper attempt上面报错:

17/10/27 17:48:04 INFO mapreduce.Job: Task Id : attempt_1509090367939_0005_m_000052_0, Status : FAILED
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 139

通过yarn也只能看到说是这个问题,没有更多的细节。找了半天也没有找到哪里能够看到详细的日志。所以,我的问题是:

  1. 如何能看到详细的报错原因
    2. 如何能够获取到具体的mapper所被split到的数据(就可以重现错误)

谢谢

回复
阅读 2.3k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏