如果有这样一个需求:一个大的任务需要拆分成多个小任务然后由多台计算机并行执行,然后把不同任务的结果进行汇总再做进一步的任务分派。这好像是mapReduce,但mapReduce是大数据的工具,我们仅仅是做任务分派。这里需要一个master做任务协调,由它来分解大任务然后指派给不同的工作机器。其实是不是仅仅用hadoop的mapReduce功能即可。
如果有这样一个需求:一个大的任务需要拆分成多个小任务然后由多台计算机并行执行,然后把不同任务的结果进行汇总再做进一步的任务分派。这好像是mapReduce,但mapReduce是大数据的工具,我们仅仅是做任务分派。这里需要一个master做任务协调,由它来分解大任务然后指派给不同的工作机器。其实是不是仅仅用hadoop的mapReduce功能即可。
4 回答1.5k 阅读✓ 已解决
4 回答1.3k 阅读✓ 已解决
1 回答2.6k 阅读✓ 已解决
2 回答749 阅读✓ 已解决
2 回答1.8k 阅读
2 回答1.7k 阅读
2 回答1.3k 阅读