spark可以手动指定某个task由特定的节点(worker)来执行吗?

如题,我有一个自定义的任务,但是在Spark中没有专门的函数可以执行该任务的并行操作,我可以在程序中指定这个任务的并行方式吗?就是说我能够将该任务手动分解(分解后任务互相独立),然后分别分发到指定的节点,来实现并行运算吗?

阅读 3.9k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进