spark 生成RDD的运行机制

生成RDD其中一种方式Parallelize,运行原理是什么,是在action时候,把数据通过网络传递给worker节点的内存中吗,textfile可以理解,各个worker分布读取到自己的内存中,但是Parallelize怎么理解呢

阅读 1.6k
评论 2016-08-22 提问
    1 个回答
    manong
    • 5.9k

    和textfile类似的道理,相当于把本地的一个集合变成rdd,也是lazy的。在真正计算的时候,会分布拷贝到各个worker上

    第一个参数就是本地集合数据,第二个参数是分片数,就是希望分成多少个任务并行计算。不指定的话,spark会根据worker情况默认分配个值

    评论 赞赏 2016-08-22
      撰写回答

      登录后参与交流、获取后续更新提醒