spark的开发环境应该是怎样的

在看spark的mlib包,用的是Java语言,发现把包导入后本地机器直接run就可以跑出结果,看日志感觉是每次都启动spark进程的,helloworld级别的跑一次也要好几秒,想问问你们一般是怎么开发调试的?

阅读 1.8k
1 个回答

IDE 利用自动补全写代码。
sbt package 编译。
spark-submit 提交代码到本地搭建的spark 跑任务。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进