提交到spark-submit的任务是运行一次的嘛?

对于一个完整的从Kafka或者hdfs读取数据
然后用模型计算
并把结果导出到mysql或者hbase的spark程序

把它提交了以后

它是一直在运行嘛?

如果有新数据从源来了,它是从头再运行一次,还是接着上次的位置继续运行下去?

阅读 1.6k
1 个回答

你应该写一个定时任务脚本,我一般用linux上的crontab来执行定时任务

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题