spark-stream中如何依次遍历同一个window中每个batch的数据呢?

批次间隔为10s, 窗口大小为20s, 步长为10s, 这样每个window应该有2个批次的数据,但是我用DStream.foreachRDD()每次只执行一次,按我理解因为有2个批次数据应该执行两次,但实际测试下来无论window中有多少batch都是只调用一次

如何辨别出每一个批次的数据呢?比如第一个批次执行某个操作,第二个批次执行另一种操作,但他们都在同一个窗口中

阅读 2.5k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进