大附件断点续传问题

主服务器 集团公司
子服务器 子公司

主服务器需要从n个子服务器收集数据。数据较大的超过500G,但是因为网络问题,不能使用sftp。

因为除了文件以外,还涉及别的业务。所以,现在项目用到的技术是flink.子公司local的flink把一些业务数据给kafka,总公司的flink集群从kafka获取数据。

现在这个大文件问题,是不是 可以借助 kafka 通道。还有用flume 或是 netty 来实现。大文件传输过程中,还要做到断点续传。 请教一下,什么方案来处理这一块最合适

阅读 1.5k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进