MongoDB数据同步HDFS方案分析与试用

需求每天增量MongoDB数据到HDFS供HIVE查询，方便管理重试，查看进度等

google指数

1.Apache Nifi
https://nifi.apache.org

2.Streamsets
https://streamsets.com

3.debezium
https://debezium.io/

3.DataX
https://github.com/alibaba/DataX
https://github.com/WeiYe-Jing/datax-web（感觉好久没有更新，可能有点坑）
有可能改用DolphinScheduler 调DataX 同步MongoDB
https://github.com/alibaba/DataX/blob/master/mongodbreader/doc/mongodbreader.md

4.flink cdc
flink cdc同步MongoDB到hdfs
得有什么工具来管理好点

安装flink
安装flink cdc

5.dolphinscheduler
https://dolphinscheduler.apache.org/
https://dolphinscheduler.apache.org/zh-cn/docs/3.1.7/guide/ta...

参考链接
http://www.525.life/article?id=1510739743755