生产环境使用datax同步数据至elasticsearch

现在有个需求,将Mariadb作为ODS存储,elasticsearch作为DW,现在想采用datax做两者间的数据同步,Mariadb同步至es。
有真实使用经验的同学可以留下感受或者意见哈!

阅读 3.7k
1 个回答

datax的话比较合适的是做离线的数据同步。如果需要进行在线实时的数据同步可以建议你使用CloudCanal。支持如下数据源类型的数据同步迁移。

1.MySQL->Redis 数据迁移、同步、校验
2.MySQL->ElasticSearch 数据迁移、同步、结构迁移
3.MySQL->RocketMQ 数据迁移、同步
4.MySQL->RabbitMQ 数据迁移、同步
5.MySQL->MySQL 数据迁移、同步、校验、订正、结构迁移
6.MySQL->PostgreSQL 数据迁移、同步、校验、结构迁移
7.PostgreSQL->PostgreSQL 数据迁移、同步、校验、结构迁移
8.PostgreSQL->MySQL 数据迁移、同步、结构迁移
9.Oracle->Oracle 数据迁移、同步、结构迁移
10.Oracle->PostgreSQL 数据迁移、同步、结构迁移
11.Oracle->MySQL 数据迁移、同步、结构迁移

1.MySQL->Greenplum 数据迁移、同步、校验、结构迁移
2.MySQL->ADB for MySQL 数据迁移、同步、结构迁移
3.MySQL->TiDB 数据迁移、同步、结构迁移
4.MySQL->Kudu 数据迁移、同步、结构迁移
5.MySQL->ClickHouse 数据迁移、同步、校验、结构迁移
6.MySQL->MongoDB 数据迁移、同步、结构迁移
7.PostgreSQL->Kudu 数据迁移、同步、结构迁移
8.Oracle->Kudu 数据迁移、同步、结构迁移
9.Oracle->TiDB 数据迁移、同步、结构迁移

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进