思否开源项目推介丨DataX Web：简洁易用的离线数据同步工具

开源项目名称：DataX Web
开源项目负责人：@WeiYe-Jing
开源项目简介：离线数据同步工具
开源项目类型：个人开源项目
项目创建时间：2019 年 12 月
GitHub 数据：734 Star，365 Fork
地址：https://github.com/WeiYe-Jing...

项目介绍

DataX Web 是在 DataX 之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX 的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS 数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发 xxl-job 可根据时间、自增主键增量同步数据。

任务“执行器”支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖、执行器CPU，内存，负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。

项目自荐

DataX 是一个异构数据源离线同步工具，致力于 RDBMS 关系型数据库、NoSQL 数据存储、无结构化数据存储、时间序列数据库等各种异构数据源之间稳定高效的数据同步功能。可以将 DataX 的同步过程理解为从源头数据源读取数据的 Reader 插件，以及向目标端写入数据的 Writer 插件。

每个类型的数据源都有自己的 Reader 和 Writer 插件，每个插件的配置方式也不尽相同，因此用户在使用一款插件前需要先了解该插件的每个参数配置的含义，熟悉之后用户需要手动编写一份 JSON 文件，文件包含插件的数据源信息，同步的字段名，任务的运行参数等等，配置过程中也容易出错，JSON 文件也不方便管理，如果想在不同的机器执行还要将 JSON 文件复制到对应节点，复杂一点的业务场景例如增量同步、同步依赖没有其它脚本的支持，DataX 难以施展拳脚。

为了解决这些问题，DataX Web 应运而生。

开源 7 个月以来项目发版 5 次，用户群近 1000 人，并且一直在不断完善与壮大开源社区，希望进一步培养以开发者为核心的社区生态。未来项目将继续保持快速迭代并积极与周边生态融合，打造一款大数据领域必不可少的数据同步利器。

思否推荐

数据是信息社会的基础，数据的存储需要有数据库来进行存储，那么数据之前的信息流动需要怎样的媒介？

DataX 作为异构数据源离线同步工具，支持 RDBMS 关系型数据库、NoSQL 数据存储、无结构化数据存储、时间序列数据库等多种数据库间的数据同步。抛去繁杂容易出错的命令行界面，DataX 还提供了简单易用的操作界面，降低用户学习成本，缩短任务配置时间，避免配置过程中出错。

---

该项目已入选「SFOSSP - 思否开源项目支持计划」，我们希望借助社区的资源对开源项目进行相关的宣传推广，并作为一个长期项目助力开源事业的发展，与广大开发者共建开源新生态。

有意向的开源项目负责人或团队成员，可通过邮箱提供相应的信息（开源项目地址、项目介绍、团队介绍、联系方式等），以便提升交流的效率。

联系邮箱：[e-mail]