2023 依旧过得很快，这一年，我们发布了 Tapdata 3.0，探索了 Tapdata 在零售、制造、AI 等领域的新一代解决方案；上线了 Tapdata 海外版，成功入选谷歌出海创业加速器项目；并与更多数据库达成兼容性互认证，进一步壮大了实时数据生态……
除此之外，我们将自身大部分的能量投入到了产品能力与稳定性的持续打磨之中。因为我们坚信，产品本身才是我们与用户实现连结的最大依仗。
以“让您使用数据就像通过自来水龙头取水那样方便简单”为使命，Tapdata 希望充分利用实时数据集成和实时数据服务的平台能力，让新鲜数据得以真正滋养各行各业的智慧化、现代化、数字化发展。
新春伊始，我们在这里以迭代列表的形式向大家汇报 Tapdata 2023 年在产品层面做出的优化和更新，希望能帮助大家更多地了解最新版本的功能变化。
感谢过去一年大家对 Tapdata 的反馈、支持与陪伴，新一年我们还将为用户朋友们提供更多 Tapdata 教程指南以及行业解决方案的建议，欢迎大家持续关注。
Tapdata 2023 迭代列表
*点击每条迭代内容，可查看该条功能对应的详细说明哦
版本指路：
点击登录 Tapdata Cloud
申请试用 Tapdata 本地部署版
新增产品能力
- 上线实时数据中心功能，并发布基于实时数据中心的数据血缘追溯能力
- 发布全量分片能力，支持全量断点续传，为大数据量数据同步提供保障
- 扩展和优化数据校验功能，提升产品数据一致性检查能力。
- 完成数据源错误码的完善，提供更丰富的问题原因分析和解决方案推荐
新增云版功能
- 云版上线主从合并节点并提供更易操作的物化视图构建方式
- 云版上线全托管的 Agent
- 提升产品稳定性，完善针对云版服务的监控和告警能力，保障云版服务的稳定持续运行
- 对内，完成 CI/CD 自动化测试等精细化流程构建，并保证流程的稳定性，提升产品持续集成和测试的效率
- 完成与谷歌云的对接，上线谷歌云 Marketplace
迭代功能详细清单
- 数据开发任务源节点新增支持数据过滤能力，支持对全量和增量阶段数据进行过滤
- 数据开发新增 JS 处理节点试运行能力
- 新增追加合并节点，支持将多个相同结构表的数据合并成一张表
- 支持在JS节点里操作源库和目标库
- 新增Redis数据源作为目标
- 新增Excel数据源作为源
- 新增数据校验功能
- 复制任务源节点选表新增按照表达式匹配能力，支持按照表达式来选择要同步的表，表达式匹配模式下自动支持动态新增表
- 新增支持在源端设置读取的 batchSize,支持在目标端设置写入的 batchSize
- 以指定字段的排序作为轮询条件进行增量数据采集
- 开发任务新增信息输出
- DUMMY 数据源可以快速增加多个字段
- 新增 TiDB 作为源，并支持通过轮询方式进行增量同步
- 新增外部缓存统一配置和管理
- 新增任务进度里程碑展示
- 新增LDP（Live Data Platform）功能
- 新增数据复制支持调整关联条件字段
- 新增支持redis在数据复制任务里作为目标使用
- 集群监控页面, 列出当前的引擎, 对外建立的所有连接数量, 按 ip:port 归类
- Doris 作为目标, 支持数据校验能力(Count)
- 新增心跳表功能，数据源配置里, 新增心跳表设置。打开后会在源库创建一个名为：_tapdata_heartbeat_table的心跳表，每隔1S更新一次其中的数据
- 基于错误码提示问题解决方案
- SQL类数据源和mongo数据源支持全量自定义查询（SQL）
- 产品边界规则框架设计与实现，保存任务时自动对产品边界进行检测
- JS 中运行 MongoDB 聚合处理
- 创建 Custom Connection 时要支持对脚本进行调试
- 权限管理功能新增支持角色的增删改能力
- 新增全量分片能力，目前仅支持 MongoDB
- 新增时间运算处理节点
- 为API管理增加 Application 分类能力
- API server 新增集成 GraphQL 能力，可以通过 API Server 的地址 +graphql 来访问
- 集群管理新增支持获取线程资源监控和数据源使用情况数据
- 新增支持在 Doris 上发布 API 接口
- 复制任务，处理节点新增支持查看表模型
- LDP 新增支持表级溯源能力
- 新增一个类型过滤的节点，可以将一些指定类型过滤掉不向后同步
- 目标节点支持按照乘以系数的方式来调整字段的长度
- Kafka 支持自定义消息体格式
- 数据复制/开发任务支持根据数据记录的大小动态调整批量参数
- 新增支持 DWS 数据源作为目标
- 基于数据面板的任务创建引导
- 新增功能和数据权限控制
- 国际站订购 Atlas 存储时新增 Free trail、M10、M20、M30
- 新增支持 Redis 到 Redis 的同步能力
- 新增 Python 处理器节点，用户可以通过Python脚本来对数据进行处理
- Kafka 数据源新增支持设置副本数
- 新增 MongoDB 到 MongoDB 同步的 unset 支持
- 新增物化视图构建功能
- 引导过程新增DEMO数据源，用户可以直接使用
- 复制任务在选表时，有主键和无主键表的快速过滤功能，有主键表部分新增包含有唯一索引的无主键表
- 数据转换任务新增unwind处理节点
- 任务新增支持禁用节点功能
- 新增支持 mongo 做目标时创建为分布式表
- 新增支持 Hive3 作为源
- 数据校验过滤功能优化，支持自定义查询和聚合查询
- 云版测试连接时增加连接器下载进度展示，避免等待下载导致的测试连接超时
- 针对源节点增加增量每批读取条数设置，可以调整增量同步性能
- 目标节点字段类型调整时，支持直接选择目标数据库常用类型
- OP版本新增支持在windows环境下部署
- 认证数据源支持SSL
- 新增支持Azure CosmosDB作为源，支持全量同步
- Tapdata 任务导入，支持直接导入 MongoDB Relational Migrator 导出的 relmig 类型文件
【相关阅读】
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。