本文内容来自YashanDB官网,原文内容请见 https://www.yashandb.com/newsinfo/7396988.html?templateId=171...

概述

由于YMP不支持PostgreSQL数据库,因此使用开源工具Kettle迁移PosgreSQL数据到YashanDB。本文介绍了Windows环境的Kettle使用方式进行数据迁移。

环境

Kettle版本:8.3

JAVA版本:1.8

源PostgreSQL:版本12

目标YashanDB:23.2.1.100

执行方式

Kettle可以在Windows执行,Windows环境可以使用图形界面,便于使用和调试。

Windows执行Kettle

1、确保Windows当前JAVA环境是JAVA 1.8。如果当前Windows环境存在多个JAVA版本,而默认JAVA环境不是JAVA 1.8,则可以通过Windows环境变量保证Kettle使用JAVA 1.8,例如示例:

PENTAHO\_JAVA设置为C:\Program Files\Java\jre-1.8\bin\java.exe

PENTAHO\_JAVA\_HOME设置为C:\Program Files\Java\jre-1.8

2、解压作业zip包,放置在Kettle所在目录。

3、在Kettle所在目录运行Spoon.bat,启动图形操作界面。

4、打开syncData\_PostgreSQL\_YashanDB.kjb,这个任务是总任务,它封装了多个子任务用于从PostgreSQL迁移数据到崖山。

5、打开getDatas\_PostgreSQL\_YashanDB,这个任务是实际执行从PostgreSQL迁移数据到崖山的任务,封装了DB连接,需要根据实际环境进行调整和测试,确保后续配置DB连接PostgreSQLInput和YashanOutput的步骤都测试成功。

6、修改getDatas\_PostgreSQL\_YashanDB的DB连接PostgreSQLInput,连接类型使用PostgreSQL,然后输入PostgreSQL的主机地址、数据库名字、端口号、用户名和密码,点击“测试”,测试通过后选择“确认”。

7、修改getDatas\_PostgreSQL\_YashanDB的DB连接YashanOutput,连接类型使用Generic database,连接方式使用Native(JDBC),设置自定义JDBC URL(jdbc:yasdb://YashanDB\_IP:YashanDB\_PORT/YashanDB\_User)和JDBC驱动类名称,并输入用户名和密码,点击“测试”,测试通过后选择“确认”。

8、修改DB连接PostgreSQLInput和YashanOutput后,getDatas\_PostgreSQL\_YashanDB配置处于未保存状态,请务必对该任务进行保存。

9、修改tablelist\_PostgreSQL\_YashanDB.csv,这个配置文件用于指定PostgreSQL需要迁移的库表名,注意这里需要和PostgreSQL的库表大小写保持一致,例如:

owner,table\_name

dbmgr,t1

dbmgr,t2

dbmgr,t3

注意:1) owner这一列对应于PostgreSQL的schema;2) tablelist\_PostgreSQL\_YashanDB.csv最后一行不能为空行。

10、切换回syncData\_PostgreSQL\_YashanDB.kjb,执行运行即可。

11、确保数据迁移作业成功完成,如果迁移失败,可查看运行日志,定位原因并修复问题,然后重试迁移即可(注意:每次同步之前会将目标库中目标表truncate,所以保证重试不会存在数据重复或者冲突的问题)。


YashanDB
1 声望0 粉丝

崖山数据库系统YashanDB是深圳计算科学研究院自主设计研发的新型数据库管理系统,融入原创的有界计算、近似计算、并行可扩展和跨模融合计算理论,可满足金融、政企、能源等关键行业对高性能、高并发及高安全性的...