问题现象

YashanDB 中的 ST_GEOMETRY 类型是数据库内置的一种自定义类型,用于存储和访问符合开放地理空间信息联盟(Open Geospatial Consortium,简称 OGC)制定的 SFA SQL 标准的几何对象。

在批量插入(例如 insert into select 或使用 yasldr 导入数据)的时候, 如果表有 ST_GEOMETRY 类型的字段, 则会报错 YAS-00004 feature "UDT column batch insert" has not been implemented yet
图片.png
问题的风险及影响
影响 ST_GEOMETRY 类型的数据导入
 
问题影响的版本
YashanDB 版本:23.2.7.100 及以下
 
解决方法及规避方式
问题的原因
YashanDB 的 GIS 功能是通过 UDT 实现的,目前用户自定义类型 UDT 还不支持批量插入。在表存在 GEO 相关字段的时候,即使插入的字段不包含 GEO 的字段,但是存储每一行都会预留相应的字段空间,因此也会失败。
解决办法
1、普通迁移数据可以使用 YMP 解决
源端是 YashanDB,表字段是 ST_GEOMETRY 类型的,可以通过 YMP 迁移数据到目标端 YashanDB。详见 YMP 使用指导 快速开始 | YashanDB Doc 
2、在单表数据量小,想通过 SQL 命令快速迁移,可以使用如下方法规避实现:
举例,如 CREATE TABLE t1(id INT, pos ST_GEOMETRY); 需要将 T1 的数据导出到目标库
1)在源库表将 geo 字段转成 clob(转换函数 st_astext),通过 exp 导出

exp --csv -f csv -u user -p passwd --server-host 127.0.0.0.1:1688 -q 'SELECT id,ST_ASTEXT(pos) from t1'

2)在目标库建立临时表, 上传步骤 1)导出的数据 t1.outfile 将数据通过 yasldr 导入 clob 字段

CREATE TABLE t2(id INT, pos_str clob);



[yashan@localhost ~]$ cat t2.load.template
LOAD DATA OPTIONS(DEGREE_OF_PARALLELISM=8,STATS=TRUE)
INFILE '/home/yashan/t1.outfile' WITH EMBEDDED FIELDS TERMINATED BY '|' OPTIONALLY ENCLOSED BY '"'
APPEND INTO TABLE t2 trailing nullcols("ID","POS_STR")




yasldr user/passwd@127.0.0.0.1:1688 batch_size=4032 control_file=/home/yashan/t2.load.template

检查导入数据成功
3)通过 ST_GEOMFROMTEXT 转换成 ST_GEOMETRY 类型

alter table t2 add "POS" "MDSYS"."ST_GEOMETRY";

update t2 set pos = st_geomfromtext(POS_STR);

alter table t2 drop POS_STR;

4)小结
通过上述的步骤方法将 ST_GEOMETRY 类型转换成 CLOB,再导入到目标表之后通过 ST_GEOMFROMTEXT 转换回来,在现有工具下即可实现对 ST_GEOMETRY 类型的搬迁。
 
特别需要注意的是,在目标库同样建立表的时候,同时带 clob、ST_GEOMETRY 类型,通过 yasldr 或 insert into select 仅导入 clob 字段(insert 列不带 ST_GEOMETRY 字段),会失败,需要建表的时候不带 ST_GEOMETRY 字段,在导入数据之后再添加字段,通过 update 更新 ST_GEOMETRY 字段(从 clob 字段转换数据回来)。
在崖山团队目前已经在实现 UDT 字段支持批量插入,insert into select/yasldr/exp/imp 后续均可以支持 UDT 字段,敬请留意后续版本。


qiaoyikefu
1 声望0 粉丝