本文内容来自YashanDB官网,原文内容请见https://www.yashandb.com/newsinfo/7253738.html?templateId=171...

背景:
csv文件导入yashandb存在以下两个痛点:
1、导入通过yasboot或者yasldr导入csv文件均需要配置表的字段名,如果表比较多,字段也很多的情况下比较费力;
2、一些大表需要导入多个csv文件,一个个手工导入效率也比较低;

解决方案:

通过编写python脚本来解决以上痛点:
1、针对痛点1,通过连接到数据库,通过desc获取目标表的字段,保存到本地列表变量;
2、针对痛点2,通过扫描csv文件所在目录,获取文件列表,循环进行导入;

效果:
导入csv一个或者多个文件到yashandb只需一条命令即可,无需再配置繁琐的字段名,也无需执行多次命令;

导入命令样例:
python3 import_csv_data_2.py -d /opt/data/example_tbl_agg1 -c yashandb -u example_db -p Cod-2024 -a 127.0.0.1:1688 -t example_tbl_agg1

参数说明:
-d:csv所在目录
-c:库名
-u:用户名
-p:密码
-a:数据库地址和端口
-t:表名

导入脚本:
import_csv_data_2.py


YashanDB
1 声望0 粉丝

崖山数据库系统YashanDB是深圳计算科学研究院自主设计研发的新型数据库管理系统,融入原创的有界计算、近似计算、并行可扩展和跨模融合计算理论,可满足金融、政企、能源等关键行业对高性能、高并发及高安全性的...