DolphinDB中如何按Partition逐步保存csv文件?

windancer
  • 72

在dolphindb的一个分布式分区表中,保存了约100多G的数据,现在想要把这些数据导出成csv文件,我知道有saveText的方法:

db = database("dfs://db1")
t = select * from db.loadTable("tb1")
t.saveText("mydata.csv")

但是因为内存有限,无法全量读取并导出。我想知道是否有办法,按照分区逐个导出,将内存的使用控制在可用范围内,并且最后的结果能拼接成单个csv文件?

回复
阅读 654
1 个回答

DolphinDB database的saveText函数支持追加数据,只要设置参数append=true即可。
因此可以把分区数据一个个加载到内存,然后追加保存到csv文件。下面的例子是一个按月分区的数据库,用pipeline连续执行:

login("admin","123456")
v = 2015.01M..2016.12M
def queryData(m){
    return select * from loadTable("dfs://db1", "tb1") where TradingTime between datetime(date(m)) : datetime(date(m+1))
}
def saveData(tb){
    tb.saveText("/hdd/hdd0/data/gtatest.csv",',', true)
}
pipeline(each(partial{queryData}, v),saveData)
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
你知道吗?

宣传栏