如何在DolphinDB中 LoadTextEx导入数据时，过滤无效数据？

Question

在dolphindb里我准备用如下代码导入csv数据，但是导入过程中发现，csv文件中存在一些关键列为空，比如csv文件格式如下

timestamp	prc	vol	act
2020.02.01T00:00:01.000	0.01	1	S

我使用测试的导入代码如下

dbName = "dfs://db1"
path = "/data/test.csv"
if(existsDatabase(dbName)){
    dropDatabase(dbName)
}
db = database(dbName,VALUE,2019.09.04..2019.10.09)
loadTextEx(db, 'trade', 'timestamp', path)

导入后发现有一些数据的 act列为空，这些数据我有没有办法在导入过程中直接过滤掉？

Answer 1

在将数据导入数据库之前，若需要对数据进行预处理，例如转换日期和时间数据类型，填充空值等，可以在调用loadTextEx函数时指定transform参数。过滤act列空值，可试试下面代码：

def dataTrans(t){
 return select * from t where !isNull(act)
}
loadTextEx(dbHandle=db,tableName='trade', partitionColumns='timestamp',filename=path,transform=dataTrans)