这个跟你的写入的批次大小有关系。流数据的持久化实际上就是把你每次写入流表的数据序列化后追加到文件末尾。同样是18万条数据,4000个股票一次写入和单条写入,加载时间会差很多。如果18万条记录是一条一条写入的,反序列化也是一条一条来,这样会比较花时间。所以建议批量写入。
这个跟你的写入的批次大小有关系。流数据的持久化实际上就是把你每次写入流表的数据序列化后追加到文件末尾。同样是18万条数据,4000个股票一次写入和单条写入,加载时间会差很多。如果18万条记录是一条一条写入的,反序列化也是一条一条来,这样会比较花时间。所以建议批量写入。