请教下dfs分区,用loadtable和where语句取数据,一样的语句,一会可以取出来一会显示Out of memory,这个是我哪里用错了吗?谢谢
trade = s.loadTable(tableName='stock_minute1_data',dbPath="dfs://minute_1")
t1=trade.where("datetime<=temporalParse('20090201 15:00:00', 'yyyyMMdd HH:mm:ss')")
df = t1.toDF()
你这个query会读取所有20090201 15:00:00之前的数据,这个数据量有多大?