写了一个python脚本,功能是逐行读取一个100M的文件A,处理后写入到另一个文件B,执行完成后B会有600M大小.
单独执行python脚本没问题,但用shell脚本调用执行时,巨耗内存
单独执行时,top中看到split.py内存占用 < 2%
shell调用执行时,top中看到bash内存占用 > 20%
python脚本中读写代码:
split.py
readHandle = open(fileName) writeHandle = open(writeFile,'w+') for fileLine in readHandle: do something writeHandle.write(处理后数据) readHandle.close() writeHandle.close()
shell调用
/bin/python split.py
请大侠指点,谢谢
你在写入部分数据,比如100行后用flush将缓存中的内容写入文件中。