python脚本单独执行没问题,shell调用执行很耗内存

写了一个python脚本,功能是逐行读取一个100M的文件A,处理后写入到另一个文件B,执行完成后B会有600M大小.
单独执行python脚本没问题,但用shell脚本调用执行时,巨耗内存
单独执行时,top中看到split.py内存占用 < 2%
shell调用执行时,top中看到bash内存占用 > 20%
python脚本中读写代码:

split.py

readHandle = open(fileName)
writeHandle = open(writeFile,'w+')
for fileLine in readHandle:
    do something
    writeHandle.write(处理后数据)

readHandle.close()
writeHandle.close()

shell调用

/bin/python split.py

请大侠指点,谢谢

阅读 9.6k
1 个回答

你在写入部分数据,比如100行后用flush将缓存中的内容写入文件中。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题