yolov5训练gpu_mem经常突然翻倍该怎么办?

最近经常需要多次运行训练比较结果,但是发现相同的数据集,运行的时候经常出现上一次训练还是好好的,这一次训练突然gpu_mem占用比之前多了8g左右,导致原本每个epoch只需要9秒的现在变成了23秒。刚开始觉得可能是缓存没清理或者其他的,但是尝试过清理缓存,重启,关机重启等等很多方法都不行,基本上就是随缘。
后来就尝试任何参数都不动,在相同条件下运行,发现也是这个问题,一会7.3g,一会15.4g
下图为gpu占用不正常时image.png
下图为gpu占用正常时image.png
求助各路大神,这种情况下该怎么处理啊?

阅读 1.8k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏