深度学习后的结果，每次跑的时候，都需要加载权重文件吗？

Question

我现在使用 resnet50 做图片分类

项目地址：https://github.com/ponponon/i...

有一个问题，每次跑的时候（就是创建一个进程），都需要

深度学习后的结果，每次跑的时候，都需要加载权重文件吗？

我指的权重文件指的是: http://cmp.felk.cvut.cz/cnnim... 地址中的 weight/gl18-tl-resnet50-gem-w-83fdc30.pth

每次都要 torch.load(weight_file) 就感觉很费劲，因为需要额外下载 weight/gl18-tl-resnet50-gem-w-83fdc30.pth

这个文件有 130+MB，不大不小

所以这个对于深度学习出来的东西，生产环境上使用，也是离不开这个权重文件的时候？

还是说这个权重文件只要在『学习』、『训练』的时候加载呢？

Answer 1

是的，推理需要权重。

权重就是学习的结果，是推理的依据。

Answer 2

一种常见的优化策略是将模型参数加载到内存中，并在多次推理过程中重复使用这些参数。在这种情况下，可以通过在内存中保存模型参数，以避免每次都重新加载权重文件。另外，也可以将模型参数保存在共享内存中，以便多个进程之间共享模型参数，从而提高推理的效率。

还有一种优化策略是使用专门的推理框架，如TensorRT、OpenVINO等，这些框架可以对深度学习模型进行优化，以提高推理效率。这些框架通常使用特定的模型格式和推理引擎来执行推理，并且可以将优化后的模型保存为新的文件，以避免每次都重新加载权重文