看到了,这篇文章:使用 Torch TensorRT 将 PyTorch 的推理速度提高6倍
这个文章只说了,把 FP32 改到 FP16 可以快 6 倍,但是准确率效果下降了多少没有定量的数据
问了一下 chatGPT ,给的结果太模棱两可
谁手里有定量的测试结论可供参考?
看到了,这篇文章:使用 Torch TensorRT 将 PyTorch 的推理速度提高6倍
这个文章只说了,把 FP32 改到 FP16 可以快 6 倍,但是准确率效果下降了多少没有定量的数据
问了一下 chatGPT ,给的结果太模棱两可
谁手里有定量的测试结论可供参考?
1 回答3.2k 阅读
1 回答3.1k 阅读
2 回答1.5k 阅读
3 回答725 阅读
591 阅读
96 阅读