看到了,这篇文章:使用 Torch TensorRT 将 PyTorch 的推理速度提高6倍
这个文章只说了,把 FP32 改到 FP16 可以快 6 倍,但是准确率效果下降了多少没有定量的数据
问了一下 chatGPT ,给的结果太模棱两可
谁手里有定量的测试结论可供参考?
看到了,这篇文章:使用 Torch TensorRT 将 PyTorch 的推理速度提高6倍
这个文章只说了,把 FP32 改到 FP16 可以快 6 倍,但是准确率效果下降了多少没有定量的数据
问了一下 chatGPT ,给的结果太模棱两可
谁手里有定量的测试结论可供参考?
1 回答3.1k 阅读
1 回答2.7k 阅读
1.7k 阅读
947 阅读
588 阅读