为什么运行大模型需要很好的显卡？

Question

如果是图片、视频相关的处理，需要显卡还能理解。

如果就是纯文字类的训练，也需要显卡吗？

Answer 1

现在的深度学习模型都会用到大规模的矩阵运算。而显卡的大规模并发能力在进行这种计算的时候有天然的优势。于是显卡就被用在了深度学习模型的计算中。

而且随着显卡在深度学习模型中被使用的越来越多，显卡也开始为深度学习模型的运算进行专门的优化，还出现了专门为深度学习开发定制的显卡开发接口跟语言（比如 opencl 、 cuda），以及深度学习专用的“显卡”（这种其实通常已经不称做显卡了，而是叫 NPU）。