如何选择能跑模型的硬件？

Question

我只是跑模型：不是大规模生产训练，（ 比如 yolo v8 做做图片验证或者 text2sql）关于使用 python 跑模型的电脑配置：现在我使用的是 Mac Mini M2 芯片：但是速度很慢 所以想买个带英伟达显卡的电脑：笔记本最好 单硬件这东西不懂 我至少要买到哪种型号以上才能在现有的 M2 芯片上有明显提升

Answer 1

看 tflops 这个定量指标，如果要跑大模型，还要看显存大小

具体还可以分成 fp32 tflops、fp16 tflops、bf16 tflops、int8 tflops

对于传统的 resnet50、yolo v8 可以看 fp32 tflops

对于 LLM 大模型，就看 fp16 tflops、bf16 tflops、int8 tflops

如果你要看某个显卡的指标，就去谷歌搜索 a100 tflops techpowerup、RTX4060 tflops techpowerup 这样，去 techpowerup 这个网站看,非常的详细

Answer 2

我是初学DL，在硬件的选择上和你的方案有所不同，提供一种参考：
我选择的是高配cpu轻薄本(AMD R7 7840HS)配合显卡坞外接台式英伟达RTX3090ti显卡，可以部分兼顾笔记本的便携性和台式机显卡的高性能。笔记本本身不具有图形能力(仅使用集成显卡)。上班的时候带笔记本走，回家插上显卡就可以跑模型。
显卡外接需要有一定的动手能力，目前基本上有两种方式，一种是通过笔记本自己提供的雷电3接口或usb4接口，一种是通过笔记本主板上提供的额外m2硬盘接口或蓝牙m2接口转接成oclink接口。后者除了少部分机型有现成的改造方案，大多数可能都需要从笔记本D面挖孔将主板上的接口暴露出来，需要占用一个硬盘m2槽位或拆下蓝牙模块。
显卡外接方案的缺点是：1.无论雷电、usb4和m2，都可能存在一定的显卡性能损耗（但不会太大）2.m2转oclink方案视笔记本品牌型号不同可能需要对硬件有所取舍，比如舍得在d面开孔，放弃一个硬盘扩展位等等。3.AMD的核心据说有时会不稳定。4.需要单独买显卡坞、独立电源，需要动手安装和调试，有一定的风险