一个大模型需要多大GPU内存才能跑起来的计算公式

一个大模型需要多大GPU内存才能跑起来的计算公式： M = ( (P 4B) / (32 / Q) ) 1.2
M: 所需的 GPU 显存，单位是 GB。
P: 模型的参数数量。例如，7B 模型有 70 亿个参数。
4B: 每个参数占用的字节数，这里假设每个参数占用 4 个字节（通常指 FP32 或 Float32 格式）。
32: 4 个字节等于 32 位。
Q: 加载模型时使用的位数。例如，16 位 (FP16/BF16)，8 位 (INT8) 或 4 位 (INT4)。这通常称为量化。
1.2: 表示额外开销的系数，通常为 20%。这考虑了除了模型权重之外还需要加载到 GPU 显存中的其他数据，例如优化器状态、梯度等。

如使用 FP16 量化加载 Llama 70B 模型，计算过程就是
M = ( (70,000,000,000 4) / (32 / 16) ) 1.2 = 168 GB