DeepMind发布2800亿参数NLP模型Gopher

Google子公司DeepMind发布了名为Gopher的2800亿参数自然语言处理（NLP）模型。该模型基于Transformer架构，并在名为MassiveText的10.5TB语料库上进行训练。Gopher在124项评估任务中的100项上表现优于当前最先进的模型。

模型背景与训练

Gopher模型及其相关实验在一篇arXiv论文中进行了详细描述。作为DeepMind在通用人工智能领域研究的一部分，团队训练了Gopher及多个较小的模型，以探索大型语言模型（LLMs）的优势和局限性。研究发现，增加模型规模在某些任务（如阅读理解和事实核查）上提高了准确性，但在其他任务（如逻辑和数学推理）上效果不明显。

评估与性能

Gopher在多个NLP基准测试中进行了评估，包括Massive Multitask Language Understanding（MMLU）和BIG-bench，并与GPT-3等基线模型进行了比较。结果显示，Gopher在知识密集型任务上表现出一致的改进，但在推理密集型任务上改进较少。DeepMind团队表示，Gopher将成为其未来语言研究的基础，特别是在模型评估和部署方面。

自回归语言模型

语言模型通过预测文本序列中的下一个标记来工作，当这种模型迭代使用时，预测的输出会作为输入反馈给模型，这种模型被称为自回归模型。基于Transformer架构的自回归语言模型在许多NLP任务上创下了最先进的性能记录，许多研究人员开发了超大规模模型。

数据集挑战

为训练此类模型收集大型数据集是一个挑战。DeepMind团队开发了一个数据准备管道和名为MassiveText的自定义训练数据集，以确保训练数据不被基准测试数据污染。

模型规模与性能

DeepMind训练了六个不同规模的模型，从4400万参数到2800亿参数的Gopher模型。这些模型在152项任务上进行了评估，Gopher在其中124项任务中与已知的最先进性能进行了比较，并在100项任务中创下了新纪录。团队还研究了模型在不同规模下的表现，发现规模对许多学术科目和一般知识任务有显著提升，但对逻辑推理、常识和数学任务的提升有限。

讨论与争议

在Hacker News的讨论中，一些评论者猜测Gopher的命名是否受到了前网络搜索系统Gopher的启发。另一些人则讨论了语言模型是否应被视为“真正的”人工智能。

基准测试排名

Gopher在多个NLP基准测试中的排名可以在Papers with Code网站上找到。