主要内容总结：

• 发展与数据来源：语言模型（LLMs）发展涉及大量训练数据，当前多数LLMs虽基于人类生成文本训练，但未来或改变，若多数未来模型从网络抓取数据训练，将不可避免地基于前辈模型数据训练。

• 模型崩溃定义及类型：

  • 定义 2.1（模型崩溃）：是影响生成模型世代的退化过程，数据污染下一代训练集致模型误判现实，分早期和晚期模型崩溃，前者丢失分布尾部信息，后者收敛至与原分布差异大且方差小的分布。
  • 源于统计近似误差、功能表达误差和功能近似误差三种误差复合，各误差可使模型崩溃变好或变坏，常导致级联效应使整体误差增大。
• 理论直觉：通过离散分布和多维高斯近似两个数学模型说明模型崩溃在生成模型中的普遍性，离散分布中因采样统计误差致尾部信息丢失，多维高斯模型中第n代近似与原分布距离无限增大且方差趋于0。

• 语言模型中的模型崩溃：

  • 在语言模型中普遍存在，常见设置为用其他模型生成数据对语言模型进行微调，如对OPT-125m模型实验，发现用生成数据训练会导致性能下降，出现模型崩溃，样本密度低的 perplexity值开始积累，生成数据尾部变长，模型易产生自身 improbable序列。
  • 实验中语言模型生成数据含大量重复短语，即使强制避免重复，模型仍易受模型崩溃影响， perplexity值翻倍，说明微调语言模型不能抑制模型崩溃。
• 讨论与影响：长期对语言模型的中毒攻击可能导致搜索算法改变，LLMs的到来使这种中毒攻击规模更大，保存LLMs建模低概率事件的能力对预测公平性很重要，训练LLMs时应保留对原始数据源的访问，区分LLMs生成数据和其他数据的来源成为问题。
• 数据及代码可用性：GMM、VAE和LLM实验的数据及代码公开可用。
• 作者及贡献：Ilia Shumailov和Zakhar Shumaylov提出并发展想法，主导研究和数学建模，开发GMM和VAE实验，Yiren Zhao开发语言模型实验，Nicolas Papernot、Yarin Gal和Ross Anderson监督指导项目，所有作者参与手稿撰写。
• 伦理声明及其他信息：作者无竞争利益，论文经过同行评审，有相关版权和使用许可信息等。

总体而言，该论文研究了模型在基于前代模型数据训练时出现的模型崩溃现象及其在语言模型中的表现和影响。