主要观点：定义了 LLM 的基本构建块语言模型，介绍构建自定义 LLM 的步骤，包括预训练、持续预训练、微调、指令调优和通过人类反馈的强化学习（RLHF）。
关键信息：

• 语言模型可追溯到 80、90 年代，2010 年代随神经网络普及，其核心是预测句子中的下一个词。

• 构建 LLM 的步骤：

  • 预训练：用语言模型目标函数，读取大量文本学习语言，不依赖监督，能学习语法、事实和基本推理，为后续任务打基础。
  • 持续预训练：给模型特定主题阅读材料，使其在特定领域更熟练，能处理特定行业术语。
  • 微调：在更聚焦数据集上训练，使模型更专注于特定任务，可多次迭代以提高准确性和可用性。
  • 指令调优：2021 年引入，训练模型更好遵循自然语言指令，包括提示多样性和响应生成，使模型更具交互性和适应性。
  • RLHF：使模型响应符合人类偏好和价值观，解决伦理问题，纳入人类偏好到训练循环，让模型更负责任和道德。

  重要细节：

• 示例：如“猫坐在\_\_\_”，模型根据训练数据预测“mat”。
• 各阶段相互关联，逐步让 LLM 从预测基本词到成为可遵循指令、符合人类偏好的精细助手，这一多层训练过程造就了现代 LLM 如 ChatGPT 的知识渊博和用户友好。