OpenAI发布GPT-4：下一代大型语言模型

OpenAI最近发布了GPT-4，这是其GPT系列大型语言模型（LLM）的下一代。GPT-4能够接受文本和图像输入，并在多个自然语言处理（NLP）基准测试中超越了当前最先进的系统。该模型在模拟律师资格考试中得分位于90百分位。

模型改进与功能

GPT-4在GPT-3.5的基础上进行了多项改进，包括：

• 多模态输入：支持文本和图像输入。
• 上下文长度：默认上下文长度从4,096个标记增加至8,192个标记，还提供支持32,768个标记（约50页文本）的有限访问版本。
• 可操控性：通过系统提示更易于操控模型的响应行为。
• 减少幻觉：在TruthfulQA等基准测试中，GPT-4的幻觉现象少于GPT-3.5。

训练与安全性

GPT-4使用了与GPT-3.5相同的基础设施进行训练，并通过人类反馈强化学习（RLHF）进行了微调。OpenAI尚未公布模型架构或训练数据集的详细信息，但发布了一份技术报告，展示了其在多个基准测试中的结果，并概述了降低模型产生有害输出风险的努力。

性能预测与评估

由于完全训练模型需要大量计算资源和时间，OpenAI开发了通过较小模型的性能数据预测最终性能的技术。此外，OpenAI开源了Evals框架，用于基准测试LLM。该框架包含多个评估套件，OpenAI计划使用该框架跟踪新模型版本的性能，并指导未来模型能力的开发。

用户讨论与应用潜力

在Hacker News的讨论中，用户认为新的上下文长度将带来最大的影响，例如医生可以将患者的完整病史输入提示中，律师可以输入整个案件历史。然而，医疗和法律应用需要OpenAI提供更好的数据隐私保障，有用户建议使用同态加密方案。

开发者访问

开发者可以通过OpenAI的等待列表申请访问GPT-4模型。

OpenAI表示，他们期待通过社区的努力，继续改进GPT-4，使其成为改善人们生活的有价值工具。