主要观点：大型语言模型常被描述为基础模型实例，具有强泛化能力和遵循缩放定律，能以少样本或零样本方式在各种条件下迁移，但通过简单的常识数学问题（AIW 问题）展示了所有声称强功能的最先进模型（如 GPT-4、Claude 3 Opus 等大规模先进模型）在泛化和基本推理方面的严重失效，在简单问题上平均性能低且问题模板自然变化时性能波动大，排除了是自然语言或数字解析等低级问题导致，还观察到对错误解的过度自信及各种标准干预措施失败，以此引发对当前大型语言模型能力的重新评估，同时介绍了相关代码及提交历史。
关键信息：使用简单自然语言表述的常识数学问题测试最先进模型；模型在该问题上表现不佳且有性能波动；排除低级问题原因；观察到错误解的过度自信及干预失败；介绍代码及提交版本和时间等。
重要细节：摘要中详细说明了实验过程和结果，包括模型在 AIW 问题上的表现及各种控制实验等；提交历史记录了不同版本的提交时间和文件大小等信息。