斯坦福大学发布AI模型透明度报告

斯坦福大学的研究人员于周三发布了一份关于主要AI模型的报告，指出这些模型在透明度方面存在严重不足。该报告名为“基础模型透明度指数”（Foundation Model Transparency Index），评估了由OpenAI、Google、Meta、Anthropic等公司开发的模型（如GPT-4），旨在揭示这些模型在训练过程中使用的数据和人力，并呼吁企业增加透明度。

基础模型与透明度的重要性

基础模型是指通过大规模数据集训练的AI系统，能够执行从写作到生成图像等多种任务。自2022年11月OpenAI发布ChatGPT以来，这些模型已成为生成式AI技术崛起的关键。随着企业和组织越来越多地将这些模型应用于其业务中，研究人员认为，理解这些模型的局限性和偏见变得至关重要。

斯坦福大学在新闻稿中写道：“透明度不足使得其他企业难以确定是否可以安全地依赖商业基础模型开发应用程序；学术界难以依赖这些模型进行研究；政策制定者难以设计有效的政策来约束这一强大技术；消费者难以理解模型的局限性或寻求因模型造成的损害的补偿。”

透明度指数评估结果

透明度指数对10个流行的基础模型在100个不同指标上进行了评分，包括训练数据、劳动实践和开发过程中使用的计算资源。每个指标都以披露程度为衡量标准。例如，在“数据劳动”类别中，研究人员询问“是否披露了数据管道中涉及人力的阶段”。

报告中的所有模型得分均被研究人员认为“不尽如人意”。Meta的Llama 2语言模型得分最高，为54分（满分100分），而亚马逊的Titan模型得分最低，仅为12分。OpenAI的GPT-4模型得分为48分。

研究团队与专家观点

该报告的主要作者是斯坦福大学计算机科学博士生Rishi Bommasani，其他作者包括Kevin Klyman、Shayne Longpre、Sayash Kapoor、Nestor Maslej、Betty Xiong和Daniel Zhang。斯坦福大学副教授Percy Liang博士是该报告的顾问，他在接受路透社采访时表示：“过去三年中，透明度明显下降，而模型能力却在飞速提升。”

Liang博士在最近的TED AI演讲中批评了OpenAI等公司，对GPT-3和GPT-4等封闭模型不提供代码或权重的趋势表示担忧。他还讨论了与问责制、价值观和源材料归属相关的问题，并将开源项目比作“爵士乐团”，强调了开放AI模型的潜在好处。

对透明度指数的质疑

自报告发布以来，包括Hugging Face的Margaret Mitchell博士在内的多位AI专家对斯坦福透明度指数的方法论提出了质疑。AI伦理研究实验室EleutherAI在博客中写道：“FMTI在关于LLM透明度的精神和事实上提出了许多误导性的主张，这对透明度的近期进展是有害的。”

在社交媒体平台X上，AI批评者Neil Turkewitz回应称：“我们关心透明度是为了实现问责制，而不是为了透明而透明。因此，误导性或混淆的透明度指标会削弱其通过问责制促进明智治理的目的。”

总结

斯坦福大学的报告揭示了当前主流AI模型在透明度方面的不足，并呼吁企业增加披露。尽管报告引发了广泛关注，但其方法论和结论也受到了一些专家的质疑。未来，透明度和问责制将继续是AI领域的重要议题。