法院秩序！法院秩序！法官因法庭中一份疑似由 AI 生成的命令而面临强烈抗议。

佐治亚州上诉法院法官杰夫·沃特金斯（Jeff Watkins）解释称，上个月一个由三名法官组成的小组撤销了一份命令，这似乎是第一起已知的裁决，其中一名法官支持了似乎依赖虚假 AI 生成的案件引用而赢得法律诉讼的人，这引发了对 AI 可能很快决定法律纠纷的噩梦。

专家警告称，法官在法庭文件中忽视 AI 幻觉可能会变得司空见惯，尤其是在通常不堪重负的下级法院。到目前为止，只有两个州采取行动，迫使法官提高他们的技术能力并适应，以便他们能够发现 AI 警示信号，并从理论上阻止各级司法系统的干扰。

最近被撤销的命令来自佐治亚州的一场离婚纠纷，沃特金斯解释说，该命令本身是由丈夫的律师戴安娜·林奇（Diana Lynch）起草的。在许多法院，这是一种常见的做法，负担过重的法官历来依赖律师起草命令。但随着律师和非律师越来越依赖 AI 来撰写和研究法律文件，以及法官因不仔细审查 AI 生成的引用而冒批准虚假意见的风险，该协议如今面临着更严格的审查。

该错误命令部分依赖“两个虚构案件”来拒绝妻子的请愿书——沃特金斯暗示这些可能是“由生成式人工智能编造的‘幻觉’”——以及两个与妻子的请愿书“无关”的案件。

在妻子提出上诉后，林奇被处以 2500 美元的罚款，丈夫的回应（也似乎是由林奇准备的）引用了 11 个额外的案件，这些案件“要么是幻觉”，要么不相关。沃特金斯对林奇支持上诉律师费的请求感到恼火，他引用“一个新的幻觉案件”，写道这增加了“雪上加霜”。

令人担忧的是，法官无法确认虚假案件是由 AI 生成的，甚至无法确定林奇是否将虚假案件插入法庭文件中，这表明法院很难让律师对涉嫌的 AI 幻觉负责。林奇没有回应 Ars 的置评请求，在媒体关注此案后，她的网站似乎已被删除。

但沃特金斯指出，“这些文件中的违规行为表明它们是使用生成式 AI 起草的”，同时警告称，许多“危害源于提交虚假意见”。揭露欺骗可能会浪费时间和金钱，AI 的滥用可能会剥夺人们提出最佳论点的机会。虚假命令还可能损害法官和法院的声誉，并在司法系统中助长“犬儒主义”。沃特金斯警告说，如果不加以制止，这些危害可能会为未来铺平道路，在未来，“诉讼当事人可能会被诱惑通过虚假地声称对其真实性有疑问来违抗司法裁决”。

沃特金斯写道：“我们没有关于为什么被上诉人的简报反复引用不存在的案件的信息，只能推测该简报可能是由 AI 准备的。”

最终，沃特金斯将案件发回重审，部分原因是虚假案件使得上诉法院无法充分审查妻子撤销先前命令的请愿书。但无论佐治亚州案件的结果如何，最初的命令可能将永远被铭记为一个警示故事，提醒法官因未能发现法庭中 AI 的滥用而受到越来越多的审查。

“令人恐惧地可能”法官的 AI 失误将被重复

德克萨斯州第五上诉法院的退休法官、福克纳大学的全职法学教授约翰·布朗宁（John Browning）去年发表了一篇沃特金斯引用的法律文章，警告律师使用 AI 的伦理风险。在文章中，布朗宁强调，当时最大的担忧是律师“将使用生成式 AI 生成他们视为最终草案的工作产品，而不确认其中包含的信息的准确性或不运用自己的独立专业判断”。

如今，法官正受到越来越多的审查，布朗宁告诉 Ars，他认为“我们将看到更多类似佐治亚州离婚纠纷的案件”，其中“审判法院无意中纳入了律师在拟议命令中包含的虚假案件引用”，甚至可能在“拟议的事实认定和法律结论”中。

布朗宁告诉 Ars：“我可以设想在任何数量的情况下都会出现这样的场景，其中审判法官维持着繁重的案件日程，并希望律师在提交拟议命令时进行合作，不仅包括家庭法案件，还包括其他民事甚至刑事案件。”

根据代表法院领导和专业人士的非营利组织国家州法院中心的报道，像 ChatGPT 这样的 AI 工具使高容量文件提交者和无法聘请律师的无代表诉讼当事人更容易提交更多案件，可能会进一步使法院陷入困境。

普林斯顿语言+法律、人工智能与社会（POLARIS）实验室的研究员彼得·亨德森（Peter Henderson）告诉 Ars，他预计像佐治亚州离婚纠纷这样的案件目前还不会每天都发生。

他认为，可能会有“一些被忽视的幻觉引用”，因为通常情况下，通过“美国法律制度的对抗性本质”会标记出虚假案件。布朗宁进一步指出，审判法官通常“非常勤勉地发现律师何时引用有问题的权威或在法庭上误导关于实际案件的内容或立场”。

亨德森同意布朗宁的观点，即“在案件负荷更高且对抗性程序更少的法院，这种情况可能更常发生”。但亨德森指出，上诉法院发现虚假案件是对抗性程序起作用的一个例子。

虽然在这种情况下确实如此，但例如，如果离婚法律程序让任何人感到疲惫不堪，他们可能没有精力或资源去发现和推翻错误的命令，就可能不会寻求上诉。

法官的 AI 能力日益受到质疑

虽然最近的历史证实，律师因引用虚假 AI 生成的案件而面临被制裁、被解雇或被暂停执业的风险，但法官可能只会因未能发现律师的错误甚至使用 AI 研究自己的意见而面临尴尬。

并非每位法官都准备在没有适当审查的情况下接受 AI。为了保护法律系统，一些法官已经禁止使用 AI。其他法官则要求披露——有些甚至要求知道使用了哪些特定的 AI 工具——但这种解决方案并未在所有地方流行起来。

布朗宁指出，即使所有法院都要求披露，披露仍然不是一个完美的解决方案，因为“律师甚至可能难以辨别他们是否使用了生成式 AI”，因为 AI 功能越来越嵌入到流行的法律工具中。布朗宁建议，有一天，“期望”律师“验证每一个生成式 AI 输出”可能最终会变得不合理。

布朗宁的文章指出，最有可能的是——正如密歇根州的一个司法道德小组所总结的那样——法官将决定“在 AI 不断扩大使用的情况下，他们的法院的最佳行动方案”。这位前法官告诉 Ars，这就是为什么教育对于律师和法官来说都将是关键，因为 AI 在法院系统中不断进步并变得更加主流。

在即将于 2025 年夏季发表在《上诉实践与程序杂志》上的“AI 法官的黎明”一文中，布朗宁试图安抚读者，称 AI 尚未引发法律 dystopia（反乌托邦）。这位前法官暗示，人类不太可能很快面临“吐出 AI 生成意见的机器人法官”。

至少有两个州——密歇根州和西弗吉尼亚州——“已经发布了司法道德意见，要求法官在涉及 AI 时具备‘技术能力’”，布朗宁告诉 Ars。他还指出，“其他州最高法院已经通过了关于 AI 的官方政策”，这进一步给法官施加了压力，要求他们加强对 AI 的学习。

与此同时，几个州已经成立了特别工作组来监测其地区的法院系统并发布 AI 指南，而弗吉尼亚州和蒙大拿州等州已经通过法律，要求在刑事司法决策中使用的任何 AI 系统都需要人工监督。

法官必须准备好发现明显的 AI 警示信号

在法院弄清楚如何驾驭 AI 之前（这一过程在不同法院可能有所不同），布朗宁主张为法官提供更多的教育和伦理指导，以引导他们对 AI 的使用和态度。这可以帮助法官避免对许多 AI 陷阱的无知和对 AI 输出的过度自信，潜在地保护法院免受 AI 幻觉、偏见和证据挑战的影响，这些挑战可能会悄悄绕过需要人工审查的系统并扰乱法院系统。

教育法官的一个被忽视的部分可能是揭示 AI 在美国法院的影响。亨德森的团队计划进行研究，追踪律师在法院中最常使用哪些模型。这可以揭示“这些模型推动的潜在法律论点”，以影响法院——以及需要哪些司法干预，亨德森告诉 Ars。

亨德森告诉 Ars：“在未来几年，研究人员——就像我们小组（POLARIS 实验室）中的那些人——将需要开发新的方法来跟踪 AI 将产生的巨大影响，并了解干预的方法。例如，是否有任何模型在许多不同的案件中推动了特定的法律教义观点？它是否明确接受过这样的训练或指示？”

亨德森还主张建立“一个开放、免费的集中式案例法存储库”，这将使每个人都更容易检查虚假的 AI 引用。亨德森说：“有了这样一个存储库，我们这样的团体更容易构建能够快速准确地验证引用的工具。”这可能是对当前分散的法院报告系统的重大改进，该系统经常将案例信息隐藏在各种付费墙后面。

共同主持麻省理工学院“负责任使用生成式 AI 用于法律特别工作组”的 Dazza Greenwood 没有时间发表评论，但他向 Ars 指出了一个 LinkedIn 线程，在那里他建议可能需要采取结构性应对措施，以确保每次都能发现所有虚假的 AI 引用。

他建议法院创建“一个赏金系统，即法庭的对方当事人或其他官员因在司法文件中引用他们首先报告的伪造案件而获得罚款支付”。这样，律师将知道他们的工作将“始终”受到检查，因此如果他们一直在自动提交 AI 起草的文件，他们可能会改变自己的行为。反过来，这可以减轻法官充当监督者的压力。这也不会花费太多——主要只是将律师被制裁的费用重新分配给 AI 发现者。

格林伍德建议，像这样的新颖解决方案可能是必要的。在回答一个问题，即“羞耻和制裁”是否足以阻止法庭中的 AI 幻觉时，格林伍德表示，消除 AI 错误至关重要，因为这“给原本一般优秀的律师和原本一般优秀的技术都带来了坏名声”。继续禁止 AI 或暂停律师作为首选解决方案，可能会在案件可能激增的情况下耗尽法院资源，而不是直接面对问题。

当然，不能保证赏金系统会奏效。但“知道你的补救措施将被单独检查并且伪造的引用将被报告的这种明确信心是否足以最终……说服那些走捷径的律师他们不应该走捷径？”

在没有像亨德森想要建立的虚假案件探测器的情况下，专家告诉 Ars，有一些明显的警示信号，法官可以注意到以发现 AI 幻觉的文件。

亨德森告诉 Ars，任何包含“123456”的案件编号都可能值得审查。布朗宁指出，AI 也倾向于混淆案件的地点。布朗宁说：“例如，引用一个声称是德克萨斯州案件但有‘S.E. 2d’记者的案件是没有意义的，因为德克萨斯州的案件将在西南记者中找到。”他指出，一些上诉法官已经依赖这个警示信号来发现 AI 的滥用。

这些警示信号可能更容易用亨德森实验室想要制作的开源工具进行检查，但布朗宁说，任何曾经使用过聊天机器人的人可能都熟悉其他表明 AI 使用的迹象。

布朗宁说：“有时一个警示信号是从幻觉案件中引用的语言；如果它有一些有时会暴露 AI 使用的生硬语言，它可能是一个幻觉。”

法官已经发布 AI 辅助意见

几个州已经成立了像格林伍德这样的特别工作组，以评估在法院中使用 AI 的风险和收益。在佐治亚州，佐治亚州司法委员会人工智能与法院特别委员会在 7 月初发布了一份报告，提供“在该州 AI 使用增加的情况下帮助维护公众对司法系统的信任和信心的建议”。

采纳委员会的建议可以建立“长期领导和治理”；批准的 AI 工具存储库、司法专业人员的教育和培训；以及佐治亚州法院使用 AI 的更多透明度。但委员会预计，在 AI 使用继续增长的情况下，实施这些建议需要三年时间。

随着法官开始探索使用 AI 助手来帮助起草他们的文件，情况可能会进一步复杂化，委员会得出结论，现在判断是否应改变法官的行为准则以防止“无意使用有偏见的算法、不当委托给自动化工具或在司法决策中滥用 AI 生成的数据”还为时过早。这意味着，至少在目前，佐治亚州不会有行为准则的改变，在佐治亚州，唯一被认为是 AI 幻觉影响法官的案件已经被发现。

值得注意的是，委员会的报告还证实，没有法院可以遵循的榜样，因为“关于司法系统采用 AI 技术，没有完善的监管环境”。曾担任现已解散的德克萨斯州 AI 特别工作组主席的布朗宁告诉 Ars，缺乏指导的法官需要保持警惕，以避免践踏法律权利。（德克萨斯州律师协会的一位发言人告诉 Ars，特别工作组的工作“已经结束”，并“导致创建了新的新兴技术常设委员会”，该委员会在最近推出的AI 工具包中为法官提供一般提示和指导。）

布朗宁说：“虽然我绝对认为律师在 AI 使用方面有自己的责任，但我认为法官在 AI 使用方面也有类似的责任保持警惕。”

布朗宁建议，法官将继续处理不仅来自自行诉讼的当事人，还来自新兴的年轻律师（他们可能更倾向于使用 AI），甚至是因未检查 AI 草案而被制裁高达 5000 美元的资深律师的 AI 驱动的提交文件。

在他即将发表的“AI 法官”文章中，布朗宁指出至少有一位法官，第十一巡回上诉法院法官凯文·纽瑟姆（Kevin Newsom），在为一起涉及保险覆盖问题的民事案件和一起专注于量刑指南的刑事案件准备意见时，将 AI 用作“小型实验”。布朗宁似乎在呼吁法官的自我意识，让他们学习，以便他们可以使用 AI 来增强他们的决策制定，并可能扩大公众对法院的信任，而不是破坏它。

布朗宁写道：“无论支持法官决策的技术进步如何，最终责任始终将在于有血有肉的法官以及他对非常人性的品质的应用——法律推理、同理心、对公平的强烈关注以及对道德的坚定不移的承诺。这些品质永远无法被 AI 工具复制。”