近年来，我们听过太多律师因使用生成式AI（Generative AI）而在起诉书中出现虚假引用、虚假引言及其他重大错误的案例。这通常发生在案卷中，当对手或法官发现并指出这些错误时，会用“法庭委婉语”斥责他们浪费大家时间。有时这会导致严重的惩罚。然而，在最近的一次上诉听证会上，法院的现场直播镜头实时记录了这一尴尬瞬间：一名律师因疑似使用AI虚构案例而被当场抓包。
今年5月20日，在纽约州最高法院上诉分庭（New York Supreme Court Appellate Division）的庭审中，法官Valerie Brathwaite Nelson和Hector LaSalle对原告律师进行了长达20多分钟的严厉斥责，称这一局面“令人震惊、担忧、失望且悲哀”。该案原告Judith Landberg因在人行道上被树根顶起的砖块绊倒而起诉纽约市。在听证会上，她的律师Michael Sanders正试图就人行道的定义进行辩论。
法官Nelson指出：“在准备这次口头辩论并审查上诉人的陈述书时，法庭注意到原告提交的陈述书中至少引用了三个虚假案例。这些案例以及引用的语言似乎完全不存在。”不仅如此，Nelson法官还表示，Sanders还引用了另外10个涉嫌歪曲法律的案例。面对法官“你如何回应”的质问，Sanders瞬间陷入被动，称自己还没准备好就这些具体的引用发言。
Nelson法官迅速打断了他，并指出，根据专业行为准则第Rule 3.3 A条，律师不得蓄意向法庭做出虚假的事实或法律陈述，或在发现后不予纠正。Sanders结结巴巴地表达了歉意，并声称不知道这些具体案件的出处。尽管法官没有直接点名“生成式AI”，但在当前律师频繁使用大语言模型（LLM）撰写起诉书并频频翻车的背景下，这几乎可以肯定是AI幻觉带来的后果。
本案例再次将大语言模型的“幻觉”缺陷推向了风口浪尖。在法律这种需要绝对严谨性的行业中，现有的泛用型 AI 助手在缺乏强约束机制下极易“一本正经地胡说八道”。相比于简单的 prompt 提示，行业亟需引入更成熟的 RAG（检索增强生成）架构或专有法律知识库 Agent，通过精确的召回比对和多 Agent 协同校验机制（如 Validator Agent 专门负责引文真伪核验）来约束 LLM 的输出。对于 AI Agent 生态而言，这表明“端到端生成”正在向“受控工作流生成”转变，唯有具备严格事实核查（Fact-checking）能力的垂直领域 Agent，才能真正跨越商业化落地的“信任鸿沟”。
