SOURCE // NEWS

Anthropic呼吁全球暂停AI研发:防范“递归自我改进”失控

Anthropic呼吁全球暂停AI研发:防范“递归自我改进”失控

人工智能安全领域的先锋巨头 Anthropic 近日提出了一个引人瞩目的倡议:呼吁全球在必要时“临时暂停”先进AI的开发,并计划召集政策制定者共同商讨强人工智能带来的潜在毁灭性风险。这一提议是在其最新发布的技术报告中提出的,该报告详细阐述了其旗舰模型 Claude 在“递归自我改进”(Recursive Self-Improvement)方面的最新进展,即AI系统能够自主开发出比自身更强大、更高效的新版本。

“递归自我改进”一直被AI安全研究人员视为一个敏感的分水岭。许多学者担忧,一旦AI具备自主迭代的能力,可能会引发智能爆炸,最终导致人类彻底失去控制权。在业界广为流传的“AI 2027毁灭情景”中,正是描绘了高度智能的 AI Agent 能够不断设计更聪明的自主个体,进而对人类社会造成系统性威胁。Anthropic 在文章中指出,如果给予充足的计算资源(Compute),当前的趋势表明 Claude 已经表现出能够完全自主设计并开发其继任者的潜力。

为了应对这一潜在失控风险,Anthropic 提议组织由政策制定者、研究人员、民间组织及其他AI企业参与的高层对话。然而,这一崇高的安全姿态却在随后遭遇了舆论的质疑。据《金融时报》(Financial Times)爆料,这家主打“AI安全”的公司实际上已经向美国国家安全局(NSA)派遣了嵌入式技术人员。尽管此前与五角大楼存在技术使用的法律争议,但据报道,这些工程师目前正协助 NSA 利用 Anthropic 专门定制的 Mythos 模型执行攻击性的网络安全行动(Offensive Cyber Operations)。

伦敦大学学院(UCL)的 Steven Murdoch 教授对此指出,一边呼吁全球为AI安全而“暂停研发”,一边又暗中支持情报机构开发网络武器,这两者存在明显的逻辑冲突。他认为 Anthropic 所谓的“安全”定义过于狭隘,其在支持美国官方发展进攻性技术方面从未展示过真正的抗拒态度。此外,他指出本次 Anthropic 发表的文章并未展示出任何革命性的技术突破,目前的进展仍局限于 AI 能够协助加速代码编写和实验运行,尚未真正实现完全意义上的自主递归进化。

AgentUpdate 深度解析

Anthropic 此次抛出“临时暂停”与“递归自我改进”论调,表面上是在为 AI 治理敲响警钟,实则折射出当前头部 AI Agent 厂商在商业利益与技术治理上的深刻撕裂。从技术路径来看,“递归自我改进”是实现通用人工智能(AGI)和完全自主 Agent(Autonomous Agents)的核心引擎。一旦 Agent 能够接管自身的代码重构与实验迭代,其进化速度将呈指数级爆发。然而,Anthropic 一边利用安全叙事游说政府实施准入监管,试图抬高行业门槛;另一边又深度介入 NSA 的军事与攻防网络行动。这表明,AI Agent 正在迅速从单纯的效率工具演变为国家级战略对抗的“数字军备”。未来的 Agent 生态将不再仅仅面临技术安全性的考验,更将被深深卷入地缘政治与防御/进攻性武器化博弈之中,这对于开源 Agent 社区和去中心化 AI 生态的良性发展提出了更为严峻的挑战。