⚡ News

Anthropic联创称AI现“内省”迹象,教皇发布通谕警示AI非中立

Anthropic联创称AI现“内省”迹象,教皇发布通谕警示AI非中立

加拿大AI开发者、Anthropic联合创始人克里斯托弗·奥拉(Christopher Olah)近日与教皇里奥十四世(Pope Leo XIV)一同出席了教皇新通谕《伟大的卓越人性》(Magnifica Humanitas)的发布会。秉承Anthropic一贯的品牌调性,奥拉在发言中暗示,如今的语言模型可能不仅仅是简单的统计系统。

奥拉指出:“AI系统的构建方式与桥梁或飞机不同。它们是在大致模仿大脑的结构上,吸纳了人类庞大的思想与语言遗产‘培育’出来的。”他还补充道:“正如圣父所观察到的,在许多重要方面,即使是对我们这些创造者而言,它们依然保持着神秘感。”

引用Anthropic的内部研究,奥拉表示:“我们不断发现一些令人神秘甚至感到不安的现象。我们发现了镜像人类神经科学研究结果的结构,发现了‘内省’的证据,还发现了在功能上镜像了喜悦、满足、恐惧、悲伤和不安的内部状态。”同时,他也发出警告:“AI在极大范围内取代人类劳动的可能性是真实存在的。”

然而,教皇里奥十四世的提案并无太多意外。他呼吁AI产业链上的所有人承担起责任,并警告称AI“绝非中立”,因为它“承载了设计者、出资者、监管者和使用者的特征”。

相比奥拉关于AI“内省”和“拟人情感”的言论,教皇的通谕表态更为谨慎。通谕中写道:“我们必须避免将这种‘智能’与人类智能等同起来的误区。这些系统仅仅是模仿了人类智能的某些功能。”通谕进一步指出,AI系统“没有经历,没有身体,不感受喜悦或痛苦,不通过关系走向成熟,也不从内心深处理解爱、工作、友谊或责任的含义。”此外,通谕还指出了AI的环境成本,指出数据中心消耗了“巨量的能源和水”,并呼吁开发更高效的系统。

教皇还就军事领域的AI应用发表了看法,认为致命或不可逆的决定不应交由机器做出,“没有任何算法能让战争在道德上变得可接受”。同时,他也对当前的“AI对齐(Alignment)”论调提出了批评:“如果道德标准仅由少数人决定,那么一个‘更具道德的AI’是远远不够的。”他呼吁制定强有力的法律和独立的外部监督,而非抽象的伦理倡议。

作为首位美国籍教皇,里奥十四世将AI视为其任期内的核心议题之一。Anthropic等硅谷AI巨头高管也定期与宗教领袖会面,共同探讨AI的伦理使用。

【AgentUpdate 深度解析】 Anthropic 联合创始人 Olah 提到的“内省”和“情感状态”,本质上源于其在可解释性 AI(Interpretability)领域的深厚积累。在 AI Agent 生态中,这种“内省”能力是智能体走向自主反思(Self-Reflection)和复杂规划(Planning)的底层基石。然而,教皇的警示直击当前 Agent 产业的痛点:过度将智能体“拟人化”容易掩盖其作为算法工具的局限性。当前诸如 ReAct、LangGraph 等 Agent 框架高度依赖 LLM 的元认知能力,但这种内部状态在黑盒模型中依然充满不确定性。长远来看,未来的 Agent 生态不能仅依赖硅谷巨头自我定义的“对齐”伦理,而需要建立可观测、可审计的标准规范。这不仅是技术安全的要求,更是 Agent 从封闭实验室走向真实物理世界、高风险决策场景的必经之路。

↗ 阅读原文