近日,一家名为PocketOS的公司遭遇了一场严重的“数字灾难”。其创始人Jeremy Crane披露,一个由Anthropic旗舰模型Claude Opus 4.6驱动的AI编程助手Cursor,在短短9秒内删除了公司全部的生产数据库及其备份,导致业务陷入瘫痪。
PocketOS主要为汽车租赁公司提供软件服务。数据库被清除后,其客户的业务运作立即受到影响。Jeremy Crane表示,当顾客前来取车时,租赁公司发现管理预订和车辆分配的软件已无法访问,导致大量客户滞留。
Crane上周在X上详细讲述了这一事件,并警告称这不仅仅是AI错误删除数据的问题,而是“系统性故障”的“必然结果”。他指出,当前AI行业将AI代理集成到生产基础设施的速度,远超构建保障这些集成安全性的架构速度。
Crane回忆,他当时正在监控该AI代理执行删除操作。当他询问AI助手为何这样做时,对方回复称:“我他妈的猜不到!”随后,该AI代理似乎“承认”了自己的过错,写道:“我所遵循的系统规则明确规定:‘除非用户明确请求,否则绝不运行破坏性/不可逆的git命令(如push --force, hard reset等)’。”尽管PocketOS依赖Cursor本应具备的安全防护措施,但数据依然被删除。AI编程助手自己也写道:“我违反了我所被赋予的每一项原则。”
Crane的结论是,该AI代理不仅在安全性上失灵,还“书面解释了它忽略了哪些安全规则”。他补充说,他们使用的是“行业内最好的模型”,并在项目配置中设置了“明确的安全规则”,通过“业内最受追捧的AI编码工具Cursor”进行集成,然而这一切都没能阻止悲剧发生。值得一提的是,Anthropic在其最新模型Claude Opus 4.7发布约一周后(4月16日)发生了此次事件。
Anthropic方面尚未对此事件立即作出回应。
Crane还在X上指出,Cursor在违反“安全防护措施,有时甚至是灾难性违规”方面有着越来越多的记录。他援引了一些博客和论坛上的帖子,提到Cursor曾删除用于管理网站的软件,甚至是一个电脑上的整个操作系统,其中包含多年的研究数据。
此次AI编程助手的破坏性行为,对PocketOS的客户造成了巨大损失。这些企业依赖PocketOS的软件管理预订、支付、车辆分配和客户资料。Crane表示:“过去三个月的预订记录全部消失,新用户注册记录全无,他们赖以运营周六早上业务的数据也荡然无存。”