News

AI Agent信任度提升但治理滞后:集中管理平台成关键

AI Agent信任度提升但治理滞后:集中管理平台成关键

OutSystems发布的最新报告指出,业界对代理型AI(agentic AI)的信任度正在显著提升。报告显示,73%的受访者表示对AI代理的自主行动持有高度或中度信任,这一比例相较于该公司去年进行的类似调查上升了约10%。此外,对第三方AI工具生成的代码或工作流的信任度也达到了67%,这与去年仅有40%的受访者“基本信任”生成式AI能独立编写代码的情况相比,有了大幅增长。

尽管信任度提高,但在AI治理方面,多数企业仍缺乏统一策略。调查发现,仅有36%的受访者采取了集中式AI治理方法,而64%表示缺乏此类设施。其中,41%的企业依赖于按项目实施的规则。报告还指出,三分之二的受访者认为构建“人工在环”(human-in-the-loop, HITL)的检查点在技术上存在难度,因为这需要复杂的编排机制来暂停代理,相当于在可能完全自主的运行中插入手动制动。

许多组织似乎正在部署更为宽松的监督模型。报告作者指出,如果这种宽松监督的趋势持续,代理型AI的普及速度可能会超过其问责机制的建立。对于希望在受监管或任务关键型环境中扩展AI代理的企业,调查结果强调,应将编排(orchestration)和可审计性(auditability)视为产品设计的一部分。在合规性检查中,以日志文件形式存在的“面包屑踪迹”(breadcrumb trails)和明确的职责划分,被认为是任何代理型AI部署的重要组成部分。

报告还揭示了对“AI蔓延”(AI sprawl)的普遍担忧,94%的领导者对此表示关注,尽管报告未明确定义,但这可以被理解为企业缺乏一个能全面监管所有AI部署的集中管理平台。其中,39%的领导者对此问题表示非常或极其担忧,而目前只有12%的企业正在使用集中式平台来控制这种蔓延。

↗ 阅读原文