微软推出了一款全新的开源工具包，专注于为企业AI Agent提供运行时安全，旨在对日益自主化的AI Agent施加严格的治理。当前，自主语言模型执行代码和访问企业网络的速度远超传统策略控制所能应对的范围，这引发了普遍的担忧。
过去，AI集成主要意味着会话界面和顾问型副驾驶系统，这些系统通常只对特定数据集拥有只读访问权限，并且严格保留人类在执行循环中的参与。而如今，企业正在部署能够采取独立行动的Agent框架，将这些模型直接连接到内部应用程序编程接口（API）、云存储库和持续集成（CI）管道。
当一个自主Agent能够阅读电子邮件、决定编写脚本并将其推送到服务器时，更严格的治理变得至关重要。静态代码分析和部署前漏洞扫描无法处理大型语言模型的非确定性性质。一次提示注入攻击，甚至是一个基本的“幻觉”，都可能导致Agent覆盖数据库或泄露客户记录。
微软的新工具包转而关注运行时安全，提供了一种在模型尝试执行操作时对其进行监控、评估和阻止的方法。这种方式优于依赖先前的训练或静态参数检查。
实时拦截工具调用层
深入了解Agent工具调用的机制，可以清楚地看到其工作原理。当企业AI Agent需要跳出其核心神经网络来执行诸如查询库存系统之类的操作时，它会生成一个命令以调用外部工具。微软的框架将一个策略执行引擎放置在语言模型与更广泛的企业网络之间。每当Agent尝试触发外部功能时，该工具包就会拦截请求，并根据一套中央治理规则检查预期操作。如果操作违反了策略（例如，一个只被授权读取库存数据的Agent试图发出采购订单），工具包将阻止API调用并记录事件，以便人工审查。
安全团队因此能获得每一个自主决策的可验证、可审计的轨迹。开发人员也从中受益；他们可以构建复杂的Agent系统，而无需将安全协议硬编码到每个单独的模型提示中。安全策略完全与核心应用程序逻辑解耦，并在基础设施层面进行管理。
大多数传统系统在设计时并未考虑与非确定性软件的交互。一个旧式大型机数据库或定制的企业资源规划（ERP）套件，并不具备抵御机器学习模型发送恶意请求的原生防御能力。微软的工具包充当了一个保护性转换层。即使底层的语言模型因外部输入而被攻破，系统的外围防线依然能够坚守。
值得注意的是，微软决定以开源许可的形式发布这个运行时工具包。