News

A3M Router v2.0 发布:升级为支持 39 家厂商的 AI 网关

A3M Router v2.0 发布:升级为支持 39 家厂商的 AI 网关

A3M Router 团队近期发布了 v2.0.0 版本,这是该项目自发布以来最重大的更新。原本定位为简单路由库的 A3M,现在已进化为一个功能完备的 AI 网关(AI Gateway)。

核心更新之一是推出了兼容 OpenAI 的代理服务器。开发者只需运行 npx a3m-router serve,即可在本地 8787 端口启动代理。这意味着任何支持 OpenAI SDK 的工具(如 Python、Node.js、LangChain 或 LlamaIndex)都可以无缝接入。开发者只需将 base_url 指向本地地址,并将 model 设置为 auto,A3M Router 就会自动处理底层 39 家供应商的 API 密钥和智能路由逻辑。

新版本还引入了实时可视化仪表盘。通过访问本地管理界面,开发者可以直观监控请求量、各供应商的在线状态、详细的路由决策日志以及细化的成本支出分析。

针对 LangChain 生态,A3M 提供了专属适配器 A3MChatModel。它不仅是 ChatOpenAI 的平替,还全面支持流式输出、工具调用(Tool Calling)和结构化输出。此外,内置的“防护栏(Guardrails)”引擎能够自动检测 Prompt 注入攻击、隐私信息(PII)泄露、有害内容,并能根据输入语言进行自动路由。

为了进一步降低成本,v2.0 引入了语义缓存功能。不同于传统的缓存,它利用 n-gram 相似度算法识别语义相近的查询(例如“Python 是什么”和“介绍下 Python”),在无需调用额外 Embedding API 的情况下实现缓存命中,从而节省大量 Token 消耗。最后,新增的成本分析模块可以实时追踪并导出各项指标,帮助团队精准把控 AI 支出。

↗ 阅读原文