higress

介绍

Higress 是由阿里巴巴开源的云原生 AI API 网关，基于 Istio 和 Envoy 构建，现为 CNCF Sandbox 项目。它将流量、微服务和安全网关合三为一，支持 Wasm 插件。更重要的是，它提供强大的 AI 网关能力，支持统一接入各主流大模型，具备多模型负载均衡与Token限流。同时可通过插件机制原生托管 MCP（模型上下文协议）服务，方便 AI Agent 安全调用各类远程工具。

功能特征

• AI 原生网关 (大模型路由与Token限流)
• MCP 服务托管 (原生支持AI Agent工具调用)
• 三位一体 (融合流量、微服务与安全网关)
• Wasm 插件生态 (支持 Go/Rust/JS)
• 完全流式处理 (毫秒级热更新与极低开销)

支持平台