tensorzero

介绍

TensorZero是一个开源的LLMOps平台，统一了LLM网关、可观测性、评估、优化和实验。它提供高性能统一API以访问所有主流LLM，支持多模态推理、缓存、模板、高可用性。通过UI和编程方式，它实现数据存储、指标监控、模型/提示优化和A/B测试，助力LLM应用高效开发与部署。

功能特征

• 统一LLM网关：高性能、低延迟，支持多提供商与高级推理功能
• 全面LLM可观测性：数据存储、指标监控，可导出OpenTelemetry/Prometheus
• 智能LLM评估：基于启发式与LLM评委，支持单次/端到端工作流评估
• 自动化优化：利用生产反馈，优化提示、模型及推理策略（如GEPA、SFT）
• 健壮性实验：内置A/B测试、路由、回退、重试，确保安全发布

支持平台