promptfoo

介绍

Promptfoo 是一个用于评估和红队测试大型语言模型 (LLM) 应用程序的命令行工具和库。它旨在帮助开发者构建安全、可靠的 AI 应用，摆脱试错法。它提供自动化评估、漏洞扫描、多模型对比和 CI/CD 集成，支持在本地运行，确保用户数据隐私。其特点是开发者优先、私密性强、灵活且经过实战检验，能提供数据驱动的决策依据。

功能特征

• 自动化LLM评估与基准测试
• LLM应用红队测试与漏洞扫描
• 多模型（如OpenAI, Anthropic, Azure等）并行比较
• 支持CI/CD自动化集成
• 本地私密运行，数据不出本地

支持平台