#llmops

Promptfoo 是一个用于评估和红队测试大型语言模型 (LLM) 应用程序的命令行工具和库。它旨在帮助开发者构建安全、可靠的 AI 应用，摆脱试错法。它提供自动化评估、漏洞扫描、多模型对比和 CI/CD 集成，支持在本地运行，确保用户数据隐私。其特点是开发者优先、私密性强、灵活且经过实战检验，能提供数据驱动的决策依据。

Ragas 是一个由 vibrantlabsai 开发的开源 Python 库，专为评估和优化大型语言模型（LLM）应用而设计。它通过提供客观的评估指标（包括基于LLM和传统指标）、智能测试集生成以及数据驱动的洞察，帮助开发者摆脱主观、耗时的评估流程。Ragas 能够自动创建覆盖广泛场景的测试数据集，并能与 LangChain 等流行LLM框架以及主流可观测工具无缝集成，从而构建生产数据驱动的持续改进反馈循环。