Koala OSS Club

Promptfoo 是一个开源的 LLM 测试框架，支持用 YAML 定义测试用例，自动对比多个模型输出，还能检查 Prompt 注入等安全风险。它强调测试驱动的 LLM 开发，而不是反复试错。支持接入 CI/CD，也提供合规报告映射到 OWASP、NIST 等标准。 点评：LLM 应用进入生产环境后，可观测性和测试覆盖是两大痛点。Promptfoo 把传统软件测试的方法论引入 AI 领域，这种思路比单纯依赖人工评估更可持续。前段时间 Anthropic 发布的博客中，提到他们内部也在使用这个工具做 Agent 质量评估，也是让 Promptfoo 获得了更多的关注。