评估

本主题包含 9 题。

目录

• 评估方法论：从 LLM 评估到 Agent 评估
• LLM-as-Judge：使用 LLM 评估 LLM 输出
• Agent Benchmark：如何设计端到端的 Agent 测试？
• 回归测试：如何检测 Agent 性能退化？
• Trace 和 Span：Agent 执行的可观测性
• 评估工具对比：Ragas、LangSmith、Braintrust
• 静态 Benchmark 的陷阱：为什么 95% 准确率在生产中会失效？
• 如何构建持续评估（Continuous Evaluation）流水线？
• Eval Harness 设计与生态选型：lm-evaluation-harness / Inspect AI / HELM / METR