AI Engineer如何判断你的 AI Agent 是否靠谱：用 Phoenix 与 Claude 做 Evals — Laurie Voss, Arize AI
Arize AI 开发者关系负责人、npm 联合创始人 Laurie Voss 带来一场实操工作坊：以一个 Claude 驱动的金融分析 Agent 为例，演示如何用 Arize Phoenix 做 tracing、读 trace、写代码 eval 与 LLM-as-a-judge eval，验证 judge 本身是否可信，用实验证明 prompt 修复有效，并最终把整套评估接入 CI。适合正在把 Agent 推向生产的团队。
这场来自 AI Engineer 的工作坊，主题是很多团队正在踩的坑：AI Agent 上线后“看起来能用”，但没人能说清它到底靠不靠谱。Laurie Voss 用一个具体的金融分析 Agent 做示范——它曾自信地写出一份报告，声称“116% 的分析师同意”，而现有检查完全没拦住。这个荒诞数字正是 Agent 失败的典型形态：不是报错，而是流畅、自信、错误。
Voss 给出的方法论核心是“先看见，再评估”。第一步用 Arize Phoenix 对 Agent 做 tracing，把每次运行的检索、工具调用、推理与生成步骤完整记录下来；第二步是认真读 trace，从真实失败中提炼评估点。这比凭空设计指标更贴近生产问题，也让后续的代码 eval 和 LLM-as-a-judge eval 有明确靶子。
工作坊最有价值的部分，是对“评估器本身”的怀疑精神。LLM-as-a-judge 很方便，但 judge 也会错；Voss 专门演示了如何测试 judge 是否可信，以及为什么某个“正确性”评估会对每份报告都判失败。这种对评估链条的二次校验，是把 eval 从演示变成工程的关键。
最后，他用实验对比 prompt 修复前后的效果，并用证据支撑从 Claude Haiku 4.5 升级到 5.5 的决策，再把整套评估挂进 CI 的 npm test。对中文 AI 工程读者而言，这是一条完整可复制的路径：trace → 读 trace → 写 eval → 验证 judge → 实验 → CI 门禁。Agent 的可靠性不是靠更长的 prompt，而是靠可观测性与持续评估体系。