评估先行：固定问题，再比较改动

要解决的问题

提示、检索或模型改变后，“感觉更好了”能否作为发布依据？先定义怎样算成功，再对同一批问题运行比较，结论才有可检查的基础。

我的理解

Anthropic 的评估文章区分任务、判分与运行环境。我的学习方法是从一个小表开始：输入、预期、实际输出、失败原因。可以确定性检查的部分先自动判断，涉及解释与证据的部分再人工阅读。

示例与验证

比较两版检索时，保持语料和查询不变，只改变规范化步骤。下一篇实验就按这个方式记录精确匹配与规范化匹配的结果，保留同义表达仍未命中的反例。

若后续接入生成模型，还应记录模型标识、软件版本与采样配置。相同任务的输出可能变化，不能把一次成功当成稳定能力；本首版尚未运行模型评估。

适用边界与反例

预期答案本身可能写错，判分器也可能漏掉合理答案。看到分数变化时，先回看具体案例。几个手写查询有助于发现问题，却不构成总体准确率估计；扩大样本前，先补齐真实失败类型。

复习问题

1. 这次比较只改变了哪个因素？
2. 未通过的是应用行为、环境条件，还是判分标准？
3. 哪个失败样本最值得补入下一轮？

来源与核验

查阅评估文章中的任务设计、稳定环境和判分部分，以及 Transformers 的生成参数参考。本站表格结构是小型学习实践，没有复现智能体基准。

修订记录

2026-10-03：AI 助手协助起草与核对来源，作为首版评估概念样本。