概率校准与不确定性：分数能否支持决策

预测 0.8 应该怎样解释

对一组预测概率约为 0.8 的样本，若长期约 80% 为正例，可称这个区间校准较好。单个样本最终只有真/假结果；校准是样本集合上的概率一致性，不能保证某条预测正确。

知识点与边界

概念	检查什么	不能推出什么
区分能力	正例是否排在负例前面	AUC 高不保证 0.8 对应 80%
可靠性图	分箱预测均值与真实频率	少量样本的箱非常不稳定
Brier score	平均平方概率误差	同时受校准、区分能力和样本不确定性影响，不是纯校准指标
log loss	给真实类别低概率会受到较大惩罚	不提供每条样本事实正确的保证
sigmoid/isotonic 校准	将模型分数映射为更合适的概率	校准器也可能过拟合，尤其小数据的灵活映射
分布外与拒答	检查未知输入、低覆盖和高风险决策	训练分布内的校准不能自动外推到新场景

校准数据不能是拟合基础模型所用的同一批预测训练样本。使用独立校准集或合适的交叉验证预测，最后用独立评估检查；校准不会自动修复错误标签和分布变化。

原创手算与反例

10 个虚构样本都预测 0.8，其中 8 个正例。该小组的正例比例为 0.8；Brier 均值为 (8×0.2²+2×0.8²)/10=0.16。小组比例恰好一致，仍不足以证明整体模型校准良好。

语言模型某个 token 的概率是给定上下文下的生成概率，不等于答案真实的概率。要求模型自报“95% 确信”也不能替代独立的事实核验。

练习与完成标准

设计可靠性图需要的预测、标签、分箱样本量和日期字段；为新地区数据设计校准复核与拒答条件。注明训练、校准、测试的隔离关系。这里没有训练校准器或真实置信区间。

复习问题

1. 校准改善能否保证 AUC 改善？
2. 为什么 Brier 降低不能单独证明校准改善？
3. 分布变化后为什么要重新检查概率？

阅读依据与核验范围

• doc/modules/calibration.rst

2026-10-07：AI 助手协助原创整理并核对原始章节。示例、手算和练习由本站设计；未执行的任务不作为实验结论。