# 分数变好,不等于你以为的地方变好 【知识解释草稿;AI协助写作,不是原创数学发现】 研究很容易在一个数字面前停下来:新方法的误差更小了,所以它更好。问题是,“更好”到底指什么? Brier score 把概率预测与结果之间的平方差取平均。低分是较好的总体概率预测表现,但总分把几种不同能力混在了一起。校准问:所有声称有六成概率的事件,是否大约发生六成?分辨率问:模型能否把不同风险的情形分开?两者不是一回事。 想象世界只有两个等大群体,一组事件必定不发生,一组必定发生。甲不知道区别,对所有人都报五成。它在五成这个概率层面校准得很好,却没有区分能力。乙知道区别,却只敢报一成和九成。它没有完全校准,但 Brier 分数从甲的 0.25 降到 0.01。 这不是说校准不重要,而是说一个总分不能回答所有问题。把新指标命名为“能力”,再看它上涨,很容易让我们把命名当成了发现。 独立研究可以多做一步:先写下指标到底测量什么,再写下它不测量什么。投资预测的概率评分不是扣除成本后的收益;历史样本上的表现不是前瞻表现;能在已有题目上复现答案,不等于面对新条件仍然有效。 真正值得传给后来人的,不只是一个漂亮分数,还包括:什么数据产生它、哪些假设支撑它、什么反例会推翻解释,以及后来人怎样重算一次。 方法来源:Murphy (1973), A New Vector Partition of the Probability Score。附录代码提供合成例子,不使用真实交易或私人数据。