玻尔百科在任何依赖预测的领域——从预报明日天气到预测患者的临床结果——都会出现一个根本性问题：这个预报到底好不好？仅仅“正确”是不够的，而像准确率这样的常用指标可能具有危险的误导性。我们需要一种方法来量化一个复杂的模型相比于一个简单、符合常识的替代方案所带来的真正价值。本文通过全面介绍技能分数这一评估预测性能的通用框架，来应对这一关键需求。在接下来的章节中，您将首先深入探讨其“原理与机制”，揭示什么是技能分数、如何计算，以及为何选择一个比较基线至关重要。随后，“应用与跨学科联系”一章将展示这一强大概念如何被应用于从大气科学、工程学到公共卫生的广泛学科中，彰显其作为做出更优决策的多功能工具的作用。我们首先从问题的核心开始探索：一个简单而直观的理念——只有当一个预报比猜测更“聪明”时，它才具有“技能”。
想象你是一位农民，你的生计依赖于天气。一家公司向你提供一项全新、复杂且昂贵的天气预报服务。你如何判断这笔钱花得值不值？你不会只孤立地看它的误差——一度的预报误差，根据情况不同，可能好得惊人，也可能糟得透顶。相反，你会将它与你已有的做法进行比较。也许你会仰望天空，做出猜测。或者，你可能依赖一条简单的经验法则：“明天的天气会和今天一样。”这种基于常识的比较正是技能分数的灵魂所在。一个预报在绝对意义上并非“好”或“坏”；它相对于一个参考，即基线，才具有“技能”。这个基线是我们衡量简易性的标准，是衡量任何复杂知识声明的标尺。
这个直观的想法可以用一个优美而简单的数学形式来表达。对于许多我们用分数来衡量误差且分数越低越好的常见情况（比如我们熟悉的均方误差，即 MSE），技能分数（）定义为：
让我们花点时间来理解这个公式告诉我们什么。通过一点代数运算，我们可以将其重写为 。这不过是模型相比于基线所实现的误差的相对减少量。其解释直接而有力：
：当 时出现。你的模型是完美的。它消除了参考预报的所有误差。
：此时，。你复杂的模型并不比简单的基线更好。它没有技能。
：你的模型优于基线。 的技能分数意味着你的模型相比于参考，误差减少了 。这是对附加价值的清晰衡量。
：这是一个关键且常常令人意外的结果。它意味着 。你的预报实际上比简单的基线更差。它具有“负技能”。这不仅仅是未能提供帮助；这是一个警告，表明该模型正在提供具有主动误导性的信息。对于一位使用模型预测患者结果的医生来说，负技能分数是对“首先，不造成伤害”原则的严正提醒——坚持使用基线会在平均上带来更好的结果。
一个技能分数的意义取决于你选择的基线。基线的选择并非一个单纯的技术细节；它定义了你试图回答的关于预报价值的根本问题。让我们来认识两个最常见且有用的对手。
气候态基线代表了最简单的“知识”形式。它总是预报特定时间和地点的长期平均值。凤凰城7月10日的平均温度是多少？西雅图11月份下雨的历史概率是多少？一个对气候态表现出技能的模型，证明了它不仅仅知道一年中的时节。
对于像温度异常（与季节平均值的偏差）这样的连续变量，气候态预报总是零。这个预报的均方误差就是 ，也就是温度异常本身的方差 。因此，相对于气候态的技能衡量了你的模型能够解释天气自然变率的多少。
这个概念可以优美地扩展到概率。对于像“是否会下雨？”这样的二元事件，气候态预报是一个等于历史基础率 的恒定概率。这个基线的误差，用布里尔分数（我们稍后会探讨）来衡量，结果是 。这个量不仅仅是一个数字；它是事件本身的基本不确定性，或方差。因此，相对于气候态的技能分数衡量了你的预报成功消除了多少内在的不确定性。这是预测与信息之间深刻的联系。
持续性基线遵循一个简单而固执的规则：“未来将与现在相同。”对于一个预报时效为 的预报，它预测 时刻的状况将与 时刻观测到的状况完全相同。这听起来可能很天真，但对于许多具有惯性的物理系统，如大气温度，它对于短期预报来说是一个出乎意料的强劲对手。
我们可以量化它的强度。对于一个方差为 、滞后 时的自相关为 的平稳过程，持续性预报的均方误差是 。这个优雅的公式揭示了，如果自相关很高（即 接近 1），天气变化缓慢，持续性预报的误差就非常小。战胜持续性预报意味着你的模型比这个简单的惯性规则更能理解系统的动力学——即它是如何变化的。一个预报完全有可能对气候态有技能（它知道现在是夏天，不是冬天），但相对于持续性预报却是负技能（它未能预测从一小时到下一小时的细微变化）。
这引出了一个检验的黄金法则：你只能在相同基线和相同数据上比较不同模型的技能分数。将一个模型在多变的春季对持续性预报的技能，与另一个模型在平稳的秋季对气候态的技能进行比较，就像比较短跑运动员和马拉松运动员的成绩一样——他们参加的不是同一个比赛 [@problem_-id:4044123]。
世界并不总是关于预测一个单一的数字。我们常常必须处理不确定性和离散选择。然而，技能原则仍然是我们坚定的向导。
我们如何为一个说“有70%降雨概率”的预报评分？答案是布里尔分数，对于单个事件，它定义为 ，其中 是预报概率， 是结果（如果事件发生则为1，否则为0）。在多次预报中该量的平均值即为模型的布里尔分数。
布里尔分数真正非凡之处在于它是一个严格评分（proper score）。这是决策理论中一个深刻而优美的概念，意味着只有当预报员陈述其真实信念时，该分数才能达到最优（在此情况下是最小化）。它奖励诚实。如果你认为概率是 ，你最好的策略就是预报 。
于是，布里尔技能分数（BSS）就是我们熟悉的技能公式应用于这个新的误差度量：。在医疗环境中，一个BSS为 的败血症预测模型告诉临床医生，与简单地对每位患者使用医院的平均败血症发生率相比，该模型将均方概率误差减少了57.3%——这是一个清晰且具有临床相关性的改进衡量标准。
现在考虑一个简单的“是/否”预报，比如龙卷风警报。我们可以用一个 的列联表来总结其性能，表中包含命中（预报事件发生，事件确实发生）、漏报（未预报，但事件发生）、虚警（预报，但事件未发生）和正确否定（未预报，事件也未发生）。
这里潜藏着一个巨大的危险：对于罕见事件，简单的准确率，即正确预报的总比例，具有严重的误导性。如果龙卷风只在 的日子里发生，一个总是预测“无龙卷风”的预报员将有99.9%的准确率，但对于唯一重要的任务，他们没有提供任何价值。
为了摆脱这个陷阱，我们需要公平评分（equitable scores）。公平评分的设计目的是为一个无用的预报（如随机猜测）赋予0分。这引入了一个“随机机会”的基线。两个最重要的公平评分是Heidke 技能分数（HSS）和Peirce 技能分数（PSS）。
Heidke 技能分数（HSS）衡量的是，相对于一个与模型保持相同“是”和“否”预测总频率的随机机会预报，准确率的提高程度。
Peirce 技能分数（PSS），也称为真实技能统计量，其定义极其简洁：。命中率是你正确预警的实际龙卷风的比例，而虚警率是你为没有龙卷风的日子发出不必要警报的比例。PSS衡量了预报区分事件日与非事件日的能力。对于随机猜测，命中率等于虚警率，所以PSS自然为0。
这里存在一个关键的区别。想象一个单一的龙卷风预警系统，它具有固有的区分龙卷风和非龙卷风天气的能力（由固定的命中率 和虚警率 代表）。现在，我们在两种不同的气候中使用这个系统：一个高发区如俄克拉荷马州，和一个低发区如缅因州。
Peirce 技能分数在这两个地点将是相同的。因为它只依赖于 和 ，所以它衡量的是预报系统内在的质量，而与龙卷风实际发生的频率无关。
Heidke 技能分数在缅因州将显著更低。为什么？在罕见事件的气候中，真实预报和随机机会基线都通过正确预测绝大多数的非事件而获得非常高的准确率。相对于已经很高的基线准确率，改进的空间缩小了，从而拉低了HSS值，即使预报员发现龙卷风的能力并未改变。
为了在不同领域间比较一个预报系统的性能，或者为了公平地评估罕见、高影响事件的技能，像PSS这样的评分通常更优越。它不受基础率影响，并且专注于任务中困难且重要的部分——区分事件与非事件——而不是被正确识别大量非事件这一简单任务所左右。
从农田到医院重症监护室，再到龙卷风监测站，技能原则为评估预测提供了一个通用、统一的框架。它是一个智识上保持诚实的工具。它提醒我们，一个模型仅仅“正确”是不够的；它必须比一个简单、明确定义且谦逊的替代方案更正确、更有用、更有见地。预报检验的艺术和科学不在于找到一个单一的魔术数字，而在于选择能够共同提出关于我们知识价值的最有意义问题的评分和基线。
一个好的预报并非总是正确的——毕竟，对于任何与自然复杂性搏斗的系统来说，这是一个不可能达到的标准。一个好的预报是比猜测更聪明的。它提供信息，一种相对于无知的简单基线的真正优势。技能分数是我们衡量这种“智能”的通用标尺。这是一个优美简单却又深刻的理念：我们的预测比我们用简单的经验法则（如“明天的天气将和今天一样”，即持续性预报；或“这将是今年这个时候的平均天气”，即气候态预报）所能达到的效果好多少？这一个问题，以及为回答它而建立的优雅数学框架，带领我们穿越科学的各个领域，从飓风的中心到人体的内部运作，揭示了我们在学习和与世界互动的方式中深刻的统一性。
技能分数的自然归宿是大气和海洋科学。日常天气预报的挑战是巨大的。数值天气预报（NWP）模型是物理学和高性能计算的奇迹，但它们值得付出这些努力吗？技能分数给了我们答案。现代预报很少是一个单一的数字（“温度将是 ”），而是一个可能性的集合，代表了大气的内在不确定性。要评估这样的概率预报，我们需要像连续分级概率评分（CRPS）这样复杂的工具。通过计算基于CRPS的技能分数，我们可以精确量化例如由一个数据驱动的后处理算法（该算法锐化原始预报）所带来的改进，准确衡量最终产品变得“更聪明”了多少。
预报一个晴朗的日子是一回事；预报一场灾难则是另一回事。对于罕见但破坏性巨大的事件，如热带气旋破坏性风的范围，仅仅计算“命中”次数是具有误导性的。人们可能仅仅通过“狼来了”式地在一个巨大区域内预报事件，就能凭纯粹的运气获得多次命中。这正是像公平威胁评分（ETS）这类指标的精妙之处。ETS严格计算出一个与被测试模型具有相同总体趋势的随机预报所期望的命中次数，然后从模型的实际命中次数中减去这个数值。它只奖励真实的、非随机的信号，从而对模型精确定位危险的能力给出一个更为诚实的评估 [@problem_-id:4106180]。
此外，预报不仅要应对事件“是否”会发生，还要应对“在哪里”发生。假设一个模型正确预测了海洋中的一个中尺度涡旋群，但将其位置标在了实际位置以东十公里处。一个简单的逐点比较会称之为完全失败，一次因为它在涡旋实际位置漏报了，另一次因为它在涡旋不存在的地方虚报了。这个“双重惩罚”问题长期困扰着预报员。分数技能评分（FSS）提供了一个优雅的解决方案。它不是比较单个点，而是比较不断增大的邻域。它会问：“在这个点周围20公里的半径内，被涡旋覆盖的面积比例是多少？”随着邻域大小的增长，一个小的位移误差变得越来越不重要。FSS奖励那些能够正确把握特征尺度和结构的预报，即使其位置略有偏差。从某种意义上说，这是一种懂得地理的评分。
同样的工具，经过巧妙的调整，可以用来评估更长时间尺度上的预测。考虑季节性预报的挑战——预测未来三个月的总降雨量。 的误差在撒哈拉沙漠和亚马逊雨林中意味着截然不同的事情。使用简单的绝对误差会产生严重的误导，因为它会被湿润气候中的误差所主导。
解决方案是使用一个根据当地气候态进行归一化性能的技能分数。像CRPS技能分数 这样的指标就像一个伟大的均衡器。它相对于当地预测问题的难度来衡量模型的性能，告诉我们它在一个地区的长期平均降雨分布的简单预报基础上改进了多少。技能成为一种通用货币，使得在迥异的水文气候条件下对模型性能进行公平比较成为可能。
我们甚至可以将这个概念延伸到遥远的过去。我们如何检验一个气候模型对大约2万年前末次冰盛期的模拟？我们没有那个时代的温度计，只有间接的代用记录——锁在冰芯和海洋沉积物中的化学特征，这些记录本身也是嘈杂和不确定的。在这里，技能分数框架与统计推断的深层原理完美地联系起来。我们可以定义一个“失配度”，一个类似于物理学家卡方（）的量，它衡量模型输出与代用数据之间的差异。关键是，这个计算会根据每个代用记录的已知不确定性对其进行适当加权，甚至考虑其误差的相关性。技能分数则被定义为我们的模型相对于一个零假设（例如“气候与工业化前时代相同”）的失配度的改进。这是一个用稀疏且不完美的证据来检验我们对地球历史理解的强大方法。
技能分数的威力在于其普遍性；同样的逻辑适用于任何在不确定性下进行预测的领域。
在工程学中，我们设计基础设施以抵御更严酷的未来。我们构建“脆弱性模型”来预测关键部件，如变电站，在极端事件的压力下何时会失效。为了测试这些模型，我们可以进行一次后报，用它们来对照历史灾害，并将其预测的失效概率与实际发生的情况进行比较。专为二元事件的概率预报量身定制的布里尔技能分数（BSS），精确地告诉我们，我们复杂的基于物理的模型比一个简单的基线（如这类部件的历史长期失效率）好多少。这是直接服务于公共安全和基础设施韧性的技能评估。
至关重要的是，一个更好的预报只有在能导向更好的决策时才是有价值的。这种联系可以被明确化。在一个环境项目的适应性管理框架中，管理者可能会根据超过浊度阈值的预报概率来按比例分配每日的缓解工作（例如，在疏浚期间部署防污帘）。一个糟糕决策所带来的“损失”——无论是在风平浪静的日子里超支，还是在水体浑浊的日子里投入不足——都可以用一个平方误差函数来表示。这个损失函数在数学上与布里尔分数是相同的。因此，提高预报的布里尔技能分数会直接导致经济成本和环境损害的可计算的减少。技能即是节省的金钱和被保护的生态系统。
同样的原则也渗透到医学和公共卫生领域。当一位病人来到急诊科时，医生正在做一个预测：“这个人患有危及生命的感染的概率是多少？”一个临床预测模型可以提供帮助，但它好用吗？我们可以使用布里尔技能分数来找出答案，以该疾病在患者群体中的总体患病率作为基线。一个有技能的模型是能够利用个体的特定数据生成一个风险评分，这个评分要比仅仅引用平均几率更有意义地好。在群体层面，数字健康监测系统使用流数据来预报疾病暴发。在这里，我们不仅可以根据技能来评估预报，还可以根据其校准度——也就是说，当模型预测一个事件有40%的概率发生时，该事件是否真的在大约40%的时间里发生？一个好的预报既需要分辨率又需要可靠性，而现代检验框架可以同时测量这两者，甚至将它们组合成一个单一、整体的预报质量指数。
在现实世界中，我们很少只关心一件事。一个水资源管理者可能需要一个在夏季温度和冬季降水上都表现良好的气候模型，但也许降水的重要性是温度的两倍。而且，也许在人口稠密的沿海地区，准确性比在人口稀疏的内陆山区更为关键。
这是技能分数框架最终，也或许是最深刻的应用：它作为一个综合知识和价值观的工具。我们可以为每个地区、每个变量计算标准化的技能分数，然后将它们组合成一个单一的综合指标。这种组合中使用的权重不是由数学决定的，而是通过讨论和判断；它们反映了利益相关者——那些依赖预报的人们——的优先事项。这个过程将客观的技能分数从一个冰冷、刻板的数字转变为一个促进科学家与社会对话的灵活工具。它让我们能够以一种反映我们作为一个社区真正看重什么的方式，去提问并回答“什么是好的预报？”这个问题。这是技能原则的终极表达：它不仅衡量抽象的准确性，更衡量实践的智慧。