Gilbert 技巧评分

玻尔百科

核心要点

Gilbert 技巧评分 (GSS) 通过奖励优于随机概率的预报来衡量预报技巧，克服了简单准确率指标的缺陷。
它通过对威胁评分 (TS) 进行调整，减去机遇造成的预期命中数，从而得出一个公平的评分，其中 1 代表完美，0 代表没有技巧。
GSS 对事件的罕见性和空间误差（“双重惩罚”）很敏感，这意味着评分必须结合事件的基础概率进行解释。
其应用范围广泛，从验证天气模型到在成本-损失框架内将预报技巧与用户特定价值联系起来，从而指导经济决策。

引言

我们如何才能真正衡量天气预报的技巧？虽然很容易说一个预报是“对”还是“错”，但要用一个单一、公正的数字来评估其表现，却是一项复杂的挑战。简单的指标，如准确率或正确预报的百分比，可能会产生严重的误导，尤其是在预报罕见但影响重大的事件（如龙卷风或山洪暴发）时。一个总是预报“无事件”的预报可以达到近乎完美的准确率，但却提供不了任何有用的信息。这揭示了一个关键的缺陷：我们需要一个能够区分真正预报技巧与纯粹运气或微不足道的正确性的指标。

本文深入探讨了解决这一问题的方案：Gilbert 技巧评分 (GSS)，也称为公平威胁评分 (ETS)。这是一个设计精巧的指标，能够对预报能力做出诚实的评估。我们将首先探讨 GSS 背后的基本原理和机制，理解它如何使用列联表系统地消除随机概率的影响。随后，我们将审视其广泛的应用和跨学科联系，看看 GSS 不仅被用来评估天气和气候模型，还如何指导科学进步并为关键的现实世界决策提供信息。

原理与机制

我们如何判断一个天气预报好不好？这似乎是个简单的问题。如果预报说“下雨”而真的下雨了，那就是好的。如果预报说“晴天”但下雨了，那就是坏的。但如果我们想更精确一点呢？如果我们想用一个单一、诚实的数字来评价预报员的技巧，一个能告诉我们他们是真正有技巧还是仅仅是幸运的数字，该怎么办？这就是我们旅程的起点，就像任何好的探索之旅一样，我们会发现那些简单、显而易见的答案往往不是最好的。

四个角色的登场

让我们想象一下，我们正在评判一个针对特定“是/否”问题的预报：“我们城市明天会经历一场强雷暴吗？”每天，预报员都会给出一个判断（“是”或“否”），而大自然则揭示其结果（“是”或“否”）。这就建立了一个简单但功能强大的框架，称为列联表 (contingency table)，它捕捉了四种可能的结果。

	观测：是	观测：否
预报：是	命中 ( $H$ )	空报 ( $F$ )
预报：否	漏报 ( $M$ )	正确否定 ( $C$ )

让我们来认识一下这些角色：

命中 ( $H$ ) 是理想的结果：预报预测有雷暴，而雷暴确实发生了。
漏报 ( $M$ ) 是一种危险的失误：没有预报风暴，但风暴却袭击了。
空报 ( $F$ ) 令人烦恼：预报有风暴，但当天天气晴朗，导致不必要的活动取消或焦虑。
正确否定 ( $C$ ) 是常规、平凡的成功：没有预报风暴，也没有风暴发生。

在一个包含 $N$ 天的季节里，我们可以统计出 $H, M, F$ 和 $C$ 的总数，其中 $N = H + M + F + C$ 。有了这些计数，我们就可以尝试构建我们的技巧评分。

初始准确率的陷阱

最直接的想法是衡量准确率：预报员正确的次数所占的比例。这将是所有正确预报（命中和正确否定）的总和除以总天数：

$\text{Accuracy} = \frac{H + C}{N}$

这看起来完全合理。但要小心！这个简单的公式隐藏着一个狡猾的陷阱。

考虑一个非常罕见的事件，比如一场灾难性的龙卷风。假设在某个地区，这种事件平均每 10,000 天才发生一次。现在，想象一个极其懒惰的“预报员”。他们不看卫星，不运行模型；他们每天只发布相同的预报：“今天没有龙卷风。”在 10,000 天里，他们的列联表会是什么样子？在龙卷风发生的那一天，他们的预报是漏报 ( $M=1$ )。在另外 9,999 天里，他们的预报是正确否定 ( $C=9999$ )。他们的命中数和空报数都为零。

他们的准确率是多少？

$\text{Accuracy}_{\text{lazy}} = \frac{0 + 9999}{10000} = 0.9999$

99.99% 的准确率！这位预报员似乎是个天才，但他们对我们关心的事件的预报技巧完全为零。这个分数完全被那些微不足道、“容易”的无事发生的日子所主导 [@problem_id:4021603, @problem_id:4021566]。这告诉我们一个深刻的道理：在评判罕见或特殊事件的预报时，我们必须警惕那些因平凡事件而被夸大的分数。我们需要一个专注于“行动”——即事件被预报或被观测到的那些时刻——的分数。

聚焦于“威胁”

让我们改进我们的方法。我们将忽略大量的正确否定，只关注那些有趣的情况。这些情况是风暴被预报，或风暴实际发生，或两者兼有。这一事件集合是所有观测到的风暴 ( $H+M$ ) 和所有预报的风暴 ( $H+F$ ) 的并集，总和为 $H+M+F$ 。威胁评分 (Threat Score, TS)，也称为临界成功指数 (Critical Success Index, CSI)，提出了一个更好的问题：在所有这些“有趣”的情况中，被正确预测为命中的比例是多少？

$\text{TS} = \frac{H}{H + M + F}$

这个分数再也不会被我们那个懒惰的“永远说不”的预报员所欺骗了。对他们来说， $H=0$ ，所以他们的 TS 是 0。好多了！但现在我们面临一个更微妙的对手：聪明的骗子。

随机概率的幽灵

想象一个不懂气象学但能接触到历史数据的预报员。他们知道在夏季，雷暴发生的平均概率是 20%。所以，他们每天都掷一个五面骰子，如果结果是“1”，他们就预报“雷暴”。他们在随机预报，但其频率与历史相符。他们会得到一些命中吗？当然会，纯粹是靠运气。他们应该因此获得赞誉吗？当然不应该。

这就引出了核心原则：一个真正的技巧衡量标准必须只奖励那些优于随机概率的表现。我们必须以某种方式从等式中减去“运气”。这是一个公平评分的指导哲学 [@problem_-id:4021588]。

为此，我们首先需要计算出随机预报会获得多少次命中。让我们建立一个简单的模型。事件实际发生的频率称为基础概率 (base rate)，或气候态 (climatology)，表示为 $p_o = (H+M)/N$ 。模型预报事件的频率是预报频率 (forecast rate)， $p_f = (H+F)/N$ 。

如果预报与实际发生的情况完全独立（这是随机、无技巧预报的定义），那么在任何一天发生命中的概率就是“是”的预报恰好与“是”的观测重合的概率。这是它们各自概率的乘积： $p_f \times p_o$ 。在 $N$ 天内，由随机概率产生的预期命中数，我们称之为 $H_r$ ，是：

$H_r = N \times p_f \times p_o = N \times \frac{H+F}{N} \times \frac{H+M}{N} = \frac{(H+F)(H+M)}{N}$

这个优美的小公式是公平性的基石。它告诉我们一个靠运气的猜测者的基准表现。值得注意的是，这个相同的公式可以从统计学中几个不同的基本出发点推导出来，这让我们对其有效性充满信心。

Gilbert 技巧评分：一项杰作

现在我们准备好构建我们的杰作，即Gilbert 技巧评分 (GSS)，也称为公平威胁评分 (ETS)。其设计非常优雅。我们取威胁评分，并通过从计算的每个部分中减去随机概率分量来使其变得公平。

展示真实技巧的命中数不是总数 $H$ ，而是超出随机概率所能提供的命中数。这是分子： $H - H_r$ 。
可以展示技巧的总舞台是 $H+M+F$ 。但我们预期其中有 $H_r$ 次命中是幸运的。所以，非随机命中机会的数量是分母： $(H+M+F) - H_r$ 。

将所有部分整合在一起，我们得到了公平威胁评分的公式 [@problem_id:4021556, @problem_id:4044137]：

$\text{ETS} = \frac{H - H_r}{H + M + F - H_r}$

这个分数告诉我们什么？

ETS = 1：完美预报。当 $M=0$ 和 $F=0$ 时发生，导致 $H > H_r$ （对于非平凡情况），且分子和分母相等。
ETS = 0：没有技巧。当预报员的表现不优于随机概率时发生，即 $H = H_r$ 。
ETS > 0：有正技巧。预报员的表现优于随机。
ETS < 0：有负技巧。预报具有主动误导性；你最好采取与预报相反的行动！

至关重要的是，ETS 是公平的。考虑一个“永远说有”的预报员。对他们来说， $H_r$ 将等于 $H$ ，所以他们的 ETS 是 0。一个“永远说没有”的预报员有 $H=0$ 和 $H_r=0$ ，所以他们的 ETS 也是 0。无论事件多么常见或罕见，任何简单、无信息的策略都会得到零分。这个分数没有被愚弄。它为“无技巧”建立了一个公平和通用的基准。

现实世界中的评分：细微之处与注意事项

ETS 是一个强大的工具，但就像任何工具一样，我们必须了解它在现实世界中的行为。

双重惩罚的悲剧

想象一个对一条雷暴线的预报近乎完美——形状、时间、强度都正确——但它仅仅向东偏移了 15 英里。当我们逐点比较预报和观测网格时，我们看到了灾难。在风暴实际发生的每个点上，预报都是“否”，导致了一长串的漏报。而在东边 15 英里处预报有风暴的每个点上，风暴并未发生，导致了一长串的空报。这就是臭名昭著的双重惩罚：一个位置上的单一小错误导致了两组惩罚，即使对于一个直观上非常好的预报，也可能使其 ETS 分数化为乌有。这揭示了 ETS 在其标准形式下对位置准确性的要求是无情的。

苹果与橘子的问题

现在，假设两个研究团队正在测试他们的模型。A 团队将“大雨”事件定义为任何超过 1 英寸的降雨，而 B 团队使用更严格的 3 英寸阈值。B 团队的事件要罕见得多。两个团队都报告他们的模型达到了 0.4 的 ETS。这是否意味着他们的模型同样好？

不一定。让我们想象一个模型，它具有区分事件和非事件的固定能力。我们可以做一个实验，使用这个相同的模型来预测不同罕见程度的事件（通过改变阈值）。引人注目的结果是，即使模型的内在技巧没有改变，对于更罕见的事件，ETS 值通常会更低。这是因为对于更罕见的事件，“随机概率”基线 ( $H_r$ ) 要低得多，使得 ETS 的分母相对于分子更大。问题本身就更难了。

这是一个极其重要的教训：ETS 分数在不同的事件定义或气候条件下不总是可以直接比较的。 一个分数不是绝对真理的衡量标准，而是相对于由事件基础概率定义的背景下的技巧度量。这就是为什么良好的科学实践要求，每当报告 ETS 值时，必须同时附上事件基础概率 ( $p_o$ ) 和预报频率 ( $p_f$ )。只有这样，我们才能真正理解这个分数告诉我们的信息。

因此，Gilbert 技巧评分不仅仅是一个公式。它是一个科学论证的体现，一个精心制作的透镜，用以审视技巧，同时考虑到了初始判断的陷阱和随机概率的普遍影响。它教导我们在定义上要精确，在基线上要诚实，在比较中要明智。

应用与跨学科联系

现在我们已经熟悉了 Gilbert 技巧评分 (GSS) 或公平威胁评分 (ETS) 的机制，我们可以开始一段旅程，看看它在哪些领域真正大放异彩。我们已经看到，它的最大优点在于其诚实性。它是一位严厉的法官，不会被那些出于错误原因（即纯粹靠运气）得出正确答案的预报所蒙蔽。像“正确百分比”这样的简单指标可能具有危险的误导性，特别是对于罕见事件。如果下雨的概率只有 10%，一个每天只说“不下雨”的预报员将有 90% 的正确率，但当你真正需要知道是否该带伞时，他却毫无用处。GSS 戳穿了这种无稽之谈。它提出了一个更严苛的问题：“你的预报是否比具有相同总体偏差的随机猜测显示出更多的技巧？”

这种对真实、公平技巧的要求，使得 GSS 在任何需要对重要事件进行“是/否”预报的领域都成为不可或缺的工具。它主要的应用领域，也是我们旅程的起点，是大气和海洋科学，在这里，一个预报的赌注可能高达飓风登陆或巨浪袭击船只。

试验场：天气、海洋和气候

想象一下，你是一家国家气象局的负责人。一个由杰出科学家组成的团队向你展示了一种用于预报强降水的全新、极其复杂的计算机模型。它需要花费数百万美元的超级计算时间来运行。你现有的模型更便宜，并且多年来一直运行良好。你如何决定新的模型是否真的更好？

这不是一个学术问题。这正是 GSS 成为科学竞赛裁判的场景。你可以将两个模型运行一个季节，将其每日降雨量预报与实际发生情况进行比较，并为每个模型计算 GSS。获得更高分数的模型，就是那个在精确定位强降雨时间和地点方面表现出更大公平技巧的模型。这不仅仅关乎正确预报的原始数量；更关乎这些预报的质量和难度。GSS 允许进行公平的、同等条件的比较。

同样的原则从日常天气延伸到我们星球上最强大、最戏剧性的现象。海洋学家用它来验证预测有效波高何时何地将超过危险阈值的模型，这是保障海上安全的一项关键任务。气候学家用它来评估他们预报“大气长河”——天空中巨大的水汽走廊，可能导致毁灭性洪水——登陆的能力。飓风专家则依靠它来评估风暴大小的预报，例如其破坏性风力的半径。在所有这些情况下，GSS 提供了一种关于“技巧”的通用语言。它告诉我们，与简单的基准预报（例如仅根据长期平均值（气候态）进行猜测或假设明天将与今天相同（持续性预报））相比，我们复杂的模型要好多少。

“好”预报的艺术：更深入的探讨

在这里，我们触及一个更微妙、更优美的观点。GSS 不仅仅给我们一个分数；它迫使我们提出一个更深层次的问题：一个“好”的预报意味着什么？

考虑一个对小型强雷暴的预报。模型正确预测了其大小、形状和时间，但将其位置预测在实际发生地以东仅五公里处。传统的、逐格点的检验系统会毫不留情。它会在风暴实际发生处记录一个“漏报”，在风暴预报处记录一个“空报”。这个预报因为一个本质上很小的位置误差而受到了两次惩罚。这通常被称为“双重惩罚”，它可能导致一个直观上非常好的预报得到一个糟糕的分数。

这看起来公平吗？当然不。这就像一位老师因为学生在数学题的最后一步写了“7”而不是“8”，就给了学生零分，尽管整个解题方法都是正确的。GSS 在其标准形式下容易受到这个问题的影响。但是，其背后的思维方式启发了一个绝妙的解决方案：如果问题在于检验方法，那么就改变方法！

我们可以放宽规则，不再要求每个网格点都完美匹配。我们可以决定，如果预报将风暴放置在正确的“大致邻域”，那么这个预报就是“正确的”。这就是所谓的“基于对象”或“邻域”检验法的核心。例如，我们可以使用一种称为膨胀的数学运算，在比较之前稍微扩大预报和观测到的风暴的足迹。如果微小的位移小于膨胀范围，那么两个模糊的对象现在就会重叠。漏报和空报就转变成了命中！这并不是人为地夸大分数；而是将问题转变为一个更相关的问题：“模型是否在正确的尺度上预测了事件？”通过调整我们对正确性的定义，我们得到了一个更能反映预报有用信息含量的分数，原谅了它在位置上微不足道的小错误。

GSS 作为进步的指南

GSS 不仅仅是一个被动的记分员。它是一个积极的工具，指导着科学发现、工程设计甚至经济决策。

例如，现代天气预报已经超越了单一的确定性预报。取而代之的是，我们运行一个由数十个略有不同的模式模拟组成的“集合预报”，以捕捉大气固有的不确定性。这为我们提供了一个丰富、概率性的未来视角。但应急管理人员需要一个简单的“是”或“否”的答案：“我应该发布洪水警报吗？”GSS 可以帮助我们决定将复杂的集合信息提炼成简单、有技巧的警报的最佳方式。我们可以测试不同的策略：如果集合平均值超过洪水阈值，或如果超过 50% 的集合成员预测洪水，甚至只要至少有一个成员预测洪水，就发布警报。通过为每种策略计算 GSS，我们可以凭经验确定哪一种提供了最有技巧的指导。

GSS 还为我们提供了一幅关于预报局限性的诚实图景。可预报性随时间递减是一个基本事实。明天的预报几乎总比下周的预报要好。通过计算不同预报时效（1天、2天、3天等）的 GSS，我们可以绘制出一条“技巧衰减”曲线。这条曲线定量地告诉我们模型提供有用信息的时间范围。

此外，GSS 可以为试图改进模型的科学家和工程师提供路线图。假设一个模型的 GSS 不佳。提高它的最有效方法是什么？开发团队应该集中精力减少“漏报”（未能预测发生的事件）还是减少“空报”（预测了未发生的事件）？通过敏感性分析，GSS 可以告诉我们哪种类型的错误对分数的影响更大。对于特定模型在特定天气事件上的表现，我们可以精确计算出纠正一个漏报与纠正一个空报对 GSS 的确切改善程度。这使得研发工作可以有针对性地进行，以实现最大影响。

这把我们带到了最后一个，也许是最深刻的联系。预报技巧和预报价值之间有什么关系？一个高的 GSS 在科学上是令人满意的，但它是否自动转化为更好的现实世界决策？

想象一位农民正在决定是否要花钱保护她的作物免受霜冻。保护措施有成本 $C$ 。如果她不采取行动而霜冻发生，她将遭受更大的损失 $L$ 。她有两个相互竞争的预报系统。系统 A 非常谨慎，GSS 很高，但有时会漏报霜冻。系统 B 更“倾向于触发”；它的 GSS 较低，因为它会发出更多的空报，但它几乎从不错过一次真正的霜冻。

农民应该使用哪个预报？答案取决于成本与损失的比率， $c = C/L$ 。如果保护成本与潜在损失相比非常小（一个小的 $c$ ），农民的主要目标是避免被霜冻突袭。她可能更喜欢那个倾向于触发的系统 B，尽管它的 GSS 较低，因为它最大限度地减少了灾难性的漏报。相反，如果保护成本很高，她承担不起在空报上浪费金钱，因此会更喜欢更保守的系统 A。

令人惊奇的是，我们可以使用 GSS 框架的数学原理来弥合抽象技巧和具体价值之间的鸿沟。通过在“成本-损失”框架内分析每个模型的列联表计数，我们可以计算出两个预报系统经济价值相等的精确临界成本-损失比 $c^{\star}$ 。对于任何成本-损失比小于 $c^{\star}$ 的用户来说，“技巧较低”的预报实际上是更有价值的！

这是一个深刻的教训。它表明，没有一个对所有人都“最好”的预报。最优的预报取决于用户以及他们对不同类型错误的特定敏感性。Gilbert 技巧评分以其诚实和清晰，不仅帮助科学家构建更好的模型，还为预报员和决策者之间这种至关重要的对话提供了框架，将优雅的检验理论世界与经济、政策和人类生活的混乱复杂现实联系起来。