累积和 (CUSUM) 程序

在许多现实世界的系统中，从工厂生产线到复杂的数字网络，最危险的变化不是突然的冲击，而是缓慢而持续的漂移。一个标准的控制图可能会漏掉一台逐渐失校的机器，或者一个以几乎难以察觉的速率消耗资源的恶意软件。这就提出了一个关键问题：我们如何才能在这些微小、累积的偏移造成重大问题之前可靠地检测到它们？答案在于一种强大的统计方法，即累积和（CUSUM）程序。本文全面概述了这一精妙的技术。在第一部分“原理与机制”中，我们将深入探讨 CUSUM 背后的直观逻辑，探索其在序贯假设检验中的深厚统计基础，并理解支配其性能的基本权衡。随后，“应用与跨学科联系”部分将展示 CUSUM 惊人的多功能性，追溯其从工业质量控制的起源到其在环境科学、网络安全、基因组学乃至机器学习算法优化中的现代应用。

想象一下，你是一家大型、安静博物馆的保安。你的工作不是检测那些喧闹、明显的砸抢盗贼，而是一种更微妙的威胁：一个窃贼每小时都将一幅无价的画作稍微移动一点，希望每一次微小的位移都不会被注意到。单次测量可能说明不了什么。画作向左移动了一毫米？这可能是光线造成的错觉，也可能是测量误差。但如果你对这些微小且方向一致的移动进行持续记录，你很快就会有压倒性的证据证明这是一种蓄意行为。这就是累积和（​​CUSUM​​）程序的精髓。它关乎的不是单个事件的冲击，而是对微小线索的耐心积累。

CUSUM 图的核心是一个简单但功能强大的记忆守护者。让我们走进一个制药实验室，那里有一台机器应该生产活性成分浓度为 250 mg/L 的药物。我们逐一进行测量。我们如何判断机器是否已经漂移，现在生产的溶液浓度略高？

CUSUM 程序为我们提供了一个直截了当的方法。我们维持一个运行分数，称之为“怀疑分数”$C_t^+$。我们从零怀疑开始：$C_0^+ = 0$。在每次新测量 $X_t$ 之后，我们使用一个简单的规则来更新我们的分数：

$C_t^+ = \max(0, C_{t-1}^+ + X_t - K)$

让我们来分解这个公式。$C_{t-1}^+$ 是我们上一步的怀疑分数——即记忆。$X_t$ 是新的证据。而 $K$ 是一个关键参数，一种“容差”或“让步值”。可以把 $K$ 看作一个略高于我们目标均值的值。在我们的药物浓度示例中，目标是 $\mu_0 = 250$ mg/L，但我们可能将参考值 $K$ 设为，比如说，254 mg/L。

$X_t - K$ 这一项代表了来自当前样本的新证据。如果我们的测量值 $X_t$ 大于 $K$，这一项为正，我们的怀疑分数就会增长。如果 $X_t$ 小于 $K$，这一项为负，我们的怀疑分数就会减少。

但 $\max(0, \dots)$ 这部分是什么意思呢？这也许是最巧妙的特性。它是一个“重置”按钮。如果反对我们假设的证据不断增加——也就是说，如果测量值持续低于 $K$ 并且我们的怀疑分数变为负数——我们不会累积“信用”。我们不希望一系列好的测量结果掩盖了后来出现的真实问题。相反，我们只是将怀疑分数重置为零。这使得 CUSUM 能够随时准备好检测可能在任何时刻开始的偏移。它记住可疑的，但忘记无罪的。

最后一部分是决策阈值 $H$。我们让我们的怀疑分数 $C_t^+$ 随着每次测量上下波动。当它穿过这个阈值 $H$ 的那一刻，警报就会响起。在一个真实的场景中，一连串的测量值，如 253.1, 248.5, ..., 260.4, 257.8 等，最初可能会使怀疑分数在零附近徘徊。但随着持续偏移的发生，分数会稳步攀升：0.2, 6.6, 10.4, 21.5, ... 直到最终超过一个比如为 40 的阈值，发出过程失控的信号。

这个简单的递归方法很精妙，但它从何而来？它仅仅是一种巧妙的启发式方法吗？答案是响亮的“不”。CUSUM 程序植根于统计学中最深刻、最强大的思想之一：​​似然比​​。

想象一下，对于每一个新的观测，我们都在试图在两个相互竞争的故事或假设之间做出决定：

• ​​假设 $H_0$（“受控”故事）：​​ 过程如预期般运行。例如，一台机器生产有缺陷电路的概率很低，$p_0=0.05$。
• ​​假设 $H_1$（“失控”故事）：​​ 过程已经发生偏移。现在这台机器生产缺陷的概率更高，$p_1=0.15$。

对于我们测试的每一个新电路（它是否有缺陷？），我们可以问：在 $H_1$ 假设下，这个结果比在 $H_0$ 假设下出现的可能性大多少？这些概率之比，$P(\text{data}|H_1) / P(\text{data}|H_0)$，就是似然比。为了让计算变为加法，我们取其对数。这个​​对数似然比 (LLR)​​ 是证据的基本单位。正的 LLR 支持 $H_1$，而负的 LLR 支持 $H_0$。

CUSUM 统计量在其最基本的形式中，不过是这些 LLR 增量的累积和，并带有我们之前看到的“在零处重置”的规则：

$C_n = \max(0, C_{n-1} + S_n)$

其中 $S_n = \ln\left(\frac{P(X_n | H_1)}{P(X_n | H_0)}\right)$ 是第 $n$ 次观测的对数似然比。这是一个深刻的结果。它告诉我们，CUSUM 程序不仅仅是某个随意的规则；事实上，它是用于在两个假设之间做出决策的最优序贯检验。它以最有效的方式处理信息。

那么，这如何与我们简单的公式 $X_t - K$ 联系起来呢？当数据被假定为服从正态（高斯）分布时——这在许多物理过程中很常见——均值从 $0$ 偏移到 $\mu$ 的单一样本对数似然比恰好是观测值 $r_k$ 的一个线性函数：

$S_k = \frac{\mu}{\sigma^2} r_k - \frac{\mu^2}{2\sigma^2}$

仔细看！这正是我们的观测值 $r_k$ 乘以一个因子，再减去一个常数。这与我们简单的增量 $X_t - K$ 的形式完全相同。CUSUM 程序统一了这两个世界：一方面是简单、直观的厨房配方，另一方面是深刻、有原则的最优统计检验。

我们可以将 CUSUM 统计量 $C_t$ 的历程想象成一种“赌徒漫步”。该统计量是我们的赌徒，从零美元开始。在每一步，它接收到一份新证据（LLR 增量）并将其加到总额中。赌场有一条特殊规则：如果赌徒的总额低于零，庄家就将其重置为零（一个反射壁）。在房间的另一端，有一条标有 $H$ 的线，线后是巨奖。如果赌徒的财富曾越过这条线（一个吸收壁），游戏就停止，警报就会响起。

这场漫步的行为完全取决于哪个“故事”是真的。

如果过程​​受控（$H_0$）​​，LLR 增量平均来说将是负的。我们的赌徒正在玩一个输钱的游戏。漫步具有负向漂移，不断被向下拉并重置为零。穿过高阈值 $H$ 是可能的，但这需要一连串非常不幸的误导性证据。这就是一次​​误报​​。这种情况发生的频率如何？直到发生误报的平均步数称为​​误报平均游程长度​​，或 ​​$ARL_0$​​。在一些简单的情况下，例如对于抛硬币的过程，$ARL_0$ 可以被精确计算。更一般地，一个优美而有力的结果表明，$ARL_0$ 随阈值 $h$ 指数增长：$ARL_0 \asymp \exp(h)$。这意味着，只需稍微提高我们的阈值，我们就可以使误报变得极其罕见。

如果过程​​失控（$H_1$）​​，LLR 增量将有一个正的平均值。我们的赌徒现在正在玩一个赢钱的游戏！漫步具有正向漂移，稳步向阈值 $H$ 前进。穿过它的平均时间是​​平均检测延迟​​。那么是什么决定了这次前进的速度呢？是​​库尔贝克-莱布勒 (KL) 散度​​，$D = \mathbb{E}_1[S_n]$，也就是在“失控”假设下 LLR 的平均值。KL 散度是衡量两个统计故事 $H_0$ 和 $H_1$ 之间“距离”或“可区分性”的基本度量。偏移越大，KL 散度越大，向阈值攀升得越陡。检测延迟在一阶近似下，就是 $h/D$。

这就把我们带到了统计学中最精妙的权衡之一。通过结合我们的两个结果，我们可以消除任意的阈值 $h$，并直接关联两个性能指标：

$\text{平均检测延迟} \approx \frac{\ln(\text{误报平均游程长度})}{D(\text{受控 } || \text{ 失控})}$

这个非凡的公式支配着任何试图检测变化的人的生活。它告诉你没有免费的午餐。如果你想让误报变得极其罕见（一个大的 $ARL_0$），你必须接受一个对数级更长的等待时间来检测一个真实的变化。而你检测任何变化的能力，从根本上受限于“之后”状态与“之前”状态的可区分性，这种可区分性由 KL 散度 $D$ 来衡量。

CUSUM 框架的美在于它融合了理论上的最优性和实践上的灵活性。但要明智地应用它，需要理解其假设。

​​均值 vs. 方差：​​ 标准的 CUSUM 检验是一个专家。它对过程中​​均值的​​微小、持续​​偏移​​极其敏感。然而，它对其他参数的变化，如方差，基本上是盲目的。如果一台机器变得更加不稳定（方差更高），但其平均输出保持不变，残差的 CUSUM 将不会显示出系统性的漂移。为此，我们需要一个不同的工具，即​​平方累积和 (CUSUMSQ)​​，顾名思义，它累积的是平方残差，专门用于检测方差的变化。

​​独立性的神圣性：​​ 整个对数似然推导及其所带来的最优性，都建立在一个关键假设之上：证据的增量是​​独立同分布 (i.i.d.)​​ 的。如果我们的数据是相关的，比如股价，今天的价值取决于昨天的价值，那会发生什么？直接将 CUSUM 应用于这种“有色”噪声会违反假设并破坏最优性。解决方案非常巧妙：我们首先对数据进行“预白化”。我们建立一个小模型（如 AR(1) 模型）来根据过去预测当前值，然后我们将 CUSUM 应用于预测误差流，即​​新息​​。这些新息，根据设计，是 i.i.d. 的，从而恢复了 CUSUM 发挥其魔力的条件。这表明 CUSUM 框架并不脆弱；通过与其他建模工具结合，它可以适应复杂的现实世界系统。出于同样的原因，当使用 CUSUM 检查一个复杂系统模型是否仍然有效时，将其应用于模型的单步预测误差（或​​递归残差​​）比应用于简单的 OLS 残差要好得多，因为如果模型正确，前者被设计为独立的。

CUSUM 图远不止是质量控制图上的一条线。它是序贯假设检验的化身，是有目的的随机游走，是累积证据力量的证明。它教导我们，通过耐心倾听数据的低语，我们最终能够检测到周围世界中最微妙的变化。

在理解了累积和（CUSUM）的内部工作原理之后，我们现在可以踏上一段旅程，看看这个巧妙的想法在何处焕发生机。如果你把一个简单的控制图想象成一个哨兵，他会问“现在有什么问题吗？”，那么 CUSUM 图就是一个远为复杂的侦探。它是一个集历史学家和守望者于一身的角色，它会记住过去事件的整个序列，以回答一个更微妙的问题：“一个新的、持续的模式是否已经开始出现？” 这种记忆的力量，即累积微小、看似无足轻重的偏差，直到它们形成一个不可否认的证据体系的能力，正是 CUSUM 成为一个功能惊人多样的工具的原因。它的应用从工厂车间延伸到基因组学和人工智能的前沿，揭示了我们在不同领域检测变化方式的美妙统一性。

CUSUM 图诞生于一个实际需求：确保制造业的一致性。想象一个高精度仪器，比如化学实验室里的分光光度计，其任务是测量一种物质的浓度。日复一日，对于相同的标准样品，它应该给出相同的读数，只有微小的随机波动。但如果由于热量、磨损或其他一些微妙因素，该仪器开始出现微小的系统性偏差怎么办？也许它开始每次都读高 0.5%。一个普通的控制图，孤立地看待每次测量，可能很长时间都不会报警；每个单独的读数可能仍然落在“可接受”的随机噪声范围内。

这就是 CUSUM 展示其沉静力量的地方。它不只是看最新的测量值。它将该测量值与目标均值的微小偏差，加到所有过去偏差的运行总和——累积和——中，然后等待。一个微小的正偏差被忽略了。两个也是。但随着持续的正向漂移继续，这个总和开始增长，就像一个滚下山的雪球。每一个略高于标准的测量值都会增加这个总和。最终，这个累积的证据变得如此之大，以至于它跨过一个预定的阈值，触发警报。这使得化学家或工程师能够在漂移成为严重问题之前很久就进行干预，节省时间、资源，并确保其结果的完整性（）。这一原则是现代统计过程控制（SPC）的基石，用于监控从钢板厚度到汽水瓶中液体体积的一切事物。

守护制成品质量的逻辑同样可以扩展到守护我们星球的健康。想象一个生态学家团队正在恢复一片湿地。他们的主要担忧之一是防止富营养化，这是一个有害的过程，通常由农业径流中硝酸盐的缓慢浸出引起。他们监测水中的硝酸盐浓度，但测量值天然地带有噪声，随降雨、季节和许多其他因素而变化。他们如何才能检测到那种预示着生态危机开始的、阴险而逐渐增加的污染呢？

CUSUM 再次成为理想的工具。通过从健康的参考生态系统中建立一个基准硝酸盐水平，生态学家可以使用 CUSUM 图来跟踪来自恢复地点的测量值。每一个略高于基准的测量值都会增加一个累积和。虽然任何单个高读数都可能是侥幸，但一系列持续的高读数，即使很小，也会导致 CUSUM 统计量稳步攀升，直到它跨过警报阈值（）。这提供了一个早期预警，允许在造成不可逆转的损害之前采取纠正措施。值得注意的是，设定这些警报阈值的数学基础与二战期间为工业检验开发的序贯假设检验理论有着深刻的联系。一个在工厂中锻造的工具，在保护自然世界中找到了一个新的、至关重要的用途。

在我们的数字时代，我们需要监控的“过程”不再仅仅是物理或化学的；它们是计算的。数据流是巨大的，我们寻找的变化可能是恶意活动的迹象。CUSUM 已被证明是一种异常有效的数字看门狗。

想象一个安全系统正在监控服务器上所有进程的 CPU 使用率。大多数进程表现出波动的、充满噪声的行为。然而，一个隐蔽的恶意软件可能会试图通过仅为其计算使用一小部分额外的 CPU 功耗来保持低调。这个微弱而持续的信号很容易在噪声中丢失。但是一个 CUSUM 检测器，通过跟踪每个进程的 CPU 使用率，会注意到这一点。通过累积与进程正常基线行为的微小正偏差，恶意进程的 CUSUM 统计量将开始增长，最终揭露其他方法会错过的入侵者（）。

其复杂性不止于此。我们不仅可以监控原始数据，还可以使用 CUSUM 来监控我们对数据的模型。在一个复杂的工业控制系统中，工程师有一个数学模型来预测系统应该如何表现。在正常操作下，模型预测与实际测量值之间的差异——即残差——只是随机噪声。但如果攻击者破坏了一个传感器，向其读数中注入了虚假的偏差呢？控制系统根据这些错误信息采取行动，可能会表现得不稳定。更微妙的是，模型的预测将不再与被破坏的测量值相匹配。残差将突然获得一个非零的均值。一个监视这个残差流的 CUSUM 检测器将立即发现这一变化，发出系统“现实”已偏离模型预期的信号，并触发防御协议（）。这是一个深刻的飞跃：我们正在使用 CUSUM 来检测我们对一个系统的理解出现了故障。

CUSUM 原则是如此基础，以至于它超越了被分析数据的类型。到目前为止，我们一直想象数据遵循钟形曲线，即高斯分布。但其他类型的数据，比如计数数据，又如何呢？在生物信息学中，科学家通过对数百万个短 DNA 片段进行测序，并计算有多少片段与不同区域对齐来分析基因组。一个关键任务是寻找拷贝数变异（CNVs）——即基因组中被删除或重复的区域。

在一个健康的二倍体区域，我们期望有某个平均数量的读段对齐，比如说 $\lambda^{(0)}$。在一个重复区域，我们期望更多，也许是 $1.5 \times \lambda^{(0)}$；在一个删除区域，我们期望更少，比如说 $0.5 \times \lambda^{(0)}$。每个小的基因组“窗口”中的读段计数可以用泊松分布而不是高斯分布来建模。CUSUM 还能用吗？

绝对可以。CUSUM 的深层魔力在于它与对数似然比的联系。我们可以为任何统计分布构建一个类似 CUSUM 的统计量，方法是计算在“有变化”假设与“无变化”假设下数据的累积对数似然。对于泊松分布的读段计数，这使得生物信息学家能够构建一个强大的扫描器，沿着染色体移动，累积证据。当它从一个正常区域移动到一个重复区域时，计数持续超过基线预期，针对“重复”变化的 CUSUM 分数开始上升。当它跨过一个阈值时，就检测到了一个 CNV，精确定位了重复开始的位置（）。这正是“累积证据”的核心思想，从监控工厂机器巧妙地改编为解读生命的蓝图。

也许 CUSUM 最迷人的应用是在计算和数据科学领域，在这个领域，这个工具常常被用于内部，以监控和改进我们用来理解世界的算法本身。

首先，考虑 CUSUM 作为一种*流式算法的优雅之处。在一个“大数据”时代，信息以无尽的数据流形式涌入，我们需要快速高效的算法。一个朴素的变化点检测器可能在每个新数据点到来时，回顾并重新分析整个数据历史。这将导致计算上的瘫痪。然而，CUSUM 算法拥有一个优美的递归属性。为了计算它的下一个状态，它只需要新的数据点和它的前一个状态*——即前一刻计算的累积和。所有来自过去的相关信息都被压缩到那一个数字中。这使其每步更新成本为常数，即 $O(1)$，使其非常适合对高容量数据流进行实时监控（）。

这种效率使 CUSUM 成为现代机器学习运营的基石。考虑一个预测房价的回归模型。我们在历史数据上训练它，它工作得很好。但市场在变化。一条新的地铁线路建成，或者经济状况发生变化。突然之间，我们模型的预测开始持续低于实际销售价格。这种现象被称为“概念漂移”。我们可以使用 CUSUM 图来监控模型的预测误差（残差）。通过适当地标准化这些残差以考虑不同预测中的不确定性，CUSUM 将检测到系统性偏差，发出模型已与现实不同步、需要重新训练的信号（）。

同样的想法可以用来改进训练过程本身。在训练深度神经网络时，我们观察验证损失——这是它在未见过的数据上的性能度量。最初，损失迅速下降。然后变慢，最终，当模型开始“过拟合”，即记忆训练数据而不是学习一般模式时，损失可能会开始上升。停止训练的最佳时机恰好是这个状态转变的时候。通过将 CUSUM 检测器应用于验证损失从一个周期到下一个周期的变化，我们可以自动检测到改进速率减弱的时刻，触发训练过程的提前停止（）。

应用可以更加抽象和富有创造性。在数据探索中，一种称为层次聚类的技术将数据点分组到一个称为树状图的树状结构中。一个常见的问题是，“这些数据中到底有多少个簇？” 一种启发式方法是在合并高度有大的垂直跳跃处“切割”树状图。但多大才算足够大？通过将合并高度增量序列视为一个时间序列，我们可以使用 CUSUM 检验来统计地检测最显著的“跳跃”，为如何切割树的问题提供一个有原则的、自动化的答案（）。

最后，在一个优美的自我参照展示中，CUSUM 被用来诊断其他统计算法的收敛性。像马尔可夫链蒙特卡洛（MCMC）这样的复杂模拟会产生长链的样本，这些样本应该最终会稳定下来。Heidelberger-Welch 诊断使用一个基于 CUSUM 的检验来确定链是否确实达到了这个平稳状态，从而确保模拟输出的有效性（）。在这里，我们有一个统计工具，不是用来监控物理或数字过程，而是用来确保另一个统计工具的完整性。

从一个精密的仪器到广阔的生态系统，从隐藏进程的数字低语到生命自身的编码，CUSUM 的原则始终如一。它的力量不在于任何单一的观察，而在于其不懈、耐心的记忆。它教导我们，要理解世界，我们不仅要着眼于当下，还要尊重过去累积的份量。通过收集他人丢弃的微小证据碎片，CUSUM 揭示了那些正在不断塑造我们世界的深刻且往往缓慢变化的转型。