try ai
科普
编辑
分享
反馈
  • 中位数置信区间:非参数估计的稳健指南

中位数置信区间:非参数估计的稳健指南

SciencePedia玻尔百科
核心要点
  • 中位数提供了一种稳健的集中趋势度量,能够抵抗离群值的影响,而离群值通常会扭曲均值。
  • 中位数的置信区间可以使用免分布方法构建,例如依赖于二项式概率的顺序统计量方法。
  • 自助法是一种强大的计算方法,通过对数据进行重抽样来生成中位数的经验分布,从而可以推导出置信区间。
  • 这些方法对于分析生存分析、可靠性工程、生物学和金融等领域中常见的偏态数据至关重要。

引言

在试图理解数据的过程中,我们常常寻找一个单一数值来代表数据集的中心。虽然均值(或平均数)被广泛使用,但在面对偏态数据或极端离群值时,它可能会产生误导。这个问题在金融、生物学等领域屡见不鲜,并引出了一个关键问题:如果中位数(即中间值)能够更稳健地描绘集中趋势,我们又该如何量化我们对它的置信度呢?本文旨在填补这一空白,为理解和构建中位数置信区间提供一份全面的指南。

我们的探索始于“原理与机制”一章,在其中我们将探讨中位数固有的稳健性,并深入研究两种强大的免分布技术。我们首先将揭示一种基于顺序统计量和二项式概率的精妙方法,这是一个用以“捕获”真实中位数的惊人简单的技巧。接着,我们将拥抱现代计算的力量,介绍自助法这一通用的重抽样技术。在此基础上,“应用与跨学科联系”一章将展示这些方法如何在真实场景中提供关键见解,从分析医学中的患者生存时间到评估金融领域的投资组合回报,从而证明为何中位数置信区间是任何数据驱动学科不可或缺的工具。

原理与机制

在我们通过数据理解世界的征途上,我们常常寻求一个单一数字来概括整个测量集合——即“集中趋势”。其中最著名的是平均数,也就是​​均值​​。但如果我们的数据很混乱呢?如果它被极端、异常的数值所扭曲呢?自然界和人类社会中充满了这样的情况。这时,​​中位数​​——这个不起眼的中间值——才真正大放异彩,而统计学的艺术也为我们提供了量化其不确定性的精妙方法。

中庸之道的智慧:在混乱世界中的稳健性

想象一下,你是一名正在测试新型微处理器的工程师。你进行了十次测试,得到的响应时间(单位:纳秒)如下:20,22,19,21,23,20,18,22,24,20, 22, 19, 21, 23, 20, 18, 22, 24,20,22,19,21,23,20,18,22,24, 以及……707070。其中九个值整齐地聚集在 18 到 24 纳秒之间。第十个值,70 纳秒,显得格格不入。也许这只是一个偶然事件,一次瞬间的电涌,或者是一束宇宙射线击中了芯片。那么,“典型”的响应时间是多少呢?

如果你计算​​均值​​,你会将所有数字相加然后除以十。那个大数值 707070 会将均值显著拉高,得到 25.925.925.9 纳秒。这真的能代表芯片的典型性能吗?感觉有点高了,不是吗?均值就像一个跷跷板:一个远离中心的重物会产生不成比例的影响。

现在考虑​​中位数​​。要找到它,你只需将数字按顺序排列,然后选取中间的那个。对于我们的数据,排序后是 18,19,20,20,21,22‾,22,23,24,7018, 19, 20, 20, \underline{21, 22}, 22, 23, 24, 7018,19,20,20,21,22​,22,23,24,70。因为我们有偶数个数据点,所以我们取中间两个数 212121 和 222222 的平均值,得到中位数为 21.521.521.5 纳秒。这个数字感觉更能代表那组“典型”的测量值。那个离群值几乎没有影响;无论它是 70 还是 700,中位数都仍然是 21.521.521.5 纳秒。这种对离群值的抵抗力被称为​​稳健性​​ (robustness),这是中位数的超能力。

当我们创建一个置信区间——一个用于表示真实、潜在的集中趋势的合理值范围时——这种差异变得更加明显。一个传统的均值 95% 置信区间,由于受到离群值的影响,可能会是一个以 25.925.925.9 纳秒为中心且范围很宽的区间。相比之下,中位数的 95% 置信区间将会是一个以 21.521.521.5 纳秒为中心且范围窄得多的区间。对于处理从经济调查到生物测定等不可避免的真实世界数据混乱性的科学家和工程师来说,中位数及其置信区间往往能讲述一个更真实的故事。

捕获中位数:一个简单而绝妙的技巧

那么,我们如何在不对数据分布形状做过多假设的情况下,为中位数构建一个置信区间呢?事实证明,有一种非常简单而深刻的方法,它仅仅依赖于计数。

我们来玩个游戏。假设我们从某个连续分布中收集了一个包含 nnn 个数据点的随机样本。我们不知道这个分布的形状,但我们知道它有一个真实的中位数,我们称之为 η\etaη。这是一个神奇的数字,如果我们从总体中再抽取一个新值,它低于 η\etaη 的概率恰好是 1/21/21/2,高于 η\etaη 的概率也恰好是 1/21/21/2。

现在,让我们看看我们的样本。我们可以将其从小到大排序。我们称最小值为 X(1)X_{(1)}X(1)​,最大值为 X(n)X_{(n)}X(n)​。考虑区间 [X(1),X(n)][X_{(1)}, X_{(n)}][X(1)​,X(n)​]。我们从样本构建的这个区间成功“捕获”真实中位数 η\etaη 的概率是多少?

要使这个区间失效,真实中位数 η\etaη 必须位于其外部。这只可能以两种方式发生:要么我们所有的数据点都小于 η\etaη,要么我们所有的数据点都大于 η\etaη。

这种失效的概率是多少?由于每个数据点大于真实中位数的概率都是 1/21/21/2,所以所有 nnn 个数据点都大于 η\etaη 的概率是 (12)n(\frac{1}{2})^n(21​)n。同样,所有 nnn 个数据点都小于 η\etaη 的概率也是 (12)n(\frac{1}{2})^n(21​)n。这两种失效情况是互斥的。

因此,总的失效概率是: P(failure)=(12)n+(12)n=2×(12)n=21−nP(\text{failure}) = \left(\frac{1}{2}\right)^n + \left(\frac{1}{2}\right)^n = 2 \times \left(\frac{1}{2}\right)^n = 2^{1-n}P(failure)=(21​)n+(21​)n=2×(21​)n=21−n 成功的概率——即我们的置信水平——因此是: Confidence Level=1−P(failure)=1−21−n\text{Confidence Level} = 1 - P(\text{failure}) = 1 - 2^{1-n}Confidence Level=1−P(failure)=1−21−n 这个结果 令人惊叹。置信水平只取决于样本量 nnn,而与底层数据是钟形、偏态还是其他奇特形态无关。这就是​​免分布​​ (distribution-free) 或​​非参数​​ (non-parametric) 方法的精髓。对于一个仅有 10 个数据点的样本,置信水平为 1−21−10≈0.9981 - 2^{1-10} \approx 0.9981−21−10≈0.998。我们几乎可以肯定,真实中位数位于我们样本的最小值和最大值之间。

精化陷阱:选择正确的边界

从最小值到最大值的区间虽然置信度高得令人安心,但通常太宽而缺乏实用价值。我们能否创建一个更窄的区间,比如 90% 或 95% 的置信区间?

当然可以!我们可以不使用绝对的极值,而是从两端向内收缩。让我们使用区间 (X(i),X(j))(X_{(i)}, X_{(j)})(X(i)​,X(j)​),其中 X(i)X_{(i)}X(i)​ 是第 iii 小的值,X(j)X_{(j)}X(j)​ 是第 jjj 小的值。寻找置信水平的逻辑是我们那个简单技巧的一个优美延伸。

将每个数据点想象成一次抛硬币。如果数据点小于真实中位数 η\etaη,我们称之为“正面”。如果大于,则称为“反面”。我们有 nnn 次“抛硬币”。区间 (X(i),X(j))(X_{(i)}, X_{(j)})(X(i)​,X(j)​) 能够成功捕获中位数 η\etaη 的充要条件是,任何一侧的数据点都不能太多。具体来说,我们必须有至少 iii 个点小于 η\etaη(这样 X(i)ηX_{(i)} \etaX(i)​η),并且至多有 j−1j-1j−1 个点小于 η\etaη(这样 ηX(j)\eta X_{(j)}ηX(j)​)。

在我们的抛硬币类比中,这意味着“正面”的次数必须在 iii 和 j−1j-1j−1 之间(包含两端)。由于每次抛掷都是独立的,且出现“正面”的概率为 1/21/21/2,因此“正面”的总次数服从​​二项分布​​ (Binomial distribution)。因此,我们可以计算出该事件的确切概率,而这个概率就是我们的置信水平。

这使我们能够反向推导。在一个有 15 名患者的临床试验中,我们可能想要一个置信度约为 90% 的区间。通过计算二项式概率,我们可以找到最佳的一对顺序统计量——比如说,从第 5 快恢复时间到第 11 快恢复时间——来达到这个目标置信水平。同样,在测试 OLED 的寿命时,我们可以选择正确的顺序统计量来确保我们的区间至少有 95% 的机会包含真实的中位数寿命。

这个强大的思想揭示了统计学中一个深刻的对偶性。构建这个区间等价于对一个​​符号检验​​ (sign test) 进行反演。我们实质上是在寻找所有可能的中位数取值,使得在假设检验中,我们的数据不会将这些值作为不合理的值而拒绝。置信区间就是所有“貌似真实的值”的集合。

计算机救场:自助法 (Bootstrap)

顺序统计量方法很优雅,但它有一个实际的缺点。因为我们是在计数,所以可能的置信水平是离散的。对于一个大小为 20 的样本,你或许可以构建一个 95.8% 的置信区间和一个 98.8% 的置信区间,但你无法构建一个 97% 的置信区间。

这时,计算机和一个名为​​自助法​​ (bootstrap) 的巧妙思想就派上用场了。这个名字来源于一句异想天开的短语“to pull oneself up by one's own bootstraps”(意为“靠自己的力量站起来”),它恰如其分地体现了该方法的精神:利用数据本身来理解其自身的不确定性。

其核心思想很简单:如果我们最初的样本能够很好地反映整个总体,那么我们就把这个样本当作总体。然后,我们可以模拟从这个“总体”中抽取新样本时会发生什么。这个过程被称为​​百分位数自助法​​ (percentile bootstrap method),其工作方式如下:

  1. ​​重抽样 (Resample)​​:想象一下,你把你 nnn 个数据点中的每一个都写在一张票上,然后放进一顶帽子里。你抽出一张票,记下它的值,然后——这是关键步骤——把它放回帽子里。你重复这个过程 nnn 次,创建一个与原始样本大小相同的新“自助样本”。因为你是有放回地抽样,所以一些原始值可能会出现多次,而另一些则可能一次也不出现。
  2. ​​计算 (Calculate)​​:对于这个新的自助样本,你计算出它的中位数。
  3. ​​重复 (Repeat)​​:你将这个过程重复数千次——比如说,在一项家庭收入研究中重复 4,000 次,或者在测量机器学习模型延迟时重复 1,000 次。这样你就得到了一个庞大的自助中位数集合。
  4. ​​形成区间 (Form the Interval)​​:这数千个中位数的集合为你提供了一个分布——一个关于中位数可能变异情况的经验性图像。要获得 95% 的置信区间,你只需将所有的自助中位数排序,然后找到第 2.5 百分位数和第 97.5 百分位数。这两个值之间的范围就是你的 95% 自助置信区间。

这个方法非常强大且通用。它不仅可以应用于中位数,还可以应用于许多其他统计量,并且它使我们摆脱了顺序统计量方法的离散步骤限制。

然而,没有哪种方法是万能的。自助法的理论依据依赖于一个足够大的初始样本。如果我们的样本非常小会怎样?一项针对样本量 n=3n=3n=3 的精妙理论分析揭示了一个引人入胜的现象。对于 95% 自助置信区间的构建过程,当推至其理论极限时,它恰好产生区间 [X(1),X(3)][X_{(1)}, X_{(3)}][X(1)​,X(3)​]——这正是我们手动推导出的那个简单区间!而我们知道,它的真实覆盖概率不是 95%,而是 1−21−3=0.751 - 2^{1-3} = 0.751−21−3=0.75,即 75%。这是一个绝佳的警示故事。我们的工具很强大,但它们有其假设和局限。真正的科学理解不仅在于使用工具,更在于欣赏其内部工作原理、其精妙之处及其边界。

应用与跨学科联系

既然我们已经熟悉了寻找中位数及其置信区间的原理和机制,你可能会问一个完全合理的问题:“那又怎样?”我们拥有了这个精妙的统计工具,但它如何脱离教科书示例的无菌世界,在混乱、不可预测的现实世界中大显身手呢?事实证明,这才是真正乐趣的开始。你看,这个世界很少是“正态”的。数据常常是偏态的、不对称的,并且充满了惊人的意外。中位数,以及我们陈述对其置信度的能力,不仅仅是一种统计上的奇趣;它是一面强大的透镜,帮助我们在一个不总是遵循整洁规则的世界中看清真相。

两种哲学的较量:拒绝还是稳健?

想象一下,你是一名分析化学家,正在测量河水样本中的铅浓度。你收集了七个小瓶,你的测量值大多聚集在,比如说,十亿分之十五 (15 ppb) 左右。但有一个读数接近 19。它显得格格不入。你的下一步是什么?

在很长一段时间里,标准方法有点像一出法庭剧。你会使用一个正式的离群值统计检验(例如 Grubbs 检验)来“审判”那个可疑的数据点。如果检验结果判定“有罪”,你便获得了丢弃该离群值的许可。然后,你可以从剩下那些“行为良好”的数据中计算出你所熟悉的均值和置信区间。但这其中存在一种微妙的智识上的不安。我们真的能确定那是个错误吗?万一那个高读数不是误差,而是一个真实的信号——一次短暂但确实存在的污染峰值呢?通过丢弃它,我们是否也丢弃了关于我们所研究系统的一个关键线索?

这时,一种不同的、更现代的哲学登场了:​​稳健性​​ (robustness) 哲学。稳健方法不问“我如何才能证明移除这个不方便的数据点是合理的?”,而是问“我能否使用一个不容易被不方便的数据点影响的估计量?”中位数正是这个故事中的英雄。当我们排列数据点以寻找中间那个值时,最大值与其他值的距离有多远并不重要;它仍然只被算作队尾的一个数据点。通过选择中位数,我们自然而然地缓冲了极端值对分析的影响。并且,通过使用像自助法这样的方法为该中位数生成一个置信区间,我们可以为“典型”的铅浓度提供一个值得信赖的范围,而无需删除任何一个测量值。我们完整地接纳了数据,包括其所有瑕疵,并从中提取了一个更诚实的摘要。在监测井水中的砷含量时也出现了同样的问题,单个高读数可能对公共卫生产生严重影响,但却可能不当地夸大均值。

生命周期的度量:从患者到水泵

也许在测量时间——特别是事物能持续多久——的领域,偏态分布最为常见,也最为重要。

考虑一项跟踪新癌症治疗后患者生存时间 的医学研究。许多患者的生存时间可能聚集在某个特定值附近,但少数幸运的个体可能反应特别好,活了很长时间。从人性的角度来看,这些长期幸存者是极好的,但他们在数据分布中产生了一个长长的“尾巴”。如果我们计算平均生存时间,这少数几个特殊结果可能会显著拉高平均值,从而为典型患者描绘出一幅过于乐观的图景。然而,中位生存时间告诉我们的是有一半患者仍然存活的时间点——对于一个想要了解自己预后的新患者来说,这是一个更为冷静且通常更具相关性的信息。同样,在比较一种新的物理治疗方案与标准方案时,我们可能对中位恢复时间的差异感兴趣。自助法分析可以为这个差异提供一个置信区间,即 θ=median(Control)−median(Treatment)\theta = \text{median}(\text{Control}) - \text{median}(\text{Treatment})θ=median(Control)−median(Treatment),帮助我们判断新方案是否提供了具有统计学意义的典型益处。

同样的原则可以直接从人延伸到产品。一位评估城市水泵可靠性的工程师想要知道它们的典型使用寿命。大多数水泵可能在几年后失效,但一些坚固的单元可能会持续十年或更长时间。中位寿命为维护和更换计划提供了一个坚实的基准。这种被称为生存分析的分析方法,常常需要处理“删失”数据——例如,在研究结束时仍在完美工作的水泵。我们不知道它们的最终故障时间,只知道它长于研究周期。在这种情况下计算均值是有问题的,但中位数通常仍可以被稳健地估计出来,这使其成为工程和制造业中不可或缺的工具。

驯服狂野的分布:生物学与金融

自然界充满了变异。如果你在一群本应相同的细胞中测量某个特定基因的表达水平 或某种蛋白质的浓度,你每次都不会得到相同的数字。你会得到一个分布。生物过程是嘈杂而复杂的,这些分布往往是偏态的。少数细胞可能在“加班加点”,产生大量的某种蛋白质。中位表达水平为生物学家提供了一幅典型细胞行为的稳定图景,这对于理解生物系统的基本运作至关重要。由于这些实验可能很昂贵,样本量通常很小,这使得自助法成为估计中位数不确定性的完美搭档。

金融世界是另一个“正态”是例外的领域。例如,风险投资组合的回报是出了名的偏态。大多数初创公司会失败,导致回报为 −1-1−1(完全亏损)。少数可能会带来少量利润。但一两个可能会成为惊人的“独角兽”成功案例,回报率高达 100 倍或更多。这样一个投资组合的平均回报完全由这些罕见但巨大的成功所主导,对于任何单一投资的可能结果几乎没有任何启示。而中位数回报,通常为零或负数,则为风险投资领域提供了一幅更为冷静和现实的图景。

这种稳健性的思想也可以从中心度量(如中位数)扩展到离散程度的度量。金融分析师可能会使用​​中位数绝对偏差 (Median Absolute Deviation, MAD)​​,而不是对离群值敏感的标准差。其计算方法是:首先找到数据的中位数,然后计算每个数据点与该中位数的绝对差,最后找到这些差值的中位数。它是一种衡量波动性的指标,与其“母”统计量一样,不容易被几天疯狂的市场波动所欺骗。当然,我们也可以使用自助法来找到 MAD 的置信区间,从而为资产的波动性提供一个稳健的范围。

从物理实验中奇异粒子的衰变 到新药的有效性,现实世界向我们展示了挑战简单化假设的数据。中位数的置信区间不仅仅是一种统计技术;它是一种思维方式。它鼓励我们去欣赏数据的真实形状,并选择那些能讲述诚实故事的工具,即使——尤其是当——这个故事并非完美的钟形曲线时。