try ai
科普
编辑
分享
反馈
  • 威尔科克森秩和检验

威尔科克森秩和检验

SciencePedia玻尔百科
核心要点
  • 威尔科克森秩和检验通过对所有数据点进行排序来比较两个独立组,使其对异常值和非正态分布具有稳健性。
  • 这是一种分布无关的方法,其根本上检验的是从一个组中抽取的观测值高于另一个组的概率是否为50%。
  • 虽然在处理正态数据时效率很高,但当数据倾斜或呈重尾分布时,威尔科克森检验的功效可能显著高于t检验。
  • 该检验非常适合分析序数数据,例如满意度评分或疼痛等级,在这些数据中,顺序有意义但数值本身没有意义。

引言

在比较两组数据时,我们如何能确保结论的可靠性,尤其是在数据混乱、倾斜或包含极端异常值的情况下?虽然像t检验这样的传统方法很强大,但它们对正态性假设的依赖在面对真实世界数据时可能成为一个致命的弱点。威尔科克森秩和检验提供了一种优雅而稳健的替代方案。通过关注观测值的相对顺序(即秩次)而非其确切数值,这种非参数检验提供了一个强大的工具,能够发现其他方法可能遗漏的真实差异。本文将探讨这种方法的精妙之处。第一部分“原理与机制”将解构该检验的工作原理,从简单的排序行为到其作为优效性检验的深刻解释。接下来的“应用与跨学科联系”部分将展示该检验在从医学到材料科学等不同领域的多功能性,揭示其为何是严谨、诚实的科学探究中不可或缺的工具。

原理与机制

想象一下,你是一场音乐比赛的评委,有两组钢琴家参赛。在所有人演奏完毕后,你可以尝试为每个表演打一个精确的百分制分数。但评分既主观又困难。如果换一种方式,你只是简单地将所有钢琴家按照你感觉从最差到最好的表演顺序排列起来呢?现在,你只需看看这个队列。A组的钢琴家是大多聚集在队列的“较好”一端,而B组的钢琴家则在“较差”的一端吗?还是说他们都混杂在一起?

这种简单、直观的排序行为,即关注相对顺序而非绝对数值,正是威尔科克森秩和检验(也称曼-惠特尼U检验)核心的美妙思想。它让我们不必再为精确的数值分数而苦恼,并因此为我们提供了一个具有非凡功效和稳健性的工具。

秩次的舞蹈

那么,这在实践中是如何运作的呢?让我们跟随步骤来看。假设一项临床试验比较一种新的抗炎药剂(X组)与一种标准药剂(Y组),测量血液中的某种生物标志物。我们得到一小组结果:

  • ​​X组:​​ {3,7,7}\{3, 7, 7\}{3,7,7}
  • ​​Y组:​​ {2,7,10}\{2, 7, 10\}{2,7,10}

第一步是暂时忽略每个患者属于哪一组,将所有测量值汇集在一起。然后我们把它们从小到大排序:

{2,3,7,7,7,10}\{2, 3, 7, 7, 7, 10\}{2,3,7,7,7,10}

接下来,我们分配秩次,从最小的值开始,秩为1。但等等——我们遇到了同秩!有三位患者的得分都是7。他们占据了队列中的第3、第4和第5个位置。为了公平起见,我们不能给其中任何一个比其他更高的秩次。一个巧妙的解决方法是让他们共享秩次,即取其秩次的平均值。3、4和5的平均值是 (3+4+5)/3=4(3+4+5)/3 = 4(3+4+5)/3=4。这被称为​​中秩 (midrank)​​。因此,我们排序后数值的秩次是:

  • 数值2(来自Y组)的秩次为1。
  • 数值3(来自X组)的秩次为2。
  • 三个7(两个来自X组,一个来自Y组)的秩次均为4。
  • 数值10(来自Y组)的秩次为6。

现在我们可以再次将两组分开,同时记录它们的秩次。X组的秩次是 {2,4,4}\{2, 4, 4\}{2,4,4}。这些秩次的总和,称为​​威尔科克森秩和统计量​​ RXR_XRX​,是 2+4+4=102+4+4 = 102+4+4=10。这个数字反映了X组成员在整个排序队列中倾向于处在多么“靠前”的位置。一个非常大的秩和表明X组的值较高,而一个非常小的秩和则表明相反的情况。

但是,还有另一种可能更直观的思考方式,它引出了​​曼-惠特尼U统计量​​。我们来玩一个简单的游戏。从X组和Y组各选一名患者进行比较。对所有可能的配对都这样做一次。统计量 UXU_XUX​ 就是X组患者得分高于Y组患者的次数总和(我们将同分的情况计为0.5次“胜利”)。

对于我们的例子(X={3,7,7}X=\{3, 7, 7\}X={3,7,7} 和 Y={2,7,10}Y=\{2, 7, 10\}Y={2,7,10}):

  • 比较 X1=3X_1=3X1​=3:它胜过Y组中的一个值(2)。计1次胜利。
  • 比较 X2=7X_2=7X2​=7:它胜过一个值(2),并与一个值(7)打平。计 1+0.5=1.51 + 0.5 = 1.51+0.5=1.5 次胜利。
  • 比较 X3=7X_3=7X3​=7:同上,计1.5次胜利。

总计 UX=1+1.5+1.5=4U_X = 1 + 1.5 + 1.5 = 4UX​=1+1.5+1.5=4。UX=4U_X=4UX​=4 这个数值和秩和 RX=10R_X=10RX​=10 只是讲述同一个故事的不同“方言”。它们通过一个简单的公式完美地联系在一起:UX=RX−nX(nX+1)2U_X = R_X - \frac{n_X(n_X+1)}{2}UX​=RX​−2nX​(nX​+1)​,其中 nXn_XnX​ 是X组的样本量。这些统计量是我们进行检验的原始材料。

问题的核心:优效性概率

U统计量是我们样本的一个计数。但它试图揭示关于我们样本来源的更广泛总体的什么深层真相呢?

想象一下,我们可以从所有可能接受新疗法的患者总体(总体X)中随机抽取一个人,再从接受标准护理的患者总体(总体Y)中随机抽取另一个人。来自X总体的患者获得更好结果的概率是多少?这被称为​​优效性概率 (probability of superiority)​​,或​​概率指数 (probabilistic index)​​。为了精确并处理可能出现的同分情况,我们将其定义为:

p=Pr⁡(X>Y)+12Pr⁡(X=Y)p = \Pr(X > Y) + \frac{1}{2}\Pr(X = Y)p=Pr(X>Y)+21​Pr(X=Y)

这是从X总体中随机抽取的值大于从Y总体中随机抽取的值的概率,其中同分情况计为半次胜利。

现在我们可以陈述威尔科克森-曼-惠特尼检验真正要问的问题了。原假设(H0H_0H0​)是两个总体是相同的。如果它们相同,那么随机抽取的X比随机抽取的Y更有可能获胜的理由就不存在了,反之亦然。根据对称性,这场“竞赛”应该是完全公平的。事实上,如果两个总体相同,这个概率 ppp 就恰好是 12\frac{1}{2}21​。

因此,该检验只是在问:我们的数据是否提供了强有力的证据,让我们相信这个“获胜概率”不是 12\frac{1}{2}21​?这种解释非常具有普遍性。它不对分布的形状做任何假设。因为该检验的有效性建立在这种简单、非特定的计数原则之上,所以它被称为​​分布无关 (distribution-free)​​ 检验。

一个特例:位置平移的世界

有时,我们可能愿意做一个额外的假设。如果我们相信一种新疗法不会改变结果分布的形状,而只是简单地将其平移,情况会怎样?例如,也许这种药物给每个患者带来了额外的5分疼痛缓解。这被称为​​位置平移模型 (location-shift model)​​。

在这个特定假设下,威尔科克森检验变成了关于平移量 Δ\DeltaΔ 大小的检验。两个分布相同的普遍原假设(H0:FX=FYH_0: F_X = F_YH0​:FX​=FY​)简化为更为具体的原假设,即平移量为零(H0:Δ=0H_0: \Delta = 0H0​:Δ=0)。在这个特殊的世界里,该检验可以被解释为检验一组的中位数(或均值)是否与另一组不同。但必须记住,这种解释需要一个额外的假设;该检验的根本有效性要广泛得多。

秩次的隐藏超能力

此时,你可能会想:为什么要费这么大劲去处理秩次?为什么不直接使用比较两组均值的经典两样本t检验呢?

答案揭示了秩次的秘密力量。t检验是统计检验中无可争议的冠军,是检测差异最有效的工具……但前提是你的数据完美地遵循一种特定的、被称为正态分布的钟形曲线。在现实世界中,数据很少如此“循规蹈矩”。一位测量河流污染物的环境科学家,或一位评估聚合物质量的材料科学家,可能会发现他们的数据是倾斜的或包含异常值——即一些意想不到的极端测量值。

t检验由于使用实际数值,对异常值极为敏感。一个单一的极端数据点就可以拉低样本均值并夸大方差,从而急剧降低检验发现真实效应的功效。然而,威尔科克森检验是稳健的。一个异常值只是另一个秩次——最高的那个。无论该值是100还是1,000,000,它的秩次都是一样的。通过忽略数值的大小而专注于顺序,该检验保护自己免受极端值的影响。

真正非凡的是这种稳健性为我们带来的好处。即使当数据确实是完全正态时,威尔科克森检验的表现也惊人地好。其渐进相对效率(ARE)约为 0.9550.9550.955,这意味着它的效率是t检验的95.5%。它仅需约5%的额外数据就能达到相同的统计功效。这个著名的结果,精确值为 3π\frac{3}{\pi}π3​,是统计理论中的一个经典。

但当数据偏离正态性,特别是当分布是“重尾”的(意味着异常值更常见)时,情况就完全不同了。对于某些重尾分布,如拉普拉斯分布或自由度较小的学生t分布,威尔科克森检验不仅是一个稳健的替代方案——它的功效实际上远高于t检验。它可能只需要三分之二甚至一半的样本量就能检测到相同的效应。这是一个深刻的教训:有时,通过策略性地丢弃一些信息(确切的数值),我们可以创造出更敏锐、更强大的科学工具。

超越P值:效应有多大?

科学并不止步于“是否存在差异?”。我们想知道,“差异有多大?”。威尔科克森框架在这里提供了一个同样优雅的答案:​​Hodges-Lehmann估计量​​。

如果我们愿意假设位置平移模型,我们对平移量 Δ\DeltaΔ 的最佳估计既不是样本均值之差(这是t检验所估计的),也不是样本中位数之差。相反,它是​​所有成对差异的中位数​​,Yj−XiY_j - X_iYj​−Xi​。

这个估计量与检验本身有着一种美妙的对偶性。它恰好是这样一个平移值:如果你将它应用于其中一个样本,从曼-惠特尼检验的角度来看,它将使两组看起来“最相似”。它就是那个使得U统计量在其原假设期望值上达到完美平衡的值 Δ^\hat{\Delta}Δ^。此外,这种对偶性提供了一种直接的方法来构建真实效应量 Δ\DeltaΔ 的稳健置信区间,该区间基于排序后的成对差异构建。这不仅给了我们一个检验,还给了我们一个完整的推断系统。

一些注意事项

没有哪个工具是万能的,了解其局限性是明智的。

首先,数据中​​大量的同秩​​可能是一个问题。如果我们在一个粗略的序数尺度上(例如,1到5的评分)测量结果,或者测量设备有检测下限,我们的大量观测值可能会集中在同一个值上。虽然该检验可以针对同秩进行调整,但如果同秩的情况非常极端——例如,超过一半的数据落在同一个值上——用于获取p值的常用近似方法可能会变得不准确。在这种情况下,更复杂的​​精确检验​​或​​置换检验​​是更可取、更可靠的方法。

其次,一个更微妙的问题是​​分布交叉​​。该检验的主要摘要是“获胜概率” θ\thetaθ。但如果一种新疗法对一部分患者有益,但对另一部分患者有害呢?治疗组的结果分布可能会与对照组的分布交叉。检验可能仍然会发现,平均而言,“胜利”多于“失败”,并报告一个显著的效应(θ>0.5\theta > 0.5θ>0.5)。但这个单一的数字掩盖了一个关键事实:效应并非均一。威尔科克森检验得出的一个显著p值并不保证该疗法对每个人都更好。当有理由怀疑存在这种复杂效应时,一个单一的p值仅仅是故事的开始。我们必须更深入地挖掘,通过可视化分布和使用像​​分位数回归​​这样的更高级工具,来理解该疗法对谁有帮助,又可能对谁没有帮助。这就是统计学从简单的比较转向对异质性进行细致探索的领域,而这种探索定义了现代严谨的科学。

应用与跨学科联系

在了解了威尔科克森秩和检验的原理和机制之后,人们可能很容易将其归档为统计学家工具箱中的又一个工具。但这样做就完全错过了重点。这个检验不仅仅是一个程序,它是一种哲学。它是一个镜头,通过它我们可以观察真实数据这个混乱、复杂且常常充满惊喜的世界,并在其他方法只能看到噪声的地方发现清晰和真理。它真正的美不在于其公式的优雅,而在于其应用的广度和深度,从医院病床边到计算生物学的前沿。

秩次的力量:驯服野生异常值

在教科书中经过净化的世界里,数据点通常表现良好,规矩地聚集在一个中心值周围。然而,现实很少如此仁慈。真实世界的测量会受到偶然事件、设备故障或纯粹的、彻头彻尾的怪异现象的影响。想象一位材料科学家正在开发一种新合金,希望证明其卓越的断裂韧性。大多数样品表现出色,与标准品相比有显著改进。但其中一个样品,也许是由于微观缺陷,灾难性地失效了,其韧性接近于零。

现在会发生什么?像学生t检验这样依赖均值和标准差的传统检验可能会被严重误导。那个单一的极端异常值会拉低整个组的平均值,并夸大方差,从而可能掩盖一个真正的突破,导致科学家放弃一项有前途的创新。从某种意义上说,t检验过于“民主”;它赋予每个数值平等的投票权,而一个响亮的、极端的值可以压倒所有其他值的声音。

威尔科克森检验提供了一种更稳健的治理形式。通过将原始数据转换为秩次,它优雅地处理了这类异常值。灾难性的失败仅仅被赋予最低的秩次,而组内其他更具代表性的样本则保留了它们的高秩次。异常值的量级变得无关紧要;只有它的顺序才重要。该检验问的是:“是否有一组持续地比另一组排名更高?”这种对一致性的关注使其具有非凡的弹性。那个灾难性的测量值被看作它本来的样子——一个异常现象——而潜在的优越性模式则得以凸显。

这种稳健性原则不仅限于材料科学。在生物信息学中,当分析RNA测序实验的基因表达数据时,常常会因为生物学或技术上的变异,发现某个基因在单个样本中被极度过度表达。威尔科克森检验是该领域的主力工具,它使研究人员能够在不受这些“头彩”事件迷惑的情况下比较不同条件。同样,在迅速发展的影像组学领域,研究人员从医学图像中提取数千个特征来预测疾病结果,其数据分布通常是带有重尾的偏态分布。威尔科克森检验是一个不可或缺的过滤器,它通过忽略极端特征值产生的干扰噪声,识别出那些能真正区分患者群体(例如,良性与恶性肿瘤)的特征。

从数字到顺序:一个为人类世界而设的检验

该检验的精妙之处不仅在于驯服异常值。它让我们能够进入一个连数字本身都值得怀疑的领域。考虑一下测量疼痛的挑战。医生让病人用0到10的等级来评价他们的疼痛。疼痛等级‘8’真的比‘4’糟糕两倍吗?‘2’和‘3’之间的差异与‘7’和‘8’之间的差异相同吗?几乎可以肯定不是。这些数字是标签,而不是测量值。它们代表一种顺序:‘8’比‘4’差,‘4’又比‘3’差。这就是*序数*数据的世界,它在医学、心理学和社会科学中无处不在。

对于依赖均值和平均值的检验来说,这类数据是危险的。但对于威尔科克森检验来说,这正是它的主场。由于该检验只关心观测值的相对顺序,它对于任何保持该顺序的变换都具有根本的不变性。你可以将1-10的疼痛等级重新映射到对数尺度上,或者对其进行非线性拉伸;只要‘3’始终小于‘4’,威尔科克森检验就会产生完全相同的结果。这种被称为对单调变换不变性的深刻特性,使其成为分析那些我们信任其顺序但不信任其间距的主观结果的理想工具。

同样的逻辑也适用于用户体验(UX)研究,一个团队可能会通过计算用户完成任务所需的点击次数来比较两种网站设计。虽然点击次数是数字,但潜在的关注量可能是“用户挫败感”或“易用性”,这很可能与点击次数不成线性关系。通过使用威尔科克森检验,研究人员可以自信地确定一种设计是否持续比另一种更容易使用,而无需对其测量值的性质做出站不住脚的假设。

一个更深层的问题:我们到底在问什么?

威尔科克森检验还迫使我们更深入地思考我们向数据提出的问题。t检验问的是:“A组的均值与B组的均值是否不同?”威尔科克森检验问的是一个更普遍、也往往更有趣的问题。在其最纯粹的形式中,它检验的是两个分布是否相同。如果它们不相同,它可以告诉我们一种叫做*随机占优*的现象。

想象一下,农业科学家正在测试一种新微生物,看它是否能提高作物产量。他们的研究问题不仅仅是“平均产量是否更高?”,而是“这种微生物是否更可能全面地带来更高的产量?”这是一个随机占优的问题。如果对于任何给定的产量值 yyy,在处理组中获得高于 yyy 的产量的概率都更大,那么处理组的产量就是“随机占优”的。

这引出了对检验统计量本身一个非常直观的解释。曼-惠特尼U统计量不仅仅是一个抽象的数字;当用样本量之积(m×nm \times nm×n)进行缩放后,它直接估算了“优效性概率”,即 P(X>Y)P(X > Y)P(X>Y)。这是从一个组中随机选择的个体的值高于从另一个组中随机选择的个体的值的概率。这将一个统计检验的输出从一个抽象的p值转变为一个医生、病人或工程师都能轻松理解的具体概率陈述。它回答了一个简单而有力的问题:“如果我从每组中各选一个,A胜过B的几率是多少?”

在发现的前沿

该检验的稳健性与简单性的结合使其在科学前沿不可或缺。在单细胞RNA测序(scRNA-seq)中,生物学家可以测量成千上万个单细胞中数千个基因的表达。这类数据的一个共同特征是“零膨胀”:对于任何给定的基因,大多数细胞根本不表达它,导致大量的零值。这在秩为零的地方造成了数据中的一个巨大的“同秩”。

这是对威尔科克森程序的一次压力测试。该检验通过为所有零值分配一个平均秩次(“中秩”)来处理这些同秩。虽然这使得检验可以继续进行,但大量的同秩减少了可用于区分两组的信息量,从而降低了统计功效。检测真实差异变得更加困难。这是一个深层原理的绝佳例证:统计学里没有免费的午餐。威尔科克森检验可以处理混乱的数据,但它无法在无信息处创造信息。在现代基因组学中,理解其在这种极端环境下的行为对于解释结果至关重要。

哲思尾声:发现的诚信

也许威尔科克森检验最深刻的应用不在于任何特定领域,而在于科学实践本身。在一项确证性临床试验中,游戏规则必须在游戏开始前就确定下来。否则——即运行多个检验并选择结果最有利的那一个——是一种统计上的不当行为,被称为“p值操纵”(p-hacking)或“数据挖掘”(data dredging)。

那么,当一位有责任心的科学家预见到他们的数据可能存在偏斜(例如,甘油三酯水平就常常如此),从而使得t检验存在风险时,他们该怎么做?答案在于一个预先指定的计划。现代统计实践允许采用适应性设计,其中检验的选择是数据驱动的,但方式要能保持诚信。关键在于在对治疗分组保持盲态的情况下做出决定。

一个严谨的工作流程包括预先撰写一份统计分析计划(SAP),其中明确规定一条确定性规则:“我们将汇集两组的所有数据,如果预先指定的偏度度量超过某个阈值,我们的主要分析将是威尔科克森秩和检验;否则,将是t检验。”通过基于盲态数据的整体形状来做此决定,选择就不会因为哪一组表现“更好”而产生偏倚。这种方法将威尔科克森检验的稳健性与确证性科学无可指摘的严谨性结合在一起。

于此,我们看到了威尔科克森秩和检验最终、最深层的美。它不仅仅是一种计算。它是对现实复杂性的承认,是诚实探究的工具,也是在严谨、美好的知识追求中的伙伴。它教导我们,有时,最强大的洞见并非来自用虚假的精确度去测量量级,而是来自优雅而稳健地理解顺序。