try ai
科普
编辑
分享
反馈
  • 似然比方法

似然比方法

SciencePedia玻尔百科
核心要点
  • 似然比检验 (LRT) 提供了一种原则性方法,通过确定一个复杂模型是否比一个简单模型提供显著更优的拟合来比较嵌套的统计模型。
  • 根据 Wilks 定理,对于大数据集,LRT 统计量服从一个通用的卡方分布,从而允许在不同领域进行标准化的假设检验。
  • 得分函数法是一个相关原理,它通过将一个困难的微分问题转化为一个简单的重加权问题,从而能够在复杂模拟中进行敏感性分析。
  • 当在参数空间的边界上检验假设时(例如,方差不能为负),标准的 LRT 程序必须进行修改,因为检验统计量服从一个混合分布。

引言

在科学中,我们不断建立和完善模型来解释世界。但是,当面对同一数据的多种解释时,我们如何选择最佳的一种?简单的模型优雅,但更复杂的模型可能捕捉到关键细节。核心挑战在于客观地确定增加的复杂性是否真正得到了证据的支持,或者仅仅是在拟合随机噪声。本文将揭开一个最强大的统计框架的神秘面纱,它就是用来解决这个问题的:似然比方法。

我们将首先探讨其核心的 ​​原理与机制​​,解析似然比检验的优雅逻辑、Wilks 定理的神奇之处以及得分函数的深远效用。在这一理论基础之后,我们将穿越其多样化的 ​​应用与跨学科联系​​,见证这一思想如何在从基因组学、生态学到医学和工程学等领域提供关键见解。

原理与机制

我们如何决定两种相互竞争的科学解释?想象你是一名侦探,手握一组线索——数据。你有两名嫌疑人,每个人都有一个故事——一个模型——声称能解释这些线索是如何产生的。你如何判断哪个故事更可信?你可能会问:“根据这个嫌疑人的故事,我找到这些确切线索的可能性有多大?” 那个让观察到的线索显得最合理、最符合预期的故事,就是你倾向于相信的那个。

这就是似然原理背后的核心思想,它是现代统计学的基石。这是一种模型的“选美比赛”,奖项颁给最符合事实的解释。

一场解释的选美比赛

让我们把这一点说得更具体些。在科学中,我们的“故事”是带有可调参数的数学模型。对于给定的参数集,模型会为每个可能的结果分配一个概率。我们模型的 ​​似然​​ 是它为我们 实际 收集到的数据所分配的概率。它是一种合理性的度量。通过调整参数,我们可以找到使似然达到最高的模型版本——那个让我们的数据显得最不令人意外的版本。这个最佳拟合版本被称为 ​​最大似然估计 (MLE)​​。

但通常,真正的问题不仅仅是为单个模型找到最佳参数,而是决定我们是否根本就需要一个更复杂的模型。假设我们是材料科学家,正在开发一种新的可生物降解聚合物。我们知道催化剂浓度 (x1x_1x1​) 会影响其质量。我们有一个简单的模型来描述这一点。但我们预感固化温度 (x2x_2x2​) 也起着关键作用。为了检验这一点,我们可以创建第二个更复杂的模型,将两个因素都包含在内。

我们简单的 ​​简化模型​​ (M0M_0M0​) 嵌套 在复杂的 ​​完整模型​​ (M1M_1M1​) 内部,这意味着 M0M_0M0​ 只是 M1M_1M1​ 的一个特例(具体来说,是温度效应为零的情况)。拥有更多参数和灵活性的完整模型 总是 至少能和简化模型一样好地拟合数据——其最大似然会更高。但它是否 显著 更优?或者它只是在吸收数据中的随机噪声,这种现象被称为过拟合?我们需要一个有原则的裁判来做出判断。

似然比检验:一个有原则的裁判

这就是 ​​似然比检验 (LRT)​​ 发挥作用的地方。该检验建立在一个简单而优雅的思想之上:比较简化模型 L(M0)L(M_0)L(M0​) 的最大化似然与完整模型 L(M1)L(M_1)L(M1​) 的最大化似然。我们构建一个比率:

λ=sup⁡θ∈Θ0L(θ;data)sup⁡θ∈ΘL(θ;data)=L(M0)L(M1)\lambda = \frac{\sup_{\theta \in \Theta_0} L(\theta; \text{data})}{\sup_{\theta \in \Theta} L(\theta; \text{data})} = \frac{L(M_0)}{L(M_1)}λ=supθ∈Θ​L(θ;data)supθ∈Θ0​​L(θ;data)​=L(M1​)L(M0​)​

这里,Θ0\Theta_0Θ0​ 代表简单模型所允许的参数集,而 Θ\ThetaΘ 是完整模型的更大参数集。这个比率 λ\lambdaλ 的值总是在 0 和 1 之间。如果 λ\lambdaλ 接近 1,意味着简单模型几乎和复杂模型一样好。额外的复杂性并没有为我们带来多少解释力。但如果 λ\lambdaλ 非常接近 0,则表明完整模型要优越得多;在更丰富的解释下,数据变得更加合理。

为了数学上的方便,我们通常使用似然的对数。这将比率转化为差值。我们定义检验统计量 DDD(有时称为偏差统计量)为:

D=−2ln⁡λ=2[ℓ(M1)−ℓ(M0)]D = -2 \ln \lambda = 2 \left[ \ell(M_1) - \ell(M_0) \right]D=−2lnλ=2[ℓ(M1​)−ℓ(M0​)]

其中 ℓ\ellℓ 表示对数似然(似然的自然对数)。这个 DDD 值是我们衡量证据的指标。更大的 DDD 意味着更复杂的模型带来的拟合改进更大。对于那个聚合物实验,对数似然分别为 ℓ(M0)=−112.75\ell(M_0) = -112.75ℓ(M0​)=−112.75 和 ℓ(M1)=−104.38\ell(M_1) = -104.38ℓ(M1​)=−104.38,得出 D=2(−104.38−(−112.75))=16.74D = 2(-104.38 - (-112.75)) = 16.74D=2(−104.38−(−112.75))=16.74。这是一个大的数字吗?

神奇之处就在于此。一个名为 ​​Wilks 定理​​ 的卓越结果告诉我们,如果简单模型 实际上是真的(即,额外的参数只是噪声),那么对于大数据集,统计量 DDD 将遵循一个通用且可预测的模式:​​卡方 (χ2\chi^2χ2) 分布​​。这个分布的形状只取决于我们添加到模型中的额外参数的数量。在我们的聚合物例子中,我们增加了一个参数(温度),所以我们将 DDD 值 16.7416.7416.74 与一个自由度为 1 的 χ2\chi^2χ2 分布进行比较。一个 16.7416.7416.74 的值在该分布下是极不可能偶然发生的。我们不得不得出结论,我们的预感是正确的:温度确实很重要。同样的逻辑使我们能够确定年龄和治疗之间的交互作用是否是预测急诊室就诊次数的重要因素,或者某个生物标志物是否会改变药物对死亡率的影响。LRT 为我们提供了一把衡量证据的通用标尺。

深入探讨:得分函数与敏感性

似然比原理不仅仅是比较两个模型的工具;它还是通向一个关于敏感性的更深层次思想的窗口。我们不仅可以问一个参数是否为零,还可以问:如果我稍微调整一个参数,我们的预测会如何变化?

想象一下,对数似然函数是所有可能参数值空间上的一片山峦景观。MLE 就是最高峰。这个景观上任意一点的斜率陡峭程度和方向由一个称为 ​​得分函数​​ 的向量给出,定义为对数似然相对于参数的导数,Sθ(x)=∂θlog⁡fθ(x)S_\theta(x) = \partial_\theta \log f_\theta(x)Sθ​(x)=∂θ​logfθ​(x)。在顶峰,斜率为零——得分为零。

这个得分函数是现代统计学和机器学习中最强大的“技巧”之一的关键,通常被称为 ​​得分函数法​​,或更广泛地称为 ​​似然比法​​。假设我们想计算一个期望值的导数,比如说,一个金融期权价格对市场波动率变化的敏感性。这可以表示为 J′(θ)=ddθEθ[h(X)]J'(\theta) = \frac{d}{d\theta} E_\theta[h(X)]J′(θ)=dθd​Eθ​[h(X)],其中 h(X)h(X)h(X) 是来自复杂模拟的收益。通常,函数 h(X)h(X)h(X) 是一个“黑箱”,或者更糟的是,它是非连续的(例如,“击中”或“未击中”事件),使其导数无法直接计算。

得分函数法提供了一种优雅的出路。它允许我们将微分算子从难以处理的函数 h(X)h(X)h(X) “推”到模拟本身表现良好的概率密度函数 fθ(x)f_\theta(x)fθ​(x) 上。结果是一个优美且极为有用的恒等式:

J′(θ)=Eθ[h(X)Sθ(X)]J'(\theta) = E_\theta \left[ h(X) S_\theta(X) \right]J′(θ)=Eθ​[h(X)Sθ​(X)]

这个公式告诉我们,我们可以通过简单地运行原始模拟得到结果 h(X)h(X)h(X),然后用得分函数 Sθ(X)S_\theta(X)Sθ​(X) 对该结果进行加权来计算敏感性。我们用一个简单的重加权问题换掉了一个困难的微分问题。这个原理非常通用,能够对从由随机微分方程描述的复杂金融模型到人工智能中复杂的生成模型的训练等所有事物进行敏感性分析。

现实世界:复杂性与关联

当然,现实世界总是比简单的理论模型更为复杂。似然比框架的美妙之处在于其原理是稳健的,但其应用需要仔细思考。

统计学家已经发展出两种与 LRT 密切相关的检验方法:​​Wald 检验​​ 和 ​​Score 检验​​(得分检验)。它们共同构成了基于似然推断的“神圣三位一体”。虽然对于无限大的数据集,这三种方法会给出相同的结果,但在有限的真实数据世界中,它们在实践中各有取舍。例如,Score 检验的一大优点是只需要拟合简单模型,因此计算成本低廉。而 LRT 则拥有一个优雅的特性,即它对于模型的参数化方式是不变的,而 Wald 检验不幸地缺乏这一特性。

此外,当我们检验一个位于可能性边缘的假设时会发生什么?在进化生物学中,一个核心问题是某个性状是通过简单的随机漂变(​​布朗运动​​)进化,还是被自然选择拉向一个最优值(​​Ornstein-Uhlenbeck​​ 过程)。这可以通过检验选择强度参数 α\alphaα 来测试。由于选择不可能是“负的”,无选择的假设 H0:α=0H_0: \alpha=0H0​:α=0 位于参数空间 α≥0\alpha \ge 0α≥0 的边界上。在这种情况下,Wilks 定理的标准假设被违反,通用的 χ2\chi^2χ2 标尺不再适用!正确的零分布变成了一个混合分布——一半是位于零点的点质量,另一半是 χ2\chi^2χ2 分布。要得到正确答案,需要更深入地研究理论,这是一个绝佳的例子,说明了抽象的数理统计如何为具体的科学发现提供必要的工具。

从金融衍生品的非光滑世界 到进化树的深邃时间,似然比原理提供了一个统一、强大且惊人灵活的框架。它是一种量化证据、比较关于我们世界的相互竞争的故事,并将数据——及其所有的混乱和复杂性——转化为真正洞见的数学语言。

应用与跨学科联系

现在我们已经把玩了似然比这个引擎,让我们开着它去兜兜风吧。这个非凡的思想会把我们引向何方?你可能会感到惊讶。它不仅仅是统计学家用来解决两个抽象理论之间枯燥争议的工具;它是一把钥匙,能解开遗传学、生态学、药理学甚至工程系统设计等不同领域的秘密。它是一个通用的镜头,用来询问:“在这两个可能的故事中,证据更支持哪一个?”

科学建模的艺术

科学的核心是建立世界的模型。但我们如何选择正确的模型呢?似然比检验是我们在这项工作中的主要向导。

想象你是一位生物学家,正在计算鱼身上的寄生虫数量。有些鱼没有,有些有一些,有些有很多。这种变异是纯粹随机的,像一场简单的机会游戏(泊松分布),还是有更复杂的情况在发生,即有些鱼天生就比其他鱼更容易受感染,导致比预期更大的变异(负二项分布)?这是关于你的数据的两个不同故事或模型。美妙的是,更简单的泊松模型是更复杂的负二项模型的一个特例。它们是嵌套的。这是进行似然比检验的完美场景。通过计算两种模型下的最大化似然,我们可以构建比率,并询问负二项模型的额外复杂性对于解释我们所见的现象是否真的有必要。这不仅仅是一个学术练习;选择正确的模型对于做出准确预测和理解潜在的生物过程至关重要。

通常,我们的数据呈现给我们的方式并不容易建模。测量值可能偏斜,或者它们的变异性可能随着平均值的变化而变化。这就像戴着度数错误的眼镜读书。Box-Cox 变换是一种寻找最佳“处方”的方法——一个由参数 λ\lambdaλ 索引的数学函数,可以拉伸或压缩数据,使其表现得更好,通常更对称且方差恒定。但 λ\lambdaλ 的最佳值是什么?我们可以尝试许多值,但似然比检验给了我们一种正式的决策方法。我们可以为每个 λ\lambdaλ 计算一个“轮廓对数似然”,并找到使我们的数据最可能出现的那个值 λ^\hat{\lambda}λ^。然后我们可以使用似然比检验来询问,例如,一个简单的对数变换(λ=0\lambda=0λ=0)是否足够好,或者数据是否显著偏好一个不同的值。更优雅的是,我们可以反过来使用这个检验:所有未被检验拒绝的 λ\lambdaλ 值集合构成了一个置信区间。这种检验与区间估计之间的优美对偶性是统计推断的基石,而 LRT 使其栩栩如生。

一旦我们有了一个合理的模型,我们就可以提出更复杂的问题。在医学上,我们不仅想知道一种药物是否有效;我们想知道它 对谁 有效。一种药物的效果可能取决于患者的年龄或性别。这被称为“交互作用”。在像逻辑斯蒂回归这样的统计模型中(它预测如疾病存在与否的二元结果),我们可以包含一个表示这种交互作用的项。但这种交互作用是真实的,还是仅仅是我们样本中的偶然现象?我们可以拟合两个模型:一个只包含年龄和性别主效应的简单模型,以及一个包含交互作用项的更复杂的模型。再一次,这些模型是嵌套的。似然比检验为我们提供了一种直接而强大的方法,来确定数据是否提供了显著证据,表明年龄对感染风险的影响在男性和女性中确实不同。

解读生命之书

也许在生物科学领域,似然比检验的光芒最为耀眼,因为我们在这里不断尝试解读生命本身复杂而往往充满噪音的文本。

在现代基因组学中,我们可以同时测量数千个基因的活动水平(一种称为 RNA-seq 的方法)。一个常见的实验是比较一组经过处理的细胞和一组对照组。我们面临着海量的数据,以及一个关键问题:在这数千个基因中,哪些基因的活动水平因处理而真正发生了变化?对于每个基因,我们可以为其计数数据拟合两个模型:一个允许基因平均表达水平在两组之间不同的“完整”模型,以及一个假设没有差异的“简化”模型。似然比检验逐个基因地应用,就像一个强大的统计显微镜,让我们能够扫描整个基因组,并精确定位那些表达变化大到无法仅用随机机会来解释的基因。这种方法是现代生物学的主力,支撑着无数的发现。

同样的原理帮助我们理解生态系统。当我们监测一个种群随时间的变化时,我们可能会想知道是什么控制着它的大小。它是否无限增长,仅受随机环境波动限制(密度非依赖性增长)?还是它自身的数量通过食物或空间的竞争来限制其增长(负密度依赖性)?我们可以将这两种情况表述为带漂移的随机游走与均值回归过程。这又是一组嵌套模型。似然比检验使生态学家能够分析种群数量的时间序列数据,并检验自我调节的微妙信号,这是生态学中的一个基本概念。

更深入地,进入进化的密码本身,LRT 帮助我们阅读写在 DNA 中的历史。新物种是如何产生的?一种理论,即严格异域性,认为一个种群分裂,两个新群体在完全隔离中进化。另一种理论则允许在分化的群体之间持续存在基因流或迁移,如果它们地理上没有分离(同域性),这种情况就可能发生。我们可以为每一种物种形成“故事”建立数学模型,并计算在给定今天两个物种间观察到的遗传差异下,它们有多大的可能性。通过比较严格隔离模型(m=0m=0m=0,其中 mmm 是迁移率)与带迁移的隔离模型(m>0m > 0m>0)的似然,我们可以推断出这些物种形成的最可能历史。

我们甚至可以找到自然选择的足迹。当一个有益的新突变出现时,它可以在种群中迅速传播。当它“横扫”至高频率时,它会拖着与之连锁的 DNA,创造出一种遗传多样性降低和所选基因周围等位基因频率呈偏态分布的特征模式。检测这些“选择性扫描”就像是进化生物学家的宇宙背景辐射——它是一个重要事件的余晖。问题在于,计算整个基因组区域的完全似然在计算上是不可能的。在这里,我们主题的一个巧妙变体被使用:*复合似然比*检验。我们不试图写出所有事情的完整联合概率,而是简单地将每个遗传变异的单个概率相乘,假装它们是独立的。这并不严格正确,但它是一个强大且易于处理的近似。通过在基因组上滑动一个窗口,我们可以比较中性模型下观测数据的复合似然与以该位置为中心的扫描模型下的复合似然。这个比率的峰值指出了近期受到强烈选择的基因的位置。

深入探讨:可能性的边界

和任何强大的工具一样,我们必须了解它的局限性。一个迷人而微妙的情况是,当我们更简单的理论不是漂浮在更复杂理论的参数空间内,而是恰好位于其边缘时。

我们刚刚在几个例子中看到了这一点。无迁移的假设(m=0m=0m=0)位于必须为非负的可能迁移率空间(m≥0m \ge 0m≥0)的边界上。在 Gompertz 模型中,密度非依赖性的假设对应于参数 β=1\beta=1β=1,它位于备择假设(密度依赖性,β<1\beta \lt 1β<1)的边界上。在药理学中,药物消除的简单线性模型可以被看作是更复杂的 Michaelis-Menten 模型在其一个参数 KmK_mKm​ 趋于无穷大时的极限情况——这是另一个边界情况。

在这些情况下,LRT 统计量服从简单卡方分布的标准理论失效了。为什么?想想迁移的例子。如果数据微弱地暗示一个负的迁移率(这在物理上是不可能的),复杂模型的最大似然程序不会停留在一个负值上;它会卡在边界 m=0m=0m=0 上。但 m=0m=0m=0 正是零假设!在这种情况下,两个模型的最大化似然是相同的,检验统计量为零。如果零假设为真,这种情况大约有一半的时间会发生。另一半时间,数据暗示一个正的迁移率,检验统计量表现如预期。结果是,我们的检验统计量的零分布变成了一个奇特的混合体:一个在零点的点质量和一个标准 χ12\chi^2_1χ12​ 分布的 50:50 混合。认识到这一点对于计算正确的 ppp 值至关重要。这是一个美丽的例子,说明了科学中的实际问题如何迫使我们完善我们的数学工具并揭示更深层次的统计真理。

意外的转折:敏感性与得分函数

到目前为止,我们一直使用似然比在两个相互竞争的故事之间进行选择。但其背后的数学还有另一个同样深刻的应用,称为得分函数法。如果我们不问“哪个理论更好?”,而是问“我的答案对这个不确定参数的依赖程度有多大?” 这就是敏感性问题。

关键在于一点数学上的戏法。对数似然的导数,我们称之为得分,其平均值为零。这个事实使我们能够以一种非凡的方式写出期望的导数:某个量 JJJ 的平均值对参数 θ\thetaθ 的敏感性是 JJJ 乘以得分 的平均值。 ∇θE[J(K)]=E[J(K)∇θln⁡p(K;θ)]\nabla_{\theta} \mathbb{E}[J(K)] = \mathbb{E}[J(K) \nabla_{\theta} \ln p(K; \theta)]∇θ​E[J(K)]=E[J(K)∇θ​lnp(K;θ)] 注意 ∇θln⁡p(K;θ)\nabla_{\theta} \ln p(K; \theta)∇θ​lnp(K;θ) 这一项——它就是得分,正是那个在某种意义上其平方驱动着似然比检验的对象。在这里,它被用于一个完全不同的目的。

想象你是一名工程师,正在研究热量通过一堵墙的传递,而墙的导热系数 KKK 是不确定的。你有一个关于你认为 KKK 可能是什么的概率分布。你想知道墙的平均温度对该分布参数的敏感性。得分函数法为你提供了一种直接从一组蒙特卡洛模拟中计算这种敏感性的方法。对于每个模拟的 KKK 值,你计算温度并将其乘以该 KKK 的得分。在所有模拟中这个乘积的平均值就是你所寻求的敏感性的估计值。

这项技术非常强大,因为它不要求你知道底层复杂函数(在这种情况下,是温度如何依赖于 KKK)的导数。这在复杂系统的模拟中是一个巨大的优势,比如那些在核反应堆物理学中的模拟。分析师可能想知道一个粒子的预期路径长度对材料截面模型中某个参数的敏感性。使用用于估计路径长度本身的同一组模拟,他们也可以通过简单地将每个结果用得分函数加权来估计其敏感性。

从选择统计模型到解读我们 DNA 中的进化历史,从检验药物交互作用到设计更安全的反应堆,似然比原理展现的不是一个单一的工具,而是一把万能钥匙。它证明了数学思想的统一力量,展示了比较世界不同状态相对合理性的同一个深刻原理,可以用来提出——并回答——各种各样令人惊叹的问题。