try ai
科普
编辑
分享
反馈
  • 对数后验几率

对数后验几率

SciencePedia玻尔百科
核心要点
  • 对数后验几率将利用新证据更新信念的乘法过程转化为一个简单的加法过程。
  • 一个假设的对数后验几率可以分解为初始的对数先验几率和对数似然比,后者代表了来自数据的证据权重。
  • 该框架作为一种通用的证据“通货”,统一了其在基因组学、机器学习和进化生物学等不同领域的应用。
  • 在机器学习中,分类器决策边界和神经网络产生的 logits 等概念都是对数后验几率框架的直接体现。

引言

在科学和日常推理中,我们通过结合新的、通常不确定的证据来不断更新我们的信念。但我们如何才能正式且一致地做到这一点呢?虽然概率是一个我们熟悉的概念,但其乘法性质可能显得很繁琐。本文通过引入对数后验几率来应对这一挑战。对数后验几率是一个优雅的统计学框架,它将权衡证据的复杂任务转变为一个简单的加法过程。它为更新信念提供了一种通用的“通货”,既有坚实的数学基础,又非常直观。在接下来的章节中,我们将首先剖析其核心的“原理与机制”,探索对数几率如何从贝叶斯法则推导出来,以及为何其可加性如此强大。然后,我们将踏上一段旅程,穿越其多样的“应用与跨学科联系”,发现这单一概念如何为从基因组学、进化生物学到机器学习基础等众多领域提供推理引擎。

原理与机制

既然我们已经对对数后验几率的功能有了一点了解,现在就让我们卷起袖子,深入其内部一探究竟。这个想法究竟是如何运作的?是什么让它如此强大?你会发现,就像科学中的许多伟大思想一样,它始于一个简单、近乎常识的概念,并通过一系列逻辑步骤,演变成一个极其优雅和实用的工具。

一种更好的博弈方式:从概率到对数几率

想象你是一位正在为病人诊断的医生。你手头有一些检测结果。问题是:病人是否患有A疾病?你可能会说:“根据检测结果,患A疾病的概率是0.9。”这是一个概率,一个介于0和1之间的数字。

但还有另一种表述方式,一种赌徒和博彩公司使用了几个世纪的方式:​​几率 (odds)​​。一个事件的几率是它发生的概率与它不发生的概率之比。如果患A疾病的概率是 p=0.9p = 0.9p=0.9,那么不患病的概率是 1−p=0.11-p = 0.11−p=0.1。其几率是:

几率=p1−p=0.90.1=9\text{几率} = \frac{p}{1-p} = \frac{0.9}{0.1} = 9几率=1−pp​=0.10.9​=9

我们会说,患病的几率是“9比1”。这表达的是同样的信息,只是方式不同。那么为什么要费这个劲呢?当我们取几率的​​对数​​时,魔法就开始了。这个量被称为​​对数几率 (log-odds)​​,或​​logit​​。

对数几率=ln⁡(p1−p)\text{对数几率} = \ln\left(\frac{p}{1-p}\right)对数几率=ln(1−pp​)

为什么要取对数?因为对数有一个奇妙的性质:它们能把乘法变成加法。正如我们将看到的,来自不同来源的证据往往会使我们的几率相乘。通过在对数几率空间中工作,我们可以简单地将证据相加。我们的大脑更擅长做加法而不是乘法。这简化了一切。如果你有一个对数几率形式的分数,比如分数 sss,你总是可以使用 logistic 函数或 sigmoid 函数转换回概率,它就是对数几率变换的逆运算。

p=es1+es=11+e−sp = \frac{e^s}{1+e^s} = \frac{1}{1+e^{-s}}p=1+eses​=1+e−s1​

这不仅仅是一种数学上的便利。事实证明,这是一种表示信念和证据的极其自然的方式。

信念的剖析:用贝叶斯法则解构对数几率

当我们通过著名的贝叶斯法则的视角来看待对数几率时,其真正的威力就显现出来了。假设我们在看到一些数据 (DDD) 后,试图在两个假设——假设1 (Y=1Y=1Y=1) 和假设0 (Y=0Y=0Y=0)——之间做出选择。贝叶斯法则告诉我们,后验几率等于先验几率乘以似然比。

P(Y=1∣D)P(Y=0∣D)⏟后验几率=P(D∣Y=1)P(D∣Y=0)⏟似然比×P(Y=1)P(Y=0)⏟先验几率\underbrace{\frac{\mathbb{P}(Y=1 \mid D)}{\mathbb{P}(Y=0 \mid D)}}_{\text{后验几率}} = \underbrace{\frac{\mathbb{P}(D \mid Y=1)}{\mathbb{P}(D \mid Y=0)}}_{\text{似然比}} \times \underbrace{\frac{\mathbb{P}(Y=1)}{\mathbb{P}(Y=0)}}_{\text{先验几率}}后验几率P(Y=0∣D)P(Y=1∣D)​​​=似然比P(D∣Y=0)P(D∣Y=1)​​​×先验几率P(Y=0)P(Y=1)​​​

现在,让我们对整个等式取自然对数。乘法就变成了加法:

ln⁡(P(Y=1∣D)P(Y=0∣D))=ln⁡(P(D∣Y=1)P(D∣Y=0))+ln⁡(P(Y=1)P(Y=0))\ln\left(\frac{\mathbb{P}(Y=1 \mid D)}{\mathbb{P}(Y=0 \mid D)}\right) = \ln\left(\frac{\mathbb{P}(D \mid Y=1)}{\mathbb{P}(D \mid Y=0)}\right) + \ln\left(\frac{\mathbb{P}(Y=1)}{\mathbb{P}(Y=0)}\right)ln(P(Y=0∣D)P(Y=1∣D)​)=ln(P(D∣Y=0)P(D∣Y=1)​)+ln(P(Y=0)P(Y=1)​)

这个方程是我们整个讨论的核心。让我们给各部分命名:

​​后验对数几率 = 对数似然比 + 对数先验几率​​

这个优美的公式为我们最终的信念提供了一个“解剖结构”。

  1. ​​对数先验几率​​:这是我们的出发点。它是我们在看到数据 DDD 之前所具有的偏见或信念。在临床试验中,它可能是人群中该疾病的基础发病率。如果我们没有理由偏爱任何一个假设,我们可能会假设先验概率相等,这使得先验几率为1,对数先验几率为 ln⁡(1)=0\ln(1) = 0ln(1)=0。

  2. ​​对数似然比 (LLR)​​:这是数据 DDD 提供的​​证据权重​​。它衡量的是,在假设1下观察到这个特定数据的可能性相对于在假设0下高多少(或低多少)。一个大的正LLR为假设1提供了强有力的证据。一个大的负LLR为假设0提供了强有力的证据。一个接近零的LLR意味着数据没有很强的区分能力。

这种分解非常强大。它告诉我们,更新信念的过程就是简单地将我们初始的对数几率加上新证据的权重。这个原理是普适的。例如,当训练一个逻辑回归模型时,特征权重 (β^\hat{\beta}β^​) 学会了近似对数似然比,而截距项 (β^0\hat{\beta}_0β^​0​) 则学会了捕捉训练数据的对数先验几率。如果之后我们将这个模型部署到一个具有不同疾病患病率(即不同先验)的新人群中,我们不需要重新训练整个模型。我们只需要根据对数先验几率的变化量来调整截距。特征本身提供的证据,由权重所捕获,保持不变。

累加证据:朴素贝叶斯“专家委员会”

当我们拥有多个独立的证据时,对数几率的可加性就真正发挥出它的威力。想象一个“朴素贝叶斯”分类器,它做出了一个简化的(且通常是“朴素的”)假设,即所有特征(证据片段)在给定类别的情况下都是条件独立的。如果我们的数据 DDD 由特征 x1,x2,…,xnx_1, x_2, \ldots, x_nx1​,x2​,…,xn​ 组成,独立性假设意味着总似然是各个似然的乘积:P(D∣Y)=∏iP(xi∣Y)\mathbb{P}(D \mid Y) = \prod_i \mathbb{P}(x_i \mid Y)P(D∣Y)=∏i​P(xi​∣Y)。

在对数空间中,这个乘积变成了一个和:

后验对数几率=对数先验几率+∑i=1nln⁡(P(xi∣Y=1)P(xi∣Y=0))\text{后验对数几率} = \text{对数先验几率} + \sum_{i=1}^n \ln\left(\frac{\mathbb{P}(x_i \mid Y=1)}{\mathbb{P}(x_i \mid Y=0)}\right)后验对数几率=对数先验几率+i=1∑n​ln(P(xi​∣Y=0)P(xi​∣Y=1)​)

这提供了一幅非常直观的画面。你可以把分类过程想象成一个“专家委员会”。

  • ​​对数先验几率​​是委员会的初始偏见。
  • 每个特征 xix_ixi​ 都是一位​​专家​​。
  • 专家的“投票”是其各自的​​对数似然比 (LLR)​​。
  • 投票的​​符号​​表示专家倾向于哪个假设。
  • 投票的​​大小​​,即 ∣LLRi∣|LLR_i|∣LLRi​∣,表示专家意见的​​强度​​。

为了做出最终决定,你只需将所有投票和初始偏见相加。如果总和为正,你就判定为假设1;如果为负,则判定为假设0。这允许出现矛盾的线索:一些专家可能投票给一方,而另一些则投票给另一方。最终的决定取决于所有证据的综合权重。

但是,如果我们的专家们不是独立的,会发生什么呢?假设我们犯了一个经典的错误:我们听取了同一个专家的意见两次,却把它算作两个独立的意见。这在朴素贝叶斯模型中,当你包含了两个完全相关的特征时就会发生。模型会根据其朴素的假设,将两者的证据相加。由于证据是相同的,它就被计算了两次。这可能会危险地夸大对数几率,使模型对其预测过于自信。在一个精心设计的思想实验中,可以证明,包含一个特征 XXX 和它的一个完美副本 X2=XX_2=XX2​=X,会导致朴素贝叶斯模型确实将证据重复计算,使对数似然比恰好膨胀为两倍。

决策之所:现实世界中的边界与 Logits

对数几率框架不仅仅是理论上的奇思妙想;它是我们日常使用的许多统计和机器学习工具内部运行的引擎。

决策边界

分类器的​​决策边界​​是特征空间中的“临界点”,在该点上,分类器对类别完全不确定。这恰好是后验几率为1比1的点集,意味着后验对数几率恰好为零。

​​后验对数几率 = 0 => 决策边界​​

在常见的线性判别分析 (LDA) 模型下,我们假设来自每个类别的数据都服从具有相同协方差矩阵的高斯分布,此时对数似然比恰好是特征 xxx 的一个线性函数。这意味着决策边界是一条直线(或在高维空间中的一个超平面)。这条线的方向完全由类均值和共享协方差决定,而​​对数先验几率​​项只是将这条线来回平移,而不改变其方向。调整我们的先验信念,实际上就是在移动这个临界点。如果我们放宽共享协方差的假设,对数似然比可以变成一个二次函数,从而产生弯曲的、抛物线形的决策边界。决策边界的形状直接反映了我们对数据生成方式的假设。

深度学习中的 Logits

在现代深度学习中,一个分类网络通常以一个“softmax”层结束,该层将一个称为 ​​logits​​ 的数字向量转化为概率。这些 logits 从何而来?问题 揭示了一个惊人的联系。如果我们假设我们的数据遵循与LDA相同的生成模型(具有共享协方差的高斯类),那么分类器的最优 logits 是输入的线性函数,zk(x)=wk⊤x+bkz_k(\mathbf{x}) = \mathbf{w}_k^\top \mathbf{x} + b_kzk​(x)=wk⊤​x+bk​。权重向量 wk\mathbf{w}_kwk​ 和偏置 bkb_kbk​ 由均值、协方差和先验概率决定。最重要的是,类别 iii 和 jjj 的两个 logits 之差恰好等于它们之间的后验对数几率:

zi(x)−zj(x)=ln⁡(P(Y=i∣x)P(Y=j∣x))z_i(\mathbf{x}) - z_j(\mathbf{x}) = \ln\left(\frac{\mathbb{P}(Y=i \mid \mathbf{x})}{\mathbb{P}(Y=j \mid \mathbf{x})}\right)zi​(x)−zj​(x)=ln(P(Y=j∣x)P(Y=i∣x)​)

这意味着,神经网络产生的看似随意的 logits 可以被解释为携带了关于对数几率的信息。神经网络正在以其自己的方式,学习用同样的基础“通货”来权衡证据。

基因组学中的比对质量

在生物信息学领域,当DNA测序仪读取一个短的DNA片段时,我们需要弄清楚它来自浩瀚的人类基因组的哪个位置。比对算法会提出几个可能的位置,每个位置都有一个分数。在一个良好校准的概率模型下,这个分数本质上是一个对数似然。为了评估最佳比对的置信度,研究人员使用一个​​比对质量 (MAPQ)​​ 分数。这个分数不过是对该比对不正确的对数概率的一个缩放版本。我们如何找到这个概率呢?我们使用对数几率逻辑!我们将得分最高的比对的似然与所有其他可能比对的似然之和进行比较。给定所有备选方案的分数 SiS_iSi​,最佳比对 H1H_1H1​ 正确的后验概率,可以通过直接应用我们的框架得出:

P(H1 is correct∣data)=eS1∑jeSj=11+∑j≠1eSj−S1\mathbb{P}(H_1 \text{ is correct} \mid \text{data}) = \frac{e^{S_1}}{\sum_j e^{S_j}} = \frac{1}{1 + \sum_{j \neq 1} e^{S_j - S_1}}P(H1​ is correct∣data)=∑j​eSj​eS1​​=1+∑j=1​eSj​−S1​1​

求和中的每一项 Sj−S1S_j - S_1Sj​−S1​ 都是一个对数似然比,用于比较一个备选假设与最佳假设。这就是我们的对数几率框架在实际应用中的体现,它保障了基因组分析的完整性。

一种通用的证据“通货”

从医生的诊室到DNA测序仪,再到深度神经网络,其原理始终如一。对数后验几率为我们提供了一种通用的“通货”,用于表示和组合证据。它使我们能够将先验偏见与数据中包含的证据分离开来,并为权衡多个独立的观测提供了一个直观的、可加的框架。这证明了一个简单的数学思想所具有的统一力量,能为广泛的复杂问题带来清晰性和连贯性。

应用与跨学科联系

我们已经花了一些时间探讨贝叶斯推断的数学机制,最终归结为对数后验几率这个优雅而强大的概念。此时,你可能会想:“这一切都非常巧妙,但它到底有什么用?”这是一个合理的问题。毕竟,工具的目的是用来创造事物。而对数后验几率框架是科学家工具箱中最万能的工具之一。它是理性推断的引擎,一个用于权衡证据和更新我们信念的正式程序。

想象一下,你是一名到达犯罪现场的侦探。你对谁是罪犯有一个初步的预感——一个“先验信念”。然后,你发现了一个脚印。这是新的证据。它是否与你的嫌疑人匹配?匹配程度如何?接着,一名目击者提供了证词。然后,一份法医分析报告出来了。每一条证据——每一个观察——本身都不是确凿的证据。每一条都是嘈杂、不完整和不确定的。侦探的工作就是将这些零散的线索组合成一个连贯的故事,不断更新他们的信念,直到案件的证据足够充分,可以在法庭上站得住脚。

这正是科学家们每天在做的事情。而对数后验几率框架是他们进行这项工作的正式语言。我们已经熟悉的这个方程,

log⁡(后验几率)=log⁡(先验几率)+log⁡(贝叶斯因子)\log(\text{后验几率}) = \log(\text{先验几率}) + \log(\text{贝叶斯因子})log(后验几率)=log(先验几率)+log(贝叶斯因子)

是这个过程的数学体现。对数贝叶斯因子,或称“证据权重”,是衡量一条新数据在多大程度上支持一个假设而非另一个假设的精确度量。而它最美的特性是其可加性。为了组合多个独立的线索,我们只需加上它们的证据权重。一个复杂的概率相乘过程被转化为了一个简单、直观的求和过程。

这个简单的想法带来了深远的影响,为跨越巨大差异的领域提供了通用的证据“通货”。例如,在临床遗传学中,专家们遵循指南对遗传变异进行分类,使用“强”、“中等”或“支持性”等定性标签来描述致病性证据。但“强”到底意味着什么?一个“强”证据如何与两个“支持性”证据结合?植根于第一性原理的答案是,将每种证据类型映射到其对应的对数似然比。这为证据提供了一个单一、理性的标尺,让临床医生可以简单地将分数相加,从而得出一个最终的、定量的信念度量。这种将多样化证据转化为可加分数的原则,是贯穿我们即将探讨的所有应用的共同主线。

解码生命蓝图:基因组学与遗传学

也许没有什么领域比现代基因组学更能体现信号在噪声中的挑战了。人类基因组是一部包含三十亿个字母的文本,而健康与疾病的秘密就隐藏在这浩瀚之中。对数后验几率框架对于驾驭这种复杂性是不可或缺的。

一个基本的任务是精确定位疾病的遗传原因。例如,在一项先天性肾脏疾病的研究中,科学家们可能会对数千个个体的基因组进行测序,并发现许多基因带有罕见的突变。哪一个才是罪魁祸首?我们可以根据已有的生物学知识,为每个基因设定一个“先验怀疑度”。一个在发育中的肾脏中活跃,并且位于已知基因调控网络关键位置的基因,是比其他基因更好的嫌疑对象。这就构成了我们的对数先验几率。然后,我们加上来自新测序数据的证据权重。如果一个基因在患者中出现的破坏性突变数量,超出了偶然发生的预期,那么其对数贝叶斯因子将是一个大的正数。通过将这两者相加,我们得到每个基因的对数后验几率,从而生成一个嫌疑基因的排序列表,以供进一步研究。

这种逻辑不仅限于寻找致病基因;它还帮助我们定义“基因”本身是什么。自动扫描基因组的方法通常会预测出数千个潜在的“开放阅读框”(ORF),它们看起来可能编码蛋白质。但它们是真的吗?为了回答这个问题,我们可以化身为贝叶斯侦探。我们结合来自多个独立来源的证据。该序列是否具有蛋白质编码区特有的周期性模式?加上它的对数贝叶斯因子。是否有强烈的信号表明细胞的机器——核糖体——在此启动翻译?加上它的对数贝叶斯因子。我们是否真的用质谱仪检测到了预测蛋白质的肽段?这是强有力的证据;加上它的大正数对数贝叶斯因子。相反,如果一个预测的ORF没有显示这些特征,对数贝叶斯因子的总和将为负,我们对其是真实基因的信念将急剧下降。

细胞本身就像一台微小的贝叶斯计算机。思考一下mRNA剪接的过程,其中非编码区(内含子)必须被精确地切除。负责这项工作的细胞机器,即剪接体,对每一个潜在的内含子都面临一个决定:“在这里剪接,还是不剪接?”它通过整合RNA序列中的大量微弱信号来做出这个决定:剪接位点基序的质量、某些辅助序列的存在,甚至内含子的长度。我们可以通过为每个潜在内含子创建一个记分卡来模拟这个复杂的生物学决策,其中每个特征都贡献一个可加的证据权重,即其对数贝叶斯因子。一个在各方面得分都很高的候选者会得到一个很高的后验概率,被认为是真实的内含子,正如细胞会识别它一样。

我们可以使用同样的逻辑来绘制基因组的调控“线路图”。大多数基因由称为增强子的远端DNA元件控制。弄清楚哪个增强子控制哪个基因是一项艰巨的任务。我们再次可以整合各种实验数据:来自Hi-C实验的三维空间物理接触证据,来自ChIP-seq的调控蛋白结合证据,以及来自报告基因实验的功能活性证据。每种技术都提供了一条嘈杂的线索。通过将每条线索转化为对数贝叶斯因子并求和,我们可以计算出连接的后验概率,揭示基因组复杂的调控逻辑。同样,这种综合方法也被用于发现大规模的结构变异——大块的重排染色体——通过将来自不同DNA测序技术的部分和模糊线索组合成一个单一、可信的判断。

在我们的DNA中解读历史:进化生物学

权衡证据的逻辑不仅限于单个生物体的运作;它也是我们破译地球生命宏伟历史的主要工具。进化论中的一个核心问题是区分同源性(因共同祖先而相似)和同功性(因趋同进化而相似)。人类的手臂和蝙蝠的翅膀是同源结构,源自共同的哺乳动物祖先。蝙蝠的翅膀和昆虫的翅膀是同功的;它们功能相同,但独立进化而来。

我们如何区分这两者?我们可以将其框定为一个贝叶斯模型比较。我们构建两个假设:H1H_1H1​,“共同祖先”的故事,和 H0H_0H0​,“独立起源”的故事。然后,我们观察证据——来自形态学、胚胎发育或蛋白质序列。对于每一条证据,我们可以问:在同源性的故事下,这个观察结果比在同功性的故事下可能性大多少?答案就是贝叶斯因子。通过计算对数后验几率,我们可以正式地量化数据支持哪种进化叙事。我们甚至可以将这个思想应用到最精细的尺度,逐个位点扫描蛋白质序列,以寻找在适应相似环境(如沙漠)的不同谱系中反复独立进化的特定氨基酸。这些位点将具有很高的后验概率来拟合“趋同”模型,从而精确定位适应的分子基础。

模式识别的通用艺术:与机器学习的联系

从本质上讲,这个框架是关于从数据中学习。因此,它构成机器学习中许多算法的基石,也就不足为奇了。考虑经典的分类任务:根据一个对象的特征将其分配到几个类别中的一个。

最早且最成功的分类方法之一被称为判别分析。当我们用它来分类,比如说,不同蛋白质家族基于它们的生化特性时,我们到底在做什么?我们正在应用贝叶斯法则。算法为每个类别计算的“判别函数”,实际上就是后验概率的对数(或一个与之成正比的量)。

这个视角使得不同算法之间的关系变得异常清晰。例如,线性判别分析 (LDA) 做出了一个简化的假设,即每个类别的数据点云具有相同的形状(协方差)。在这种特殊情况下,对数几率比中复杂的二次项会相互抵消,留下一个简单的直线(或高维空间中的平面)决策边界。二次判别分析 (QDA) 则更灵活;它允许每个类别有不同的数据云形状。这意味着对数几率比中的二次项不会抵消,从而产生一个弯曲的、二次型的决策边界。这种增加的灵活性使QDA能够捕捉更复杂的模式,但它也付出了代价:它需要更多的数据来可靠地学习这些复杂形状,而不会被随机噪声所迷惑。这就是经典的偏见-方差权衡,通过贝叶斯推断这个优雅的视角来审视。

这个基本思想,通常被称为“朴素贝叶斯”分类器,其应用范围惊人地广泛。我们讨论过的用于预测基因、剪接位点 和结构变异 的生物学模型,本质上都是复杂的朴素贝叶斯分类器。同样的逻辑也用于垃圾邮件过滤器,通过权衡某些词语的“证据”来判断一封邮件是否是垃圾邮件;或者用于医疗诊断系统,通过结合症状和实验室测试来估计疾病的概率。

推断的统一性

从浩瀚的基因组到进化历史的微妙之处,再到过滤电子邮件的日常任务,一个统一的原则浮现出来。对数似然的可加性为组合来自不同来源的不确定信息提供了一个简单、稳健且理论上可靠的方法。它向我们展示了如何权衡证据,如何更新我们的信念,以及如何在不确定的世界中做出理性的决定。这证明了一个事实:在千差万别的问题表面之下,发现的基本逻辑往往是同一个。