玻尔百科从医院接诊的患者数量到基因的表达水平，计数数据在科学研究中无处不在。正确地对这类数据进行建模对于得出有效结论至关重要，然而一个常见的陷阱是低估了其固有的变异性。许多现实世界现象表现出“过度离散”，即计数的方差远超其平均值，而像泊松分布这样的简单模型无法捕捉到这一特征。这导致了关键的知识空白和产生虚假发现的风险。本文将揭示负二项回归的神秘面纱，它是一种专为应对这一挑战而设计的强大统计工具。首先，我们将深入探讨其核心的原理与机制，探索过度离散发生的原因以及负二项模型如何提供一个优雅的解决方案。随后，我们将遍览其多样的应用与跨学科联系，展示其在从公共卫生到前沿基因组学等领域的影响。首先，让我们深入其内部，理解为何这个模型如此重要。
要真正理解一个工具，我们必须深入其内部。我们不仅需要掌握它做什么，还需要理解它为何有效，以及它的力量源自何处。负二项回归不仅仅是一个统计公式；它是一个关于现实世界中变异性本质的优美而直观的故事。让我们踏上揭示这个故事的旅程，从一个简单的模型开始，并发现我们为什么需要一些更深刻的东西。
想象一下你在计数事件：一分钟内落在单块铺路石上的雨点数，一小时内收到的电子邮件数，或者一个急诊室接诊的患者数。对这类计数进行建模，最简单、最自然的的起点是泊松分布。它源于一个优美的想法：如果事件独立发生且平均速率恒定，泊松分布就能告诉你看到 个事件在给定区间内的概率。它只有一个参数，即平均速率 ，其一个定义性特征是其方差也等于其均值：。在一段时间里，这似乎是完美的。
但现实世界很少如此整洁。如果“恒定平均速率”并非那么恒定呢？考虑在高速公路某点以五分钟为间隔计数通过的汽车数量。24小时内的平均速率可能是每间隔50辆车。泊松模型会假设这个速率是稳定的。但我们知道这是错误的。速率在高峰时段很高，而在凌晨3点时接近于零。如果我们将全天的五分钟计数放在一起，变异性将是巨大的——远大于50的平均值。数据比泊松模型预期的要“聚集”得多。
这种现象被称为过度离散，在几乎所有处理现实世界计数的领域中，它都是普遍规律，而非例外。在生物学中，一些患者天生体弱，即使他们具有相同的已测量特征，其就诊次数也更多。在基因组学中，一些细胞就是比其他细胞在转录上更活跃。这种隐藏的、未被观测到的异质性意味着我们计数的方差几乎总是大于均值。泊松分布的整洁世界被打破了。
“那又怎样？”你可能会问。“也许泊松模型关于方差的假设是错的，但如果它能正确估计平均计数，难道还不够好吗？”这是一种危险的想法，它导致了数据分析中最常见的错误之一：虚假的确定性。
问题在于，我们的统计检验——我们用来判断一种新药是否有效或一项公共卫生干预是否成功的工具——严重依赖于对不确定性（即方差）的正确估计。如果我们使用的模型系统性地低估了真实方差，我们的标准误就会过小。当我们计算检验统计量（通常是估计效应除以其标准误）时，分母会人为地变小，从而使统计量人为地变大。
让我们具体说明。想象一项公共卫生研究，试图确定一个外展项目是否减少了住院人数。研究人员正在检验该项目无效的零假设。他们计划使用标准的沃尔德检验 (Wald test)，即如果他们的检验统计量超过某个临界值（比如，对应5%的I类错误率，即假阳性的概率），他们就拒绝零假设。
现在，假设数据是过度离散的。比如说，真实方差实际上是泊松模型所假设的倍（）。这意味着他们效应估计值的真实标准误是他们幼稚的泊松模型计算出的倍。因此，他们的检验统计量平均会比应有的值大倍。他们以为自己是在从一个标准正态分布中寻找一个大于的统计量。但他们实际上是在问，一个标准正态变量乘以后是否超过。这等同于检查那个真实的、正确缩放的统计量是否超过。这种情况发生的概率不是5%，而是惊人的19%。
通过忽略过度离散，研究人员将他们宣布一个无用项目有效的风险增加了三倍。他们被一个未能认识到世界真实复杂性的模型所愚弄，从而追逐幻影。这不是一个微不足道的技术细节；它是对科学发现完整性的根本威胁。
如果泊松模型过于简单，我们如何构建一个更好的模型呢？我们不想只是凭空发明一个新公式。我们想要一个能更真实地讲述数据来源故事的模型。这就引出了统计学中最优雅的思想之一：泊松-伽马混合。
让我们回到我们的例子。所有患者的门诊就诊率并不相同。由于适应等效应，神经元的放电率在重复试验中并非固定不变。让我们接受这一点。与其为每个人设定一个单一、固定的速率，不如想象每个观测值都有其自己的、私有的、潜在的速率。
这个潜在速率从何而来？它是一个随机量，代表了所有使观测值变得独特的未测量因素。我们可以用一个概率分布来为其建模。我们需要一个灵活的、定义在正数域上的分布。伽马分布是一个完美的选择。它有两个参数，一个形状参数和一个尺度参数，使其能够呈现多种形态，捕捉不同种类的异质性。
所以，我们现在可以讲述一个两步生成故事：
这是一个优美的、分层的世界图景。现在，见证奇迹的时刻到了。如果我们进行数学计算，并对大自然可能选择的所有潜在速率进行平均，那么计数的边际分布是什么？结果就是负二项分布。
这是一个深刻的见解。负二项分布不仅仅是泊松分布的一个随意替代品。它是假设计数在个体层面呈泊松分布，但其潜在速率在个体间遵循伽马分布变化的自然结果。它是一个描述具有未观测到异质性的泊松过程的模型。
既然我们已经发现了负二项分布，我们就可以将其构建到一个回归框架中。这使我们能够根据年龄、性别或治疗组等已测量的协变量来建模平均计数如何变化。
一个负二项回归模型由三个关键部分定义：
均值-方差关系： 观测值的期望计数是。然而，使其与众不同的是其方差：
仔细看这个公式。方差有两部分。第一部分，是我们从泊松过程中期望得到的方差。第二部分，是来自我们刚刚讨论的伽马分布异质性的额外方差。参数是离散参数。它是一个调节过度离散程度的旋钮。如果，第二项消失，负二项模型就优雅地简化回泊松模型。如果，方差总是大于均值。
对数连接函数： 为了将协变量与均值联系起来，我们通常使用对数连接函数：
右边的表达式是熟悉的线性预测器。对数连接非常方便，因为它保证了总是正数，正如一个计数均值必须是正数一样。
系数的解释： 由于对数连接，系数有一个非常好的解释。在其他条件不变的情况下，预测变量每增加一个单位，均值的对数就增加。这等同于将均值本身乘以。因此，我们可以将解释为率比：预测变量每改变一个单位，平均计数变化的乘法因子。例如，如果一个治疗变量的，这意味着该治疗使平均事件率翻倍。
偏爱一个设定良好的负二项模型的一个主要原因是，它为我们提供了对数据整个分布更忠实的表示，而不仅仅是平均值。当我们的科学问题比“平均值是多少？”更细致时，这一点至关重要。例如，我们可能想知道一名患者发生零次不良事件的概率，或者一个基因的计数大于100的概率。泊松模型由于其错误的方差设定，会对这些问题给出系统性错误的答案。
一个绝佳的现代例子来自基因组学领域，其中空间转录组学等技术为成千上万个基因在成千上万个组织位置生成了计数数据。这些数据的一个显著特征是大量的零值。对于许多基因来说，在大多数位置的计数都是零。这曾让许多人认为需要一个特殊的“零膨胀”模型，该模型假设存在两个独立的过程：一个决定基因是“开”还是“关”（结构性零），另一个在基因“开”时生成计数。
然而，更深入的观察揭示了负二项模型的强大之处。对于平均表达水平较低的基因，一个负二项分布（NB distribution）自然地会预测出非常高比例的零值，这仅仅是从事先验率低、过度离散的过程中抽样的结果。许多表面上的“零膨胀”并非奇异现象，而仅仅是你在一个负二项世界里所期望的。我们甚至可以进行一个正式的检验：首先，拟合负二项模型。然后，计算它预测的零的数量。最后，将其与我们实际观察到的零的数量进行比较。如果仍然存在显著的超额，那么我们可能需要一个更复杂的模型。但通常情况下，优雅的负二项模型就足够了。
即使是一个优美的模型也必须面对现实的检验。我们如何知道我们拟合的负二项模型是否很好地描述了我们的数据？我们必须进行诊断，而这方面的主要工具是分析残差。
残差简单来说就是观测值与模型拟合值之间的差异。然而，原始残差并不是很有用。对于计数数据，方差依赖于均值，因此具有较大拟合均值的观测值自然会有较大的残差。比较它们就像比较苹果和橘子。
解决方案是进行标准化。一个皮尔逊残差被定义为原始残差除以该观测值在模型下的估计标准差：
如果我们的模型是正确的，这些皮尔逊残差的方差都应该约等于1。我们可以将它们与拟合值作图。我们应该看到一个以零为中心、散布均匀的无定形点云。如果我们看到一个模式，比如散布程度随拟合值的增加而增加（一个“扇形”），这就告诉我们我们的均值-方差关系是错误的。
这些残差对于发现离群值也极其宝贵。由于它们大致服从标准正态分布，一个绝对值大于2或3的残差就非常可疑。例如，如果一个处理组样本中的某个基因的观测计数是100，而模型预测只有52.5，计算可能会显示其皮尔逊残差约为3.4。这标志着该观测值是一个潜在的离群值，需要进一步调查。
此外，所有皮尔逊残差平方和提供了一个全局性的拟合优度检验。这个总和应该约等于数据点的数量减去估计参数的数量。如果它大得多，这是一个强烈的信号，表明我们的模型，尽管优雅，但并未充分拟合数据 [@problem_-id:4556310]。
我们已经看到，与更简单的泊松模型相比，负二项模型提供了一种更现实、更稳健、更有洞察力的方式来分析计数数据。但这种现实主义是有代价的。代价是一个额外的参数：离散参数。
这个参数不仅仅是一个“讨厌”的参数。它是模型的一个基本组成部分，我们必须从数据中估计它。它量化了未观测到的异质性的程度。当我们使用像赤池信息准则 (AIC) 这样的工具来比较负二项模型和泊松模型时，我们必须为负二项模型的这个额外参数“收费”。它因其更高的复杂性而受到惩罚。
这正是所有统计建模核心的美妙张力：简单性与保真度之间的权衡。负二项回归达到了一个巧妙的平衡。它付出了一个额外参数的小小代价，来保护我们免受忽略过度离散所带来的灾难性后果，同时为我们试图理解的这个美丽而混乱、充满异质性的世界提供了一个深刻而直观的故事。
我们花时间探讨了负二项回归的原理和机制，这是一段深入计数、聚集和过度离散世界的旅程。但是，一个工具，无论多么优雅，其价值在于它能解决的问题。一个数学思想只有在照亮自然世界的某个角落时，才真正展现其美。那么，这个特定的思想又在何处安家呢？
事实证明，答案是几乎无处不在。你看，世界并不像我们希望的那样整洁有序。事件很少以完全均匀、可预测的方式分布。它们会聚集、会级联、会爆发。从医院里病毒的传播到单个细胞的内部运作，自然界在本质上是“块状”的。无论我们在可以计数的数据中发现这种块状特性，负二项回归都为我们提供了一个强大而敏锐的透镜。让我们踏上一场科学景观之旅，见证这个卓越工具的实际应用。
我们的第一站是医学和公共卫生的世界，在这里，利害攸关的是生死，理解模式至关重要。
想象一个医院网络试图预防一种院内病原体——即在医院内获得的感染——的传播。人们可以简单地计算每个病区每周的新增病例数，然后取平均值。但这将是危险的误导。感染的传播并非均匀。一个感染者可能根本不传播病原体，而另一个“超级传播者”则可能引发一连串病例。一个病区可能发生一系列孤立事件，而另一个病区则经历一次全面爆发。这正是过度离散的定义：感染计数的变异性远大于简单平均值所显示的。
一个简单的泊松模型，假设事件是独立和随机的，会对这一现实视而不见。它会低估真实的变异性，导致关于风险因素和干预措施有效性的结论出现偏差。通过使用负二项模型，流行病学家可以拥抱这种聚集性。该模型的离散参数实质上量化了感染传播的“块状”程度。这使他们能够建立一个更真实的现实模型，一个能正确估计其发现中不确定性的模型，从而就如何保护患者安全得出更稳健的结论。因此，当引入新的安全规程时，他们可以更可靠地确定它是否真正降低了感染率，因为他们基于模型的标准误不是人为缩小的 [@problem_id:4972276, @problem_id:5198078]。
同样的逻辑不仅限于传染病，几乎可以扩展到医疗保健中任何可计数的事件。考虑一家儿科医院，试图通过改善轮班之间的交接流程来减少错误。他们测量的结果可能是第二天需要的“医嘱澄清”次数——这是一个计数事件，表明沟通中存在某些模糊不清之处。或者考虑一个实验室网络，旨在通过使其化学品处理程序更易于阅读来提高安全性。这里的结果是可报告的化学安全事件数量。
在这两种情况下，这些事件都是罕见的、可计数的，并且容易聚集。几个复杂的患者可能会导致一连串的澄清请求。一个针对常用化学品的、书写混乱的程序可能与几个事件相关，而几十个其他清晰的程序则与任何事件都无关。通过使用负二项回归对这些计数进行建模，质量改进科学家可以适当地考虑“暴露度”——例如患者天数或员工工时——使用一个偏移量。然后他们可以提出有意义的问题，比如：“在调整了患者复杂性之后，较高的交接保真度分数是否与较低的次日澄清率相关？”。或者，“在调整了所用化学品类型之后，安全手册的较高可读性分数是否与较低的化学事件率相关？”。该模型提供的答案不是简单的“是”或“否”，而是一个发病率比 (Incidence Rate Ratio)——一个优雅的乘法因子，精确地告诉我们，流程每改进一个单位，事件发生率会降低多少。
这种思维方式不仅适用于观察已经发生的事情。它对于设计未来的实验至关重要。想象一下，你正在计划一项临床试验，以测试一种治疗原发性免疫缺陷患者的新疗法。目标是看该疗法是否能降低细菌感染率。为了获得资金和伦理批准，你必须证明你的研究具有足够的统计功效——即在效应真实存在时，有足够高的机会检测到它。如果你在计划研究时假设感染计数将是整洁的泊松分布，你会低估所需的样本量。当真实的、过度离散的数据进来时，你的研究可能会因为无法找到显著结果而失败，不是因为药物无效，而是因为你的实验规模太小，无法穿透噪音。通过在试验前使用负二项假设进行功效分析，你可以计算出必要的样本量，以考虑感染事件真实的、“块状”的性质，从而确保一个更高效和合乎伦理的研究设计。
从整个医院的规模，我们现在急剧缩小——到我们基因的层面。在过去的二十年里，由于下一代测序（NGS）技术的发展，我们阅读遗传密码及其活动的能力发生了爆炸性增长。最常见的实验之一是RNA测序（RNA-seq），这是一种让我们能够测量组织样本中每个基因表达水平的技术。这个“表达水平”本质上是一个计数：一个基因产生的信使RNA（mRNA）分子的计数，作为该基因“活跃”程度的代理。
所以，我们又一次面对着成千上万个基因的计数。就像感染一样，这些计数是极度过度离散的。其中一些是来自测序仪的技术噪音，但大部分纯粹是生物学原因。基因表达不是一个稳定的嗡嗡声；它是一个“爆发性”的过程。一个基因可能在短时间内大量发射mRNA分子，然后又归于沉寂。这种生物学上的爆发性，当在成千上万个细胞中聚合时，恰好产生了负二项分布天生就适合建模的那种过度离散。
因此，负二项回归已成为现代基因组学的统计主力。像[DESeq2](/sciencepedia/feynman/keyword/deseq2)和edgeR这样每天被成千上万科学家使用的工具，都建立在负二项广义线性模型（GLM）的基础之上。它们让研究人员能够回答生物学中最基本的问题之一：哪些基因的活性会因疾病、药物或环境变化而改变？分析过程包括为每个基因的计数拟合一个负二项模型，并对代表所研究条件的系数进行统计检验（如沃尔德检验 (Wald test)）。结果是一份“差异表达基因”列表，为所研究过程的分子机制提供了初步线索。
但真实的科学很少如此简单。一个好的科学家知道相关不等于因果，而最大的挑战往往是处理混杂因素。想象一项研究，比较患有代谢性疾病的患者与健康对照组的基因表达。研究人员发现数千个基因似乎存在差异。但如果患者的血液是在早上抽取的，而对照组的血液是在下午抽取的呢？我们的身体有一个强大的生物钟，它会改变一天中数千个基因的表达。这个“信号”可能只是时间，而不是疾病。一个出色的实验设计可能会采用配对匹配，即为每个患者招募一个在完全相同的时间、经过相似禁食期后抽血的对照。相应的统计分析随后将在负二项模型中为每一对包含一个项，从而完美地将疾病效应与时间和新陈代谢的混杂效应分离开来。这显示了统计模型并非事后诸葛，而是整体科学策略中不可或缺的一部分。
基因组学的前沿正在将这种思维推向更远。通过单细胞RNA测序（scRNA-seq），我们现在可以不是在组织混合物中，而是在每个单独的细胞中测量基因表达。这些实验的数据比批量RNA-seq更“块状”、更稀疏，许多基因在大多数细胞中的计数为零。在这里，负二项模型被巧妙地改造了。像SCTransform这样的方法使用一种正则化的负二项回归形式，来将每个基因的计数建模为测序深度的函数。它为下游分析产生的“标准化”表达值，实际上是该模型的皮尔逊残差——即原始计数根据模型基于技术因素的预测进行调整后的值。
这种高分辨率数据也迫使我们更深入地思考一个“零”计数究竟意味着什么。它意味着基因真的关闭了，还是我们只是没能检测到它？这引发了一场关于负二项模型与“跨栏 (hurdle)”模型之间有趣的辩论，后者使用一个两步过程：首先，它们对基因“开启”（非零）的概率进行建模；其次，它们对基因如果开启时表达多少进行建模。对于某些生物学问题，比如一个像简单开关一样被调控的基因，跨栏模型更强大、更易于解释。对于其他场景，比如将细胞聚合成“伪批量”样本，经典的负二项模型仍然是更优的选择。这显示了一个领域与其统计工具之间正在进行的积极对话，不断完善它们以匹配日益清晰的生物学现实图景。
基因组学的应用甚至不止于此。在免疫学中，科学家可以对T细胞和B细胞受体（TCRs和BCRs）进行测序，以描绘我们适应性免疫系统的巨大多样性。在这里，我们正在计算独特的免疫细胞“克隆型”的丰度。当我们的身体对抗感染或对疫苗作出反应时，识别入侵者的特定克隆型会经历大规模的克隆扩增。为了找到这些响应的克隆，研究人员再次求助于负二项广义线性模型。通过比较刺激前后的克隆型计数，并校正每个样本的测序深度，他们可以以统计学的严谨性精确指出我们内部军队中哪些士兵正在增殖以保护我们。
从医院范围的感染控制项目到单个细胞内单个基因的爆发性表达。从安全手册的清晰度到我们自身免疫系统的多样性。这是一次令人眼花缭乱的巡览。然而，贯穿始终的是一条单一的、统一的线索：理解一个本质上是块状的世界的挑战。
负二项回归的真正力量不仅仅在于其数学公式，更在于它与如此多不同自然过程的概念共鸣。它为我们提供了一种语言来描述和一种工具来分析世界固有的聚集性和异质性。它教导我们，要理解整体，我们必须首先有一种真实的方式来计算其组成部分，考虑噪音和块状特性，最终才能看到其下隐藏的美丽而复杂的信号。