玻尔百科在现实世界中，数据很少是扁平的；它自然地组织成组或集群。学生嵌套在教室中，患者嵌套在医院中，对个体的重复测量嵌套在个体内部。忽略这种固有的结构不仅仅是统计上的疏忽，更是错失了更深入理解世界的机会。那些假设每个数据点都独立的传统方法可能会导致误导性的结论和虚假的精确感。这就造成了一个知识鸿沟，我们数据的结构本身蕴含着宝贵信息，而我们却未能捕捉到。
随机效应模型提供了一个强大的框架，专门用于应对这一挑战。它们让我们能够看到、建模并解释现实世界丰富的分层特性。本文旨在介绍这些重要的统计工具。首先，我们将探讨核心的“原理与机制”，深入研究这些模型如何分解变异、固定效应与随机效应之间的关键区别，以及由此产生的不同解释。随后，在“应用与跨学科联系”部分，我们将见证这些模型的实际应用，发现它们在分析从临床试验数据、基因表达到生态系统，再到社会不平等的复杂动态等各种问题时的多功能性。
想象你是一位科学家，接手一个看似简单的问题：一种新肥料对植物生长有何影响？你在几个温室里进行了一项实验。你测量了数千株植物，一些使用了肥料，一些没有。当然，你可以把所有的测量值都扔进一个大桶里，计算施肥和未施肥植物的平均生长量，然后收工。但总觉得哪里不对劲。你知道每个温室都是它自己的小世界——一个可能稍微暖和些，另一个可能早晨阳光更多，第三个的土壤成分可能不同。同一温室内的植物更像是兄弟姐妹，共享一个共同的环境，而不是像在另一个温室里的远房表亲。
这个简单的观察是通向统计学中一个强大而优雅思想的入口：世界不是平的。数据常常以团块或集群的形式出现——教室里的学生、医院里的病人、对同一个人的多次测量。忽略这种结构不仅是草率的，更是错失良机。这就像试图只通过观察城市的人口密度来了解一个城市，而忽略了其各个社区充满活力、独一无二的特色。随机效应模型正是让我们能够看到、理解和建模世界这种丰富分层结构的工具。
从本质上讲，随机效应模型是关于变异本质的一种陈述。让我们回到温室的例子。一株特定植物的最终高度，我们称之为 （代表温室 中的植物 ），不仅仅是一个单一的随机数。我们可以把它看作是几个部分的和。首先是所有植物的总平均高度 。然后是其所在温室独有的部分 ，如果这是一个特别好的温室，它可能是一个正数，如果是一个差的温室，则可能是一个负数。最后，还有植物自身的个体差异 ，即它相对于其温室平均值的个人偏差。
于是，我们可以写出一个简单而优美的方程式：
这就是方差分量模型 的精髓。我们不只是说“事物会变化”。我们说的是变异本身具有结构。我们看到的总随机性是两种不同随机性的总和：温室之间的变异，以及温室内部的变异。随机效应模型不仅估计均值，它还估计这些分量的方差。我们可以估计温室效应的方差 和个体植物效应的方差 。然后我们可以提出这样的问题：植物高度的总变异中，有多少是由温室间的差异造成的，又有多少仅仅是植物间的随机差异？我们解剖了随机性本身。
这个思想是可以扩展的。如果我们的温室位于不同的气候带，我们可以增加另一层随机效应：
其中 是气候带 的随机效应。我们可以构建一个反映世界嵌套现实的模型——区域内医院中患者的就诊次数。
当我们遇到这些分组——温室、教室或医院——时，我们面临着一个哲学上的选择，这个选择会带来深远的实践后果。我们应该如何思考身处特定分组的“效应”？
一种方法是将每个分组视为一个独特的、单一的实体。我们可以说：“我只对这五个特定的温室及其独有属性感兴趣。”然后，我们将为每个温室的效应估计一个单独的参数。这就是固定效应方法。它之所以强大，是因为它控制了每个温室所有奇怪的、未测量的、恒定的特征。如果3号温室的屋顶漏水，3号温室的固定效应就会吸收掉这个影响。主要缺点是我们的结论“固定”于我们研究中的分组。我们对我们的五个温室了解很多，但对温室整体却说不出太多。此外，我们无法估计在组内保持不变的任何变量的效应，比如整个温室使用的土壤类型。
另一种理念是将在我们研究中的五个温室看作是来自一个庞大的可能温室总体的随机样本。我们对3号温室本身不感兴趣，而是将其作为世界上存在的变异类型的一个例子。这就是随机效应方法。在这里，我们不估计3号温室的具体效应。相反，我们假设所有温室效应，即我们方程中的 项，都来自一个分布，通常是均值为 、方差为 的正态分布。我们的目标不是估计每个 ，而是估计方差 ——即组间变异的大小。
选择随机效应的理念给我们带来了一个显著的好处，一种被称为收缩或部分池化的统计技巧。想象一下，你的一个温室，5号温室，里面只有两株植物。基于仅仅两株植物对该温室平均高度的估计会非常不可靠。随机效应模型体现了一种统计智慧。它会说：“我并不完全相信来自5号温室的数据。它太稀疏了。我要将其估计的效应‘收缩’回所有温室的总平均值。”
收縮的量不是任意的。这是一个 beautifully balanced 的折衷。如果某个温室的数据稀疏且不可靠，其效应就会被大幅度地收缩到总体均值。如果一个温室有数千株植物，它的估计值就会被信任，收缩程度就很小。收缩的程度还取决于温室之间总体的变异程度（即 的大小）。如果所有温室都非常相似，模型会更积极地收缩个体估计值。这种跨组“借鉴信息”的方式可以得到更稳定且通常更准确的估计，尤其是在某些组规模很小的情况下。正是这一特性使得随机效应模型在对我们原始研究之外的新的、未见过的组进行预测时如此强大。
固定效应和随机效应之间的区别引出了现代统计学中最微妙也最重要的概念之一：条件性（特定于主题）解释和边际性（总体平均）解释之间的差异。
随机效应模型本质上是一个条件模型。当我们看一个回归系数时，比如我们肥料的效应，它告诉我们对于一个给定的温室，植物高度的预期变化。这是一个特定于主题的解释。我们保持温室的随机效应恒定。
相比之下，边际模型是在所有组上取平均。它问的是：“在植物和温室的整个总体中，肥料的平均效应是什么？”
现在，对于像我们一直在讨论的这种简单的线性混合模型——其中结果是连续的，关系是直线的——会发生一件奇妙的事情。特定于主题的效应和总体平均的效应在数值上是完全相同的！我们的肥料系数，无论我们将其解释为在一个典型温室内的效应，还是跨所有温室的平均效应，其值都是相同的。这是系统优雅线性的结果。
然而，一旦我们踏入非线性世界，这种美妙的简单性就消失了。假设我们的结果不是高度，而是一个二元的“是/否”：植物是否得了某种疾病？。为了对此建模，我们使用广义线性混合模型 (GLMM)，通常带有 logistic（或 logit）连接函数。在这个世界里，条件效应和边际效应不再相同。许多个别S形 logistic 曲线的平均值本身并不是一条漂亮的S形 logistic 曲线——它是一条更平坦、更分散的曲线。这意味着估计出的总体平均效应在数值上会比特定于主题的效应要小（被衰减）。
这不是矛盾，而是更深层次真相的反映。它迫使我们提出一个更尖锐的科学问题：我们是关心一种药物对特定患者的效应（一个条件性问题），还是关心该药物对一个群体的公共健康的平均效应（一个边际性问题）？模型的选择——是随机效应GLMM还是像广义估计方程（GEE）这样的边际模型——取决于你所问的问题。
随机截距的基本思想仅仅是个开始。这个框架极其灵活。如果我们的肥料在阳光充足的温室里比在阴凉的温室里效果更好呢？这意味着肥料的效应——关系的斜率——因组而异。我们可以通过在模型中添加一个随机斜率来对此建模，允许每个温室对肥料有自己的响应。
我们甚至可以问随机效应是否真的需要。是否有任何证据表明分组之间确实存在差异？这涉及到检验方差分量为零的假设，例如 。这 ternyata 是一个引人入胜的统计问题。因为方差不能为负，我们是在其可能值的最边缘或边界上测试一个参数。这需要特殊的统计工具，比如与分布混合进行比较的似然比检验，或者像参数化自助法这样的计算方法，才能得到正确的答案。
从对温室植物的一个简单观察出发，我们进入了一个充满结构化变异、哲学选择和深刻统计原理的丰富世界。随机效应模型不只是“控制”聚类效应；它们拥抱它、建模它，并用它来描绘一幅更完整、更细致的现实图景。它们向我们展示，通过关注世界的结构，我们可以使我们的推断更强有力，我们的预测更准确，我们的科学理解更深入。
在熟悉了随机效应模型的原理之后，我们现在超越抽象，去见证它们在实践中惊人的力量。如果说上一章是学习这些模型的语法，那么这一章就是阅读它们在周围世界中揭示的诗篇。它们真正的美不在于方程本身，而在于它们提供了一个镜头，通过这个镜头我们可以理解现实中结构化、分层化和奇妙多变的本质。从我们细胞的内部运作到广阔的生态系统，再到复杂的社会结构，随机效应模型是现代科学家不可或arah indispensable 的工具。
许多科学问题都涉及观察那些天然分组或重复的事物。临床试验中的一名患者可能在多个时间点被测量。一个人可能提供来自不同身体组织的样本。一个单一的蛋白质可能通过其多种组成肽段被检测到。在所有这些情况下，一个组内的测量——患者、蛋白质——都不是独立的。它们共享一个共同的背景。随机效应模型为我们提供了一种巧妙的处理方式。
想象一项研究，比较来自同一组捐赠者的两种不同组织（比如肌肉和肝脏）的基因表达。来自捐赠者 Alice 肝脏的观察结果更像她肌肉的观察结果，而不是捐赠者 Bob 肝脏的观察结果。为什么？因为 Alice 有她自己独特的生物学基线——一个“供体效应”——影响她所有的组织。随机效应模型通过包含一个术语，我们称之为 ，来优雅地捕捉她与平均水平的独特偏差。通过将这些供体效应视为从一个总体分布中抽取的随机变量，该模型同时实现了两件事。首先，它正确地解释了相关性，从而对肌肉和肝脏组织之间真实的平均差异得出更精确、更可靠的估计。其次，它让我们能够清晰地检验供体层面特征（如特定暴露）的效应，如果我们把每个供体都当作一个完全独特的固定类别，这将是不可能的。
同样的逻辑可以扩展到大型的多中心临床试验中。假设我们正在全国各地的医院测试一种新药。由于共享的医生、当地政策或患者群体，A医院的患者彼此之间比与B医院的患者更相似。随机效应模型可以为每家医院包含一个随机效应，这不仅解释了这种聚类现象，还让我们能够回答一个更深层次的问题：治疗效果在不同医院之间有多大差异？这被称为治疗效果异质性（HTE）。通过假设医院特定的效应来自一个共同的分布，模型可以在不同地点之间“借鉴信息”。对于只有少数患者的小型医院，其估计值会被智能地“收缩”到总体平均水平，防止我们过度解释嘈杂的数据，同时仍然让我们看到真实的变异,。这种方法对于推广结果至关重要，因为我们不仅对我们试验中的特定医院感兴趣，还对可能使用该药物的更广泛的医院群体感兴趣。
这个框架可以做得更加复杂。在一项血压药物的试验中，我们可能同时测量收缩压（）和舒张压（）。这两个结果本身是相关的。我们可以使用一个多变量混合模型，为每个人设置一个随机效应向量 。然后，模型可以将观察到的收缩压和舒张压之间的相关性分解为两个部分：一个稳定的、个体层面的相关性（由 和 的协方差捕捉），反映了有些人天生两种血压值都偏高；以及一个短暂的、时期内的相关性，反映了共享的短期波动。这是一个 krásný example，展示了这些模型如何将变异性分解为其基本来源。
在生物学尺度的另一端，在蛋白质组学领域，蛋白质的丰度是通过测量其多种组成肽段的强度来推断的。每种肽段都有其自身的化学性质，在质谱仪中飞行的方式也不同。线性混合模型将蛋白质视为我们想要估计的固定效应，而将肽段视为随机变异的来源。该模型充当了一个“智能聚合器”，自动降低来自嘈杂、不可靠肽段的数据权重，并优雅地处理某些肽段在某些样本中缺失的情况。与简单地平均所有肽段信号相比，这为蛋白质在不同条件下的变化提供了远为稳健和精确的估计。
世界不是扁平的；它是分层的。随机效应模型是描述这些嵌套结构的自然语言。
考虑一位生态学家研究一个森林网络中的昆虫生物量。她在几个地点内的多个样地取样，而这些地点本身又位于不同的区域。同一地点内两个样地的生物量可能比来自不同地点的两个样地的生物量更相似，而同一区域内的两个地点比来自不同区域的两个地点更相似。可以使用一个三层分层模型，包含区域（）、地点（）和样地（）的随机截距。这些随机效应的方差——、 和 ——本身就成为有趣的推断对象。它们将生物量的总变异划分到其地理尺度上，回答了诸如“多大比例的变异是由广泛的区域气候与局部地点条件驱动的？”之类的问题。此外，该模型可以容纳随机斜率，允许样地级变量（如土壤湿度）的效应因地点而异。生态学家现在不仅可以研究湿度的平均效应，还可以研究这种生态关系在多大程度上是依赖于背景的。
同样的层次化思维在社会科学和公共卫生领域也至关重要。想象一项调查童年学校隔离对成年后长期健康后果的研究。数据结构是：成年期内的重复健康测量（第1层），嵌套在个体内部（第2层），而这些个体又在特定的学区接受教育（第3层）。需要一个三层模型才能正确分析这些数据。每个个体的随机截距解释了对同一个人的重复测量是相关的这一事实。每个学区的随机截距解释了来自同一学区的人共享未观察到的环境和社会因素这一事实。如果不对此结构进行建模，将是一个灾难性的错误，会导致对学区级政策（如隔离）效果的虚假精确感——这种现象被称为伪重复 [@problemid:2530924]。
一个特别先进且具有重要社会意义的应用是在健康差异中对交叉性进行建模。一个人的身份和风险不是由单一类别定义的，而是由许多类别的交叉点定义的，例如种族、性别和社会经济地位。这些分组不是嵌套的；它们是交叉分类的。一个人同时是一个种族类别、一个性别类别和一个社会经济地位类别的成员。可以建立一个交叉分类随机效应模型，以包含这些维度各自的随机效应，以及至关重要的，它们交互作用的随机效应。例如，三向交互项的方差 量化了“交叉性负担”——即一个低社会经济地位的黑人女性所面临的额外健康差异，这个差异超过了作为黑人、作为女性和作为低社会经济地位者各自相关差异的总和。这为理解社会不平等的复杂、相互作用的驱动因素提供了一个极其强大的工具。
也许随机效应模型最直观的应用之一是研究随时间的变化。当我们追踪儿童的认知发展、患者术后恢复情况，或森林火灾后的再生长时，我们都在观察纵向轨迹。
混合效应模型的一个强大变体，称为潜在增长模型，非常适合这种情况。模型不是将一个孩子在4、6、8和10岁的四次测试成绩视为四个独立的数据点，而是将它们重新概念化为 underlying individual growth trajectory 的指标。假设每个孩子 都有自己的潜在截距（，即他们的起点）和自己的潜在斜率（，即他们的增长率）。然后将这些截距和斜率视为随机效应。模型估计整个群体的平均轨迹（均值截距和斜率的固定效应），以及更有趣的，截距和斜率的方差。随机斜率的方差直接量化了“个体内部变化的个体间差异”——这是一种形式化的提问方式：“儿童在学习速率上有多大差异？”这种方法提供了发展的真实图景，与那种比较不同4岁儿童和不同10岁儿童并错误地称其差异为“成长”的 deeply flawed cross-sectional method 形成鲜明对比。
正如我们所见，随机效应模型的应用与科学本身一样多种多样。然而，它们都共享一个共同的哲学主线。它们让我们从一个简单的、充满固定平均值的世界，走向一个更现实的、充满结构化变异的世界。它们提供了一个框架，来承认个体、诊所、地点和肽段不仅仅是可互换的“数据点”，而是从拥有自身分布的总体中抽取的。这些模型的巨大威力在于它们能够同时估计支配平均水平的普适法则（固定效应），同时量化并解释 spécifiques 的丰富多样性（随机效应）。通过这样做，它们揭示了一个更深刻、更细致、最终也更真实的世界图景。