try ai
科普
编辑
分享
反馈
  • 相关性分析

相关性分析

SciencePedia玻尔百科
核心要点
  • 统计学的基本法则是相关性并不意味着因果关系,这通常是由于隐藏的混杂变量同时影响了两个测量因子。
  • 恰当的统计分析必须考虑到数据的内在结构,例如使用系统发育独立对比来校正物种间共享的进化历史。
  • 在PCA等分析中,通过使用相关矩阵而非协方差矩阵来标准化变量至关重要,这确保了所有变量无论其原始单位如何,都被赋予同等权重。
  • 像典型相关分析(CCA)这样的高级方法可以发现整个数据集之间的共享模式,从而能够在现代系统生物学中整合复杂的多组学数据。

引言

科学从根本上说是一场对模式的探索,而相关性分析是我们用来阐明和检验我们在世界中观察到的联系的主要语言。从生态趋势到遗传倾向,识别两个变量如何协同变化,往往是重大发现的最初火花。然而,这最初的火花也充满了危险;发现相关性的容易程度与其正确解释的难度相当。本文旨在填补一个关键的空白:从简单地观察模式,过渡到对其意义的深入理解,从而避免将相关性等同于因果关系的经典陷阱,并驾驭高维数据的复杂性。为填补这一空白,我们将首先探讨相关性的核心​​原理与机制​​,剖析统计学背后的逻辑、可能困扰我们数据的幽灵,以及为寻找真实信号而开发的强大方法。随后,​​应用与跨学科联系​​一章将使这些概念变得鲜活,探索不同领域的科学家如何将相关性作为发现的工具,将其从一个简单的数字转变为一把解锁自然世界复杂机器的钥匙。

原理与机制

科学的核心是一场对模式的探求。我们是寻求模式的生物,而相关性是我们用以描述所发现模式的数学语言。当草地上的晨露总是在凉爽、晴朗的夜晚出现时,我们注意到了一个相关性。当在图书馆花更多时间的学生往往取得更高成绩时,我们注意到了一个相关性。这是一种联系的低语,一个暗示宇宙并非完全随机的线索,而且它往往是发现之旅的第一步。但正如任何旅程一样,第一步也正是最危险的陷阱所在之处。相关性分析的原理不仅仅是关于发现这些模式,更是关于学会明智地解读它们,区分有意义的低语和误导性的回声。

模式的诱惑与危险

想象你是一位研究人类肠道复杂生态系统的生物学家。你从数千人那里收集数据,发现一个惊人的模式:某人拥有的某种特定微生物越多——我们称之为Bacteroides tranquilis——其全身性炎症水平就越低。相关性很强,在图上呈现为一条优美、清晰的线,相关系数为 r=−0.85r = -0.85r=−0.85。结论似乎显而易见:这种微生物是一种强大的抗炎剂!一家公司可以因此成立,一款新的益生菌补充剂可以随之推出。

这就是相关性的诱惑力。但接着,一群持怀疑态度的科学家决定进行一项不同的研究。他们找来一群人,给其中一半服用真正的B. tranquilis益生菌,另一半服用安慰剂,并严格控制他们的饮食。三个月后,他们发现……什么都没有。益生菌对炎症的影响并不比安慰剂大。那条优美的相关性去哪儿了?

答案在于我们故事中的一个隐藏角色:一种名为“FibreLuxe”的流行膳食补充剂。事实证明,这种补充剂有两重作用:它是B. tranquilis的首选食物,导致其数量激增;同时,它还通过一个完全独立的机制独立地减轻炎症。在最初的观察性研究中,服用FibreLuxe的人既有更多的B. tranquilis,炎症也更少。微生物并非导致该效应的原因;它只是一个同行者,与真正的原因相关联。这个隐藏的第三个因素就是我们所说的​​混杂变量​​(confounding variable),这也是统计学基本法则——​​相关性不等于因果关系​​——的最主要原因。

那么,我们如何超越单纯的观察,去检验真正的因果联系呢?我们必须设计一个实验来打破潜在混杂因素的影响。黄金标准是​​随机对照试验​​(Randomized Controlled Trial, RCT)。在我们的微生物例子中,这需要将一组受试者(在典型的临床前测试中为小鼠)随机分配到不同组别。一组接受活的微生物,而对照组则接受安慰剂(可能是一种经过加热杀死的同种微生物,以控制对细菌物质本身的免疫反应)。通过​​随机化​​,我们确保任何其他因素——已知或未知的混杂因素,如饮食、遗传或其它生活方式选择——在各组之间平均分布。如果我们随后观察到各组之间炎症水平的差异,我们就能更有信心地认为,是我们的干预措施——微生物本身——导致了这种差异。这种谨慎、刻意的干预和控制过程,正是我们将简单的相关性提升为可靠的因果论断的方式。

数据中的幽灵:共享历史问题

混杂变量并非唯一能困扰我们数据的幽灵。有时,问题出在数据点本身。想象一位进化生物学家正在研究一个群岛上的鸟类。她测量了15个不同物种的喙长和求偶鸣唱的复杂性,发现了一个很强的正相关:喙更长的鸟,其鸣唱也更复杂。一个引人入胜的假说出现了:也许饮食(反映在喙上)与性选择(反映在鸣唱上)在进化上是耦合的。

但这其中有一个微妙的陷阱。这15个物种并非独立的数据点。它们共享共同的进化历史,就像你和你的堂兄弟姐妹共享祖父母一样。如果它们的共同祖先碰巧既有中等长度的喙,又有中等复杂的鸣唱,那么它的所有后代——整个进化树的一个分支——很可能都会继承这种性状组合。如果这位生物学家的数据集包含了来自这个分支的几个物种,她将在图上看到一簇喙长且鸣唱复杂的点。这可以产生很强的统计相关性,即使这两种性状之间没有功能上、持续的进化联系。

这个问题被称为​​系统发育非独立性​​(phylogenetic non-independence)或​​系统发育伪重复​​(phylogenetic pseudoreplication),是许多比较研究中的一个严重缺陷。我们实际上是在多次计算同一个进化事件。解决方法是使用明确考虑共享历史的方法,这种历史由系统发育树表示。一种名为​​系统发育独立对比​​(Phylogenetic Independent Contrasts, PIC)的经典技术正是这样做的。它不是比较树尖上物种的原始性状值,而是计算树上每个分叉点产生的差异或“对比”。每个对比代表一个独立的进化分歧事件。当我们在这些独立对比上进行相关性分析时,我们提出的问题更精确、更正确:“当一个谱系进化出更长的喙时,它是否也倾向于进化出更复杂的鸣唱?”如果应用PIC后相关性消失了,就像虚构的“Lithovores”一样,那便是一个强烈的信号,表明我们最初的模式只是共享祖先的幽灵。

让变量站在同一起跑线上:标准化的魔力

让我们从解释的陷阱转向分析的实践,特别是当我们处理的不仅仅是两个,而是许多变量时。想象一位市场分析师正在研究客户参与度。他们测量四个指标:客户满意度(1到7分制)、月度支出(美元)、会话时长(分钟)和点击次数。他们希望找到潜在的模式,即这些变量所代表的“潜在因子”,如“总体参与度”。

一个自然的方法是计算​​协方差矩阵​​,它衡量每对变量如何协同变化。但这里我们遇到了一个尺度问题。“月度支出”的方差可能高达数千或数百万(dollars2{\text{dollars}}^2dollars2),而“客户满意度”得分的方差可能小于2(points2{\text{points}}^2points2)。在任何基于协方差矩阵的分析中,“月度支出”这个变量都会格外引人注目,其巨大的方差会完全淹没其他变量的微弱信号。分析发现的第一个也是最显著的模式将几乎完全是关于谁花钱多,并非因为它是在参与度中最重要的方面,而仅仅是因为它以最大的单位来衡量。

优雅的解决方案是不使用协方差矩阵,而是使用​​相关矩阵​​。相关系数,根据其定义 Rij=Cov(Xi,Xj)σiσjR_{ij} = \frac{\text{Cov}(X_i, X_j)}{\sigma_i \sigma_j}Rij​=σi​σj​Cov(Xi​,Xj​)​,将变量的标准差除掉了。这起到了一个巨大的均衡作用。它让每个变量都站在了同一起跑线上,无论其原始单位是什么。现在,“满意度”一个标准差的变化与“支出”一个标准差的变化同等重要。

这有一个优美而直接的解释。对相关矩阵执行主成分分析(PCA)等分析,在数学上等同于首先将每个变量​​标准化​​——即将其转换为均值为0、标准差为1的变量——然后对新的标准化数据的协方差矩阵进行分析。这是一个简单而深刻的技巧,确保我们对模式的探索是民主的,从一开始就赋予每个变量平等的发言权。

聆听交响乐:跨界寻找共享模式

一旦我们的数据被恰当地标准化,我们就可以认真地开始寻找更深层次的模式。当我们有许多变量时,我们通常不关心任意两个变量之间的一对一相关性。我们寻找的是“交响乐”,即跨越许多变量的协同活动,它指向一个潜在的过程。这是​​因子分析​​(Factor Analysis)和​​主成分分析​​(Principal Component Analysis, PCA)等方法的领域。这些技术寻找​​潜变量​​(latent variables),它们是我们原始测量的加权组合。例如,PCA寻找“主成分”——穿过我们高维数据云的新轴,这些新轴捕获了最大量的方差。第一个主成分是数据中最主要的协变模式。

但如果我们有两个来自相同受试者的不同的大规模数据集怎么办?这是现代系统生物学的日常现实,研究人员可能对每位患者都拥有转录组学数据(20,000个基因的表达水平)和代谢组学数据(1,000种代谢物的浓度)。我们如何找到连接这两个世界的模式?

这就是相关性的一个强大扩展——​​典型相关分析​​(Canonical Correlation Analysis, CCA)——发挥作用的地方。CCA是一种“中间整合”策略,意味着它试图找到一个由两个数据集同时讲述的共享的、低维度的故事。它不仅仅问基因A是否与代谢物X相关。它提出了一个更宏大的问题:“所有基因的哪种加权组合与所有代谢物的某种加权组合相关性最强?”

CCA的结果是一组“典型变量”。第一对变量——一个用于基因,一个用于代谢物——代表了转录组和代谢组之间最强的共调控轴。一个高的典型相关性,比如说 ρ1=0.92\rho_1 = 0.92ρ1​=0.92,告诉我们存在一个强大的、共享的生物学信号。它可能代表一个主要的代谢途径被激活,伴随着一整套基因被上调,以及相应的一系列代谢物被产生或消耗。CCA使我们能够超越简单的成对关联,开始听到在不同分子层面同时演奏的交响乐。

优美的统一

我们从双变量相关的简单概念,走到了旨在连接整个数据世界的CCA的复杂机制。这似乎像是我们收集了一堆互不相干的统计技巧。但在科学世界里,最美的时刻莫过于当不同的思想被揭示为同一潜在真理的不同侧面时。

思考这个简单而深刻的问题:如果我们在一个数据集和它自身的完美副本之间执行CCA会发生什么?。我们是在问机器:“这组变量与……它自身之间的共享模式是什么?”答案惊人地优雅。CCA找到的典型变量恰好就是该数据集的主成分。第一个典型相关性将是完美的1,相应的权重向量将与第一个主成分的载荷完全相同。第二对将与第二个主成分对齐,以此类推。

在这个优美而特殊的退化情况下,CCA简化为了PCA。这揭示了PCA并非一个根本上不同的工具;它仅仅是当您询问CCA关于单个系统内部结构时所呈现的形式。这种统一的洞见正是科学如此激动人心的原因。我们发展的原则,从对混杂因素的简单警惕到对典型轴的复杂搜索,并非孤立的规则。它们是一个宏大知识框架中相互关联的部分,这个框架旨在理解一个复杂而美丽的宇宙。

应用与跨学科联系

我们花了一些时间学习相关性的形式化规则,即那个单一、优雅的数字 ρ\rhoρ 背后的数学,它告诉我们两件事物如何协同变化。这是一个看似简单的概念。但学习游戏规则是一回事,看大师如何运用它又是另一回事。现在,我们将看到这个简单的概念能做什么。我们将看到不同领域的科学家如何使用相关性,不仅把它当作一种统计工具,而且把它当作黑暗中的一盏灯笼,一张未竟之地的地图,有时甚至是一把解开生命机器的钥匙。这段旅程将带我们从风吹过的海岸线,到单个细胞内基因的无形舞蹈,在每一步中,我们都将看到同样的基本思想在发挥作用,展现其内在的美和统一的力量。

生态学家的望远镜:野外的相关性

最自然的起点是观察。远在我们能够操纵基因或测序基因组之前,我们就能观察世界并测量它。生态学家是这门艺术的大师。想象一位科学家几十年来一直在研究一片沿海盐沼。他们无法对整个海岸线进行对照实验,随意地升高或降低海平面。取而代之,他们做了次优选择:观察。通过翻阅历史记录——用旧的航空照片测量盐沼面积,用潮汐计记录追踪平均海平面——他们可以汇集两段平行的历史。

当他们将这两段历史相互绘制时,可能会发现一个惊人的模式:在海平面较高的年份,盐沼面积往往较小。他们发现了一个强烈的负相关。那么,这是否证明海平面上升导致了盐沼消失?正如我们不厌其烦地重复的那样,相关性本身并不能证明因果关系。也许该地区正在发生土地沉降,这会独立地导致海平面表观上升和盐沼的丧失。或者,风暴频率或泥沙流量的变化才是真正的罪魁祸首。

但将这种相关性视为“无意义”而置之不理,将是扔掉了最重要的线索!这种强烈的相关性是一个巨大的、闪烁的箭头。它告诉生态学家下一步该往哪里看。它提供了一个强有力的、可检验的假设:海平面上升是这个生态系统的主要威胁。相关性是通往理解之路上不可或缺的第一步。它将一个充满无限可能的世界转变为一个集中的科学探究。

追溯进化的指纹

如果说生态学用相关性来看待世界现在的样子,那么进化生物学则用它来解读世界如何形成的历史。自然本身就是一个创造相关性的宏大引擎。最美的应用之一是在寻找自然选择的过程中。

考虑一位生物学家正在研究一种生长在山脉斜坡上的娇嫩花朵。他们怀疑这些植物正在适应不同的海拔高度。他们如何看到这种适应呢?他们可以上山,从不同海拔采集植物。对于每株植物,他们测量其海拔并测序其DNA,寻找遗传变异——我们称之为单核苷酸多态性(Single Nucleotide Polymorphisms, SNPs)。然后他们进行一个简单的测试:对每个SNP,他们计算其等位基因频率与海拔之间的相关性。

他们发现了什么?对于大多数SNP,没有相关性。等位基因频率在山坡上只是随机散布。但对于少数几个SNP,一个惊人的模式出现了。对于某个SNP,一个“A”等位基因可能随着海拔升高而变得越来越常见——一个强烈的正相关。对于另一个SNP,一个“C”等位基因可能变得系统性地越来越稀有——一个强烈的负相关。这些并非巧合。这些是自然选择的指纹。这种相关性揭示了某个特定的遗传变异可能在高海拔地区具有优势,而另一个则在低海拔地区受到青睐。无需进行任何复杂的实验,仅通过观察一个模式,生物学家就确定了适应的可能遗传战场。

但故事更深一层。相关性不仅是进化的结果;它也可以是引导进化的力量。基因并非孤立存在。许多性状受到同一组基因的影响,这种现象称为基因多效性(pleiotropy)。这在性状之间创造了遗传相关性。想象一种鸟类,使其父母更关心幼鸟的基因恰好也使其在保卫巢穴时攻击性降低。这是一种内在的、遗传上的权衡。这种权衡由一个负的遗传协方差(genetic covariance)所捕捉。

当自然选择偏爱更关心后代的父母时会发生什么?由于负的遗传相关性,种群将进化出更高的亲代抚育水平,但作为一个相关的、或许是无意的后果,它也将进化得不那么具有攻击性。进化路径受到这种内部相关结构的制约。这是一个深刻的洞见:生物体内的遗传相关性网络决定了其进化的可能性,将其对选择的响应引导到某些路径上,而使其他路径无法企及。

遗传学家的侦探工具包:从线索中解开因果

所以,相关性为我们指向了假说,但我们总是要回到因果关系的挑战上。然而,在某些领域,科学家们已经发展出巧妙的方法,利用相关性本身的结构来解开因果关系。这一点在人类遗传学中表现得尤为明显。

全基因组关联研究(Genome-Wide Association Studies, GWAS)扫描数千人的基因组,以寻找与心脏病等性状相关的遗传变异。问题在于,我们的基因组被组织成“单倍型区块”(haplotype blocks)——即DNA的长片段,其中的基因由于物理位置非常接近,几乎总是被一同遗传。这导致了高的连锁不平衡(Linkage Disequilibrium, LD),这只是遗传学家对邻近位置等位基因之间高度相关性的术语。

因此,当一项GWAS研究发现一个单倍型区块与心脏病相关时,一个新的问题出现了。这个区块可能包含十个不同的SNP,它们彼此高度相关。哪一个是真正的致病变异,哪些只是碰巧与罪魁祸首相关的无辜旁观者?边际关联检验——即逐个将每个变异与疾病进行相关性分析——会牵连到所有这些变异。

在这里,遗传学家变成了侦探。他们使用一种称为条件分析(conditional analysis)的技术。这是一个非常简单的想法。为了检验SNP V1V_1V1​ 是否是致病的,他们在统计上控制其邻居SNP V2V_2V2​ 的效应的同时,分析它与疾病的关联。如果一旦将 V2V_2V2​ 纳入模型,V1V_1V1​ 与疾病的关联就消失了,这表明 V1V_1V1​ 只是一个代理,其信号完全由其与 V2V_2V2​ 的相关性来解释。然而,如果我们控制了 V1V_1V1​ 而 V2V_2V2​ 的信号仍然存在,那么 V2V_2V2​ 就具有独立于 V1V_1V1​ 的效应。通过系统地对区块中的所有变异进行这种分析,他们可以找到那个无论考虑哪个邻居,其关联信号都持续存在的变异。那个变异就是疾病真正致病驱动因素的头号嫌疑。这是一个利用相关性来击败相关性的绝佳例子。

细胞的交响乐:驾驭高维数据

到目前为止我们讨论的挑战,与21世纪生物学家面临的挑战相比,都显得相形见绌。借助单细胞RNA测序等现代技术,我们可以测量成千上万个单个细胞中 20,00020,00020,000 个基因的表达水平。这不再是关联两个变量的问题,而是在一个拥有数万个维度的数据集中寻找模式。这是一股信息的洪流。我们怎么可能理解它呢?

答案再次来自于我们熟悉概念的扩展。它被称为​​典型相关分析(CCA)​​。如果说皮尔逊相关衡量的是两个变量之间的联系,那么CCA衡量的是两组变量之间的联系。这是史诗级的相关性。

想象一下,你有两个独立的单细胞实验,一个来自健康人,一个来自病人。实验在不同的日子、不同的机器上进行。虽然潜在的生物学过程是相关的,但存在“批次效应”(batch effects)——即技术上的差异使得数据集难以直接比较。CCA应运而生。它取第一个数据集中的所有基因集合和第二个数据集中的所有基因集合,然后提问:数据集 XXX 中基因的哪种线性组合与数据集 YYY 中基因的哪种线性组合相关性最大?。它找到了两个实验共有的“共享故事”或主要的共变轴,忽略了各自独有的技术噪音。这些共享轴充当“锚点”,使我们能够将两个数据集缝合成一张单一、连贯的图谱。

当然,在如此高的维度中,我们可能仅凭偶然就会发现许多相关性。那么,我们如何知道这些典型相关中有多少是真实的呢?科学家们使用巧妙的统计检验,如置换分析(permutation analysis),他们通过打乱数据来创建一个不存在真实关系的“零”世界。然后,他们将真实数据中的相关性强度与打乱后数据中的相关性强度进行比较。只有那些远强于偶然所见的任何相关性的相关才被认为是统计上显著的,并保留用于分析。

CCA这个强大的思想开启了一个充满可能性的宇宙。我们可以从相同的细胞中获取两种不同类型的测量数据——它们的电发放模式(电生理学)和它们的基因表达(转录组学)——并使用CCA找到连接它们的“典型变量”,揭示基因程序如何产生神经元功能。我们甚至可以在空间转录组学数据上使用它,在这种数据中,我们既有组织切片的显微镜图像,又有每个点的基因表达。CCA可以找到连接图像中形态学特征与基因活性的相关性,从而真正地在细胞看起来像什么和它在做什么之间架起桥梁。

通常,在这些现代数据集中,我们的特征(基因,ppp)远多于样本(细胞,NNN)。这会使标准的关联系数计算变得不稳定。在这里,一种名为*正则化*(regularization)的巧妙数学技巧被使用。它涉及到在计算中添加一个微小的惩罚项,以防止它们“过拟合”噪音并产生剧烈波动的结果。这是一个务实的调整,使我们优雅的理论工具能在混乱的现实世界中发挥作用。

系统层面的视角:从配对到网络

我们旅程的最后一步是放大视野。相关性不仅关乎变量对,甚至也不仅关乎数据集对。它关乎理解整个系统的结构。

思考一下我们肠道中庞大的微生物生态系统及其与我们免疫系统的复杂关系。这是一个复杂到令人震惊的系统。为了解决这个问题,科学家们不仅仅是将一种微生物与一个免疫基因相关联。他们首先在每个领域内部寻找结构。他们找到“共丰度模块”(co-abundance modules)——即在许多人中其种群数量同步增减的微生物群组——和“共表达模块”(co-expression modules)——即协同一致激活的免疫基因群组。

每个模块代表一个功能单元:一个执行集体功能的微生物团队,或一个执行特定免疫程序的基因小队。最后一步是将微生物模块的汇总行为与免疫模块的汇总行为相关联。这里的强相关性不仅仅是连接一种微生物与一个基因;它揭示了一个“功能轴”,一条微生物组与宿主之间的主要沟通途径。例如,它可能会揭示,一个完整的纤维发酵细菌群落与一个抗炎免疫程序的激活相关。这就是相关性超越简单配对,揭示复杂生物系统涌现结构的力量。

于是,我们看到了完整的弧线。从一个简单的数字 ρ\rhoρ,我们构建了一个强大而多功能的工具包。我们看到它充当生态调查的起点,揭示自然选择的工具,精确定位致病基因的方法,以及统一庞大、多维数据集的宏大统一器。对相关性的探索,以其多种形式,就是对模式、对结构、对连接世界万物的隐藏联系的探索。它是科学探索中寻找支配自然壮丽复杂性的简单基本法则的根本部分。而这,确实是一件美妙的事情。