try ai
科普
编辑
分享
反馈
  • 方差的计算公式

方差的计算公式

SciencePedia玻尔百科
核心要点
  • 计算公式 Var(X)=E[X2]−(E[X])2\text{Var}(X) = E[X^2] - (E[X])^2Var(X)=E[X2]−(E[X])2 允许通过单次遍历数据集来计算方差,为定义公式提供了一种高效的替代方案。
  • 该公式是一项普遍原则,出现在从电气工程(噪声功率)、量子力学(测量不确定性)到现代金融(资产风险)等不同领域。
  • 尽管在代数上很优雅,但在浮点运算中,计算公式可能会遭受“灾难性抵消”的影响,当方差相对于均值很小时,会产生不准确的结果。
  • 在要求高数值稳定性的情况下,“较慢”的二次扫描定义公式 Var(X)=E[(X−μ)2]\text{Var}(X) = E[(X - \mu)^2]Var(X)=E[(X−μ)2] 通常是更优越、更可靠的方法。

引言

在任何处理数据的领域,从自然科学到金融,理解变异性不仅重要——而且是根本性的。平均值告诉我们数据集的中心,而围绕该中心的“离散度”或“分散度”则揭示了其特征、不确定性和风险。对此,标准的数学工具是方差,但其教科书定义在实际计算中可能很繁琐。这就提出了一个关键问题:我们能否在不牺牲其意义的情况下,更有效地计算这个至关重要的度量?

本文探讨了对该问题的优雅而强大的答案:方差的计算公式。在接下来的章节中,我们将首先探讨其​​原理与机制​​,从第一性原理推导这个捷径,并揭示其与基本数学真理的深刻联系。然后,我们将开启一次​​应用与跨学科联系​​之旅,见证这一个公式如何成为量化工程学中的噪声、量子力学中的不确定性以及金融市场中的风险的通用工具。准备好见证一个简单的代数重排如何成为解锁整个科学和经济领域洞见的钥匙。

原理与机制

在简短的介绍之后,你可能会想:我们究竟如何用数学的严谨性来确定“变异”这个概念呢?说一个量“离散分布”是一回事,但我们如何为其分配一个数值呢?乐趣从这里开始。我们将从头构建这个概念,在此过程中,我们将发现一个美丽、实用且惊人深刻的故事。

离散的本质:差的平方

假设你正在研究某个波动的量,我们称之为 XXX。这个量可以是任何东西——股票价格的每日变化、电子元件的电压,或者教室里学生的身高。你可能要做的第一件事就是找到平均值,即数据的“质心”。在概率论中,我们称之为​​期望值​​,记作 E[X]E[X]E[X] 或用希腊字母 μ\muμ 表示。

现在,我们如何衡量围绕这个均值 μ\muμ 的离散程度呢?一个自然的想法是看每个测量的偏差 X−μX - \muX−μ,然后对它们求平均。但这会走进死胡同。根据均值的定义,正偏差和负偏差将完全抵消,它们的平均值 E[X−μ]E[X-\mu]E[X−μ] 总是零!我们没有学到任何关于离散程度的信息。

因此,我们需要一种方法使所有偏差都变为正数,这样它们就不会相互抵消。我们可以取绝对值 ∣X−μ∣|X - \mu|∣X−μ∣,这给出了一个完全有效的度量,称为平均绝对偏差。但出于许多历史和数学原因,取偏差的平方 (X−μ)2(X - \mu)^2(X−μ)2 通常更为强大。这也使得每个偏差都变为非负数。这些平方偏差的平均值就是我们所说的​​方差​​,它是统计学的基石。

Var(X)=E[(X−μ)2]\text{Var}(X) = E[(X - \mu)^2]Var(X)=E[(X−μ)2]

这个定义很美,因为它包含了一个基本真理。由于 (X−μ)2(X - \mu)^2(X−μ)2 是一个实数的平方,它永远不可能是负数。方差作为这些非负值的平均值,因此也必须是非负的。如果一位金融分析师告诉你他们计算出的某支股票回报为负方差,你可以立即知道是他们的计算出了错,而不是市场!

这个简单的事实也为我们提供了一个很好的“合理性检查”。如果根本没有离散呢?想象一个完美的制造过程,生产出的所有冰球都具有完全相同的质量 m0m_0m0​。质量的随机变量 MMM 只是常数 m0m_0m0​。均值显然是 E[M]=m0E[M] = m_0E[M]=m0​。每个冰球的偏差都是 M−μ=m0−m0=0M - \mu = m_0 - m_0 = 0M−μ=m0​−m0​=0。所以方差是 E[02]=0E[0^2] = 0E[02]=0。这完全符合我们的直觉:没有变异意味着零方差。因此,方差是衡量围绕均值波动的“能量”的度量。

物理学家的捷径:计算公式

定义 Var(X)=E[(X−μ)2]\text{Var}(X) = E[(X-\mu)^2]Var(X)=E[(X−μ)2] 很直观,但在实践中使用起来可能有点笨拙。要计算它,你首先必须完整地遍历数据来计算均值 μ\muμ。然后,你必须进行第二次遍历,以找到所有的平方偏差 (xi−μ)2(x_i - \mu)^2(xi​−μ)2 并求其平均值。我们能做得更好吗?我们能找到一种单次遍历就计算出方差的方法吗?

让我们像物理学家最爱做的那样:推演一下数学。我们从定义出发,展开平方项:

(X−μ)2=X2−2μX+μ2(X - \mu)^2 = X^2 - 2\mu X + \mu^2(X−μ)2=X2−2μX+μ2

现在,让我们对整个表达式取期望。因为期望算子是“线性的”(意味着和的期望等于期望的和),我们可以写出:

E[(X−μ)2]=E[X2−2μX+μ2]=E[X2]−E[2μX]+E[μ2]E[(X - \mu)^2] = E[X^2 - 2\mu X + \mu^2] = E[X^2] - E[2\mu X] + E[\mu^2]E[(X−μ)2]=E[X2−2μX+μ2]=E[X2]−E[2μX]+E[μ2]

记住,μ\muμ(也就是 E[X]E[X]E[X])是一个常数,而不是一个随机变量。我们可以将常数从期望中提出来。所以,E[2μX]=2μE[X]E[2\mu X] = 2\mu E[X]E[2μX]=2μE[X]。因为 μ\muμ 已经是均值,所以 E[X]=μE[X] = \muE[X]=μ。这给了我们 2μ(μ)=2μ22\mu(\mu) = 2\mu^22μ(μ)=2μ2。常数的期望就是常数本身,所以 E[μ2]=μ2E[\mu^2] = \mu^2E[μ2]=μ2。

把所有部分放回一起,我们得到:

Var(X)=E[X2]−2μ2+μ2=E[X2]−μ2\text{Var}(X) = E[X^2] - 2\mu^2 + \mu^2 = E[X^2] - \mu^2Var(X)=E[X2]−2μ2+μ2=E[X2]−μ2

通过用其定义 E[X]E[X]E[X] 替换 μ\muμ,我们得到了一个非常优雅和有用的结果,通常被称为​​方差的计算公式​​:

Var(X)=E[X2]−(E[X])2\text{Var}(X) = E[X^2] - (E[X])^2Var(X)=E[X2]−(E[X])2

这个公式太棒了!它告诉我们,方差就是平方的均值减去均值的平方。要使用它,你只需要在一次遍历数据时跟踪两个和:值的和(以获得 E[X]E[X]E[X])和值的平方和(以获得 E[X2]E[X^2]E[X2])。不需要第二次遍历。

这个小小的公式也暗藏了一个深刻的不等式。既然我们已经确定方差不能为负,那么必然有:

E[X2]−(E[X])2≥0  ⟹  E[X2]≥(E[X])2E[X^2] - (E[X])^2 \ge 0 \quad \implies \quad E[X^2] \ge (E[X])^2E[X2]−(E[X])2≥0⟹E[X2]≥(E[X])2

一个变量的平方的均值总是大于或等于其均值的平方。这是一个更普适的定理——​​詹森不等式​​的一个特例。它有一些有趣的推论。例如,在统计学中,如果你有一个参数 θ\thetaθ 的无偏估计量 θ^\hat{\theta}θ^(意味着 E[θ^]=θE[\hat{\theta}] = \thetaE[θ^]=θ),那么简单的估计量 θ^2\hat{\theta}^2θ^2 对于 θ2\theta^2θ2 来说不是无偏的。事实上,其偏差恰好是 θ^\hat{\theta}θ^ 的方差!偏差为 E[θ^2]−θ2=E[θ^2]−(E[θ^])2=Var(θ^)E[\hat{\theta}^2] - \theta^2 = E[\hat{\theta}^2] - (E[\hat{\theta}])^2 = \text{Var}(\hat{\theta})E[θ^2]−θ2=E[θ^2]−(E[θ^])2=Var(θ^)。

从电压到量子自旋:一个统一的原则

有了这个强大的捷径,我们随处可见其效用。一个测量元件中随机电压波动的工程师可能会发现,平均电压是 E[V]=2.5E[V] = 2.5E[V]=2.5,而电压平方的平均值是 E[V2]=10.25E[V^2] = 10.25E[V2]=10.25。要找到方差——统计学家也称之为​​二阶中心矩​​——她不再需要原始数据。她可以简单地计算它,Var(V)=E[V2]−(E[V])2=10.25−(2.5)2=10.25−6.25=4\text{Var}(V) = E[V^2] - (E[V])^2 = 10.25 - (2.5)^2 = 10.25 - 6.25 = 4Var(V)=E[V2]−(E[V])2=10.25−(2.5)2=10.25−6.25=4。

但这个概念真正的美在于其令人难以置信的普适性。完全相同的数学结构出现在最意想不到的地方。让我们从经典工程学跃迁到奇异的量子力学世界。

在量子领域,像位置、动量或自旋这样的物理性质由称为​​算符​​的数学对象表示。对处于量子态 ∣ψ⟩|\psi\rangle∣ψ⟩ 的粒子测量这样一个属性并不总能得到相同的结果;存在固有的随机性。多次测量的平均结果是“期望值”,对于一个算符 AAA 记为 ⟨A⟩=⟨ψ∣A∣ψ⟩\langle A \rangle = \langle \psi | A | \psi \rangle⟨A⟩=⟨ψ∣A∣ψ⟩。

我们如何描述这些量子测量中的“离散”或固有不确定性呢?我们使用方差!我们如何计算它呢?一位对自旋测量的方差 (ΔSx)2(\Delta S_x)^2(ΔSx​)2 感兴趣的量子物理学家,会使用一个看起来惊人熟悉的公式:

(ΔA)2=⟨A2⟩−⟨A⟩2(\Delta A)^2 = \langle A^2 \rangle - \langle A \rangle^2(ΔA)2=⟨A2⟩−⟨A⟩2

这正是同一个东西!平方的均值减去均值的平方。支配电压信号中噪声的同一原则,也量化了量子力学定律所规定的基本不确定性。这是物理学与数学统一性的一个惊人例子——一个简单、强大的思想在截然不同的尺度和现实领域中回响。

一个警示故事:当捷径变为陷阱

到现在,你可能已经相信计算公式 E[X2]−(E[X])2E[X^2] - (E[X])^2E[X2]−(E[X])2 是最佳选择。它更快,而且在代数上很美。但我们的故事在这里出现了一个关键的转折,一个从纯粹数学的洁净世界到计算的混乱现实的转折。

想象一下你是一位工程师,正在使用一个高精度电压源,它被设计用来输出稳定的 V0=100,000,000V_0 = 100,000,000V0​=100,000,000 伏特电压。当然,这个信号之上存在一些微小的随机噪声。你的工作是测量这个噪声的方差。噪声很小,所以标准差 σδ\sigma_\deltaσδ​ 远小于均值 V0V_0V0​。

你设置你的计算机来采样电压并应用可靠的单次扫描公式。计算机计算出平方的均值 E[v2]E[v^2]E[v2] 和均值的平方 (E[v])2(E[v])^2(E[v])2,然后将它们相减。它给你的结果是...零。或者一个负数。或者就是一堆垃圾。哪里出错了?

问题在于​​灾难性抵消​​。计算机使用有限数量的数字来存储数值,这个系统被称为浮点运算。我们的两项,E[v2]E[v^2]E[v2] 和 (E[v])2(E[v])^2(E[v])2,都是巨大的数字。由于方差与均值相比非常小,这两个数字将几乎相同。对于我们的电压源,E[v]≈V0E[v] \approx V_0E[v]≈V0​ 且 E[v2]=Var(v)+(E[v])2≈σδ2+V02E[v^2] = \text{Var}(v) + (E[v])^2 \approx \sigma_\delta^2 + V_0^2E[v2]=Var(v)+(E[v])2≈σδ2​+V02​。

计算机被要求减去两个看起来像这样的数字:

10,000,000,000,000,000.000004

  • 10,000,000,000,000,000.000000

这就好比试图通过先称量甲板上放有羽毛的战舰,再称量没有羽毛的战舰,然后将两者相减来确定一根羽毛的重量。羽毛微不足道的重量完全消失在称量战舰巨大重量时不可避免的微小测量误差中!

当计算机减去两个几乎相同的大数时,前面的主要数字会相互抵消,剩下的部分则被初始计算中的微小舍入误差所主导。方差的真实、微小的值被完全抹去。

在这种情况下,“较慢”的二次扫描公式 E[(X−μ)2]E[(X - \mu)^2]E[(X−μ)2] 成为了英雄。通过先计算均值 μ\muμ,然后在平方之前从每个测量值中减去它,我们从一开始就在处理较小的数字(噪声本身)。我们是在单独称量羽毛,而不是在战舰之上。这种方法在数值上要稳定得多,并且会给出准确的答案。

这是一个深刻的教训。纸面上最优雅的公式并不总是现实世界中最好用的。理解原理是第一步,但理解我们工具的局限性是科学发现之旅中同样至关重要的一部分。

应用与跨学科联系

现在我们已经熟悉了计算方差的机制,你可能会忍不住问:“那又怎样?”这是一个合理的问题。我们为什么要费力推导这个巧妙的计算捷径 Var(X)=E[X2]−(E[X])2\text{Var}(X) = E[X^2] - (E[X])^2Var(X)=E[X2]−(E[X])2 呢?它仅仅是一个更整洁的定义包装,一点数学上的整理工作吗?我希望你能看到,答案是响亮的“不”。这个公式不仅仅是一个计算工具;它是一把钥匙,解锁了对我们周围世界深刻的理解。它是从抽象概率到测量、风险、噪声和价值等具体现实的桥梁。它提供了一种通用语言来描述波动的特征,无论是在物理学家的实验室、工程师的电路,还是交易员的投资组合中。让我们踏上旅程,穿越其中一些世界,看看我们的公式在实践中的应用。

物理学家的工具箱:精度与噪声

实验科学的核心就是测量。但没有测量是完美的。如果你十次测量一张桌子的长度,你可能会得到十个略有不同的答案。你如何描述你的尺子的可靠性?你看的是你测量值的离散程度。一个精确的仪器是那种重复测量结果紧密聚集在一起的仪器。这种聚集正是方差所量化的。

想象一位实验室的科学家,任务是比较两台高精度天平。目标是确定哪一台更“精确”——也就是说,哪一台给出的结果更一致。通过在每台天平上多次称量同一个标准质量块,科学家收集了两组数据。读数中表现出较小离散度的天平是更精确的那一个。我们的公式为此比较提供了完美的工具。对于每组测量数据,可以计算出样本方差。在这里,计算公式大放异彩。科学家不必先计算平均质量,然后从几十个测量值中逐一减去它,再平方,再求平均,而是可以使用一种更直接、数值上更稳定的方法。通过简单地保持测量值的运行总和(∑mi\sum m_i∑mi​)和它们平方的运行总和(∑mi2\sum m_i^2∑mi2​),就可以在最后一次性计算出方差。方差较小的天平可被验证为更精密的仪器。曾经定性的“离散”概念,现在变成了一个确切、可比较的数字。

这个思想从机械测量延伸到无处不在的电子世界。每一个电子信号,从你耳机里的音乐到来自遥远星系的微弱无线电波,都受到噪声的困扰。一个常见的来源是热噪声,即导体中电子的随机抖动。设计灵敏放大器的电气工程师必须与这种噪声作斗争,因为它会淹没所需的信号。这种噪声通常被建模为“白噪声”过程——一个随机信号,其值在任何时刻都在零均值附近波动。

这种噪声的“功率”是多少?在物理学中,电信号的功率通常与其电压的平方 V2V^2V2 成正比。由于噪声电压是随机的,我们关心的是它的平均功率,这与电压平方的平均值 E[Vt2]E[V_t^2]E[Vt2​] 成正比。在这里,我们的公式提供了一个优美的见解。噪声电压的方差是 Var(Vt)=E[Vt2]−(E[Vt])2\text{Var}(V_t) = E[V_t^2] - (E[V_t])^2Var(Vt​)=E[Vt2​]−(E[Vt​])2。但由于噪声被定义为具有零均值,即 E[Vt]=0E[V_t] = 0E[Vt​]=0,公式优雅地简化为:对于零均值过程,方差就是均方值,Var(Vt)=E[Vt2]\text{Var}(V_t) = E[V_t^2]Var(Vt​)=E[Vt2​]。因此,统计方差 σ2\sigma^2σ2 量化了波动的离散程度,它直接等于我们感兴趣的物理量:平均噪声功率。这个简单的联系在信号处理中是基础性的,它允许工程师使用统计学的工具来分析和滤除物理系统中的噪声。

经济学家的罗盘:风险与回报

现在让我们走出实验室,进入繁华的金融世界。在这里,不确定性不是一个需要消除的麻烦,而是游戏本身的精髓。一项投资的回报不是一个固定的数字;它是一个随机变量。一个“安全”的投资是其回报可预测的投资;一个“有风险”的投资是波动的,具有巨大收益或巨大损失的潜力。我们如何量化“风险”这个概念呢?当然是用方差。

对于量化分析师来说,一项资产回报的方差是其波动性或风险的主要衡量标准。通过分析历史数据或运行复杂的模拟,分析师可以估计期望回报 E[R]E[R]E[R] 和期望平方回报 E[R2]E[R^2]E[R2]。有了这两个数字,我们的计算公式立即就能得出方差,Var(R)=E[R2]−(E[R])2\text{Var}(R) = E[R^2] - (E[R])^2Var(R)=E[R2]−(E[R])2,从而提供了一个具体的风险度量。

但真正的力量在于我们不只考虑一项资产,而是考虑一个由多项资产组成的投资组合。常识告诉我们“不要把所有鸡蛋放在一个篮子里”。这就是分散化原则。但它为什么有效呢?方差的数学给了我们答案。考虑一个由两种资产 XXX 和 YYY 组成的简单投资组合。组合投资组合的方差并不仅仅是它们各自方差的总和。一个可以从方差基本定义中推导出的关键性质告诉我们,对于独立的资产,线性组合的方差是 Var(aX+bY)=a2Var(X)+b2Var(Y)\text{Var}(aX + bY) = a^2 \text{Var}(X) + b^2 \text{Var}(Y)Var(aX+bY)=a2Var(X)+b2Var(Y)。这表明,通过组合价格走势不相关的资产,可以管理整个投资组合的方差。

然而,在现实世界中,很少有资产是真正独立的。大多数股票的价格倾向于与更广泛的市场一起波动。为了处理这个问题,我们必须推广我们的概念。正如方差衡量一个变量相对于自身的波动,协方差衡量两个变量如何一起波动。协方差的计算公式是我们方差公式的自然延伸:Cov(X,Y)=E[XY]−E[X]E[Y]\text{Cov}(X,Y) = E[XY] - E[X]E[Y]Cov(X,Y)=E[XY]−E[X]E[Y]。当这些成对的协方差为整个资产世界组装起来时,它们形成一个协方差矩阵。该矩阵的对角线元素是每个独立资产的方差,非对角线元素是它们之间的协方差。这个矩阵不亚于是整个市场风险结构的总图。

有了这张图,我们就能实现一些非凡的事情。我们可以超越仅仅衡量风险,而去主动管理它。这就是由 Harry Markowitz 开创的现代投资组合理论的核心。中心问题是:给定一组资产,每种资产都有其自身的风险(方差)和相互关系(协方差),我们如何将它们组合起来,以创建一个具有最低可能总风险的投资组合?这不再是一个金融问题,而是一个定义明确的数学优化问题:找到最小化总投资组合方差的投资组合权重集。解决方案是“全局最小方差”投资组合,这一概念的发现和计算完全依赖于我们一直在探索的数学框架。

前沿:交易方差本身

故事并没有止于使用方差来管理其他资产。在复杂的现代金融世界中,抽象已经更深一层:方差本身已成为可交易的资产。称为“方差互换”的金融工具允许机构对市场指数或股票的未来波动性进行直接押注。

方差互换是一种合约,其在未来某个日期的支付取决于资产在一段时间内的*实际已实现方差*与今天商定的固定执行价格之间的差异。为了给这样的合约定价,银行需要计算“公平”价格,即在风险中性框架下未来已实现方差的期望值。对于像赫斯顿模型(Heston model)这样波动率本身是随机的复杂资产价格模型,此计算涉及找到合约存续期内瞬时方差的期望路径 E[vt]\mathbb{E}[v_t]E[vt​]。这个期望路径可以通过解一个微分方程找到,对此路径进行适当的积分可以得出公平的方差率。这种高级金融工程的计算核心,再一次,正是我们开始时所讨论的随机变量及其平方的期望值这一概念。

一种通用的波动语言

从简单的掷骰子到奇异衍生品的定价,我们的旅程展示了一个单一数学思想的惊人而美丽的统一性。公式 Var(X)=E[X2]−(E[X])2\text{Var}(X) = E[X^2] - (E[X])^2Var(X)=E[X2]−(E[X])2 远不止是一个计算技巧。它是一项基础的智力技术,使我们能够精确地谈论随机性。它将模糊的“离散”概念转化为一个可用于构建更好仪器、更清晰信号和更具弹性的金融投资组合的数字。它为我们提供了一种语言来描述、预测甚至控制世界固有的不确定性。它证明了数学的力量,能够找到一个单一、优雅的真理,并在人类探究的各种不同领域中引起共鸣。