自回归移动平均（ARMA）模型

玻尔百科

关键要点

ARMA模型通过结合时间序列的过去值（自回归）和过去的随机冲击（移动平均）来捕捉其记忆性。
ACF和PACF是识别模型结构的关键诊断图，它们揭示了AR和MA成分的独特特征。
Box-Jenkins方法论提供了一个系统的识别、估计和诊断性检验循环，用以构建简约而强大的模型。
除了预测，ARMA还可用于异常检测、波动性建模（GARCH），以及通过预白化揭示序列间的真实关系。
ARMA模型可以被理解为潜在的连续时间系统投下的离散时间“投影”，从而连接了生态学和计量经济学等不同学科。

引言

在一个充斥着随时间展开的数据的世界里——从股票价格的波动到每日的温度变化——理解交织在时间脉络中的模式至关重要。许多可观测的过程并不仅仅是随机事件的序列；它们拥有记忆，即现在由过去塑造。自回归移动平均（ARMA）模型为描述这种记忆提供了一个强大而优雅的数学框架。它解决了从简单的随机性超越到捕捉现实世界时间序列数据中固有的结构化、动态行为这一根本性挑战。

本文将对ARMA框架进行全面探索。首先在“原理与机制”一章中剖析模型的核心组成部分，在那里您将学习自回归（过去的余音）和移动平均（过去冲击的魅影）的独特作用，以及如何使用诊断工具来识别它们。随后，“应用与跨学科联系”一章将带您穿越金融、政治学、生态学和工程学等不同领域，揭示ARMA模型如何被应用于预测未来、检测异常、检验经济理论，甚至在连续时间现实与离散时间观测之间架起桥梁。

原理与机制

想象一下，你正站在一个平静的池塘边。一系列鹅卵石正被投入其中，每秒一颗。有些小，有些大，但它们的大小是完全随机的。每颗鹅卵石的溅落和涟漪都是一个事件。池塘水面在任一时刻的状态如何取决于之前发生了什么？这正是时间序列分析试图回答的问题。水面并非仅仅是随机数字的杂乱组合；它拥有记忆，一种贯穿时间的结构。自回归移动平均（ARMA）模型是我们用来描述这种结构的最优雅的工具之一。

为了理解这种记忆，让我们从一个没有记忆的过程开始。想象一系列完全随机且独立的数字，就像反复掷一枚公平骰子的结果。在统计学中，我们称之为白噪声。每个值都是一个完全的意外，与之前的值没有任何联系。它有一个均值（通常假定为零）和恒定的方差，但它没有记忆。它的过去完全不能告诉你关于未来的任何信息。这是我们的基准，我们的“寂静”过程。在ARMA的语言中，这是一个ARMA(0,0)模型——零自回归，零移动平均。它是驱动更复杂系统的基本、不可预测的“冲击”或“创新项”。

但世界上的大多数事物都不是纯粹的白噪声。今天的温度与昨天的温度相关。一家公司的今日股价并非完全独立于昨日股价。这就是记忆的由来。ARMA模型提出，这种记忆有两种基本类型。

过去的余音：自回归（AR）

第一种记忆是直接且直观的。它认为一个过程当前的值部分是其最近过去值的回响。这被称为自回归，因为序列是在其自身的过去值上进行“回归”。

最简单的情况是一阶自回归模型，或AR(1)。它表明今天的值 $X_t$ 只是昨天值 $X_{t-1}$ 的一个分数 $\phi_1$ ，再加上一个新的、不可预测的冲击 $\epsilon_t$ ：

X_t = \phi_1 X_{t-1} + \epsilon_t

系数 $\phi_1$ 是“记忆”参数。如果 $\phi_1$ 是0.9，意味着该过程从上一步记住了其90%的值，其余部分是新信息。如果 $\phi_1$ 是0，记忆就消失了，我们又回到了白噪声。为使系统稳定，或称平稳，这种记忆必须衰退；我们需要 $|\phi_1| < 1$ 。如果 $\phi_1$ 等于1，冲击将永远累积，过程将漫无目的地游走——形成“随机游走”。如果 $|\phi_1| > 1$ ，它将爆炸。

我们如何检测这种“回声般”的记忆？我们需要一个特殊的工具。观察 $X_t$ 和 $X_{t-k}$ 之间的简单相关性（自相关函数，或ACF）可能会产生误导。因为 $X_{t-1}$ 影响 $X_t$ ，而 $X_{t-2}$ 影响 $X_{t-1}$ ，所以 $X_{t-2}$ 的影响会间接地传递到 $X_t$ 。ACF捕捉了直接和间接的相关性，形成一条长长的、衰减的依赖链。

为了分离出直接的回声，我们使用一个更精密的工具：偏自相关函数（PACF）。滞后 $k$ 阶的PACF衡量的是在剔除了所有中间值（ $X_{t-1}, X_{t-2}, \dots, X_{t-k+1}$ ）的线性影响之后， $X_t$ 和 $X_{t-k}$ 之间的相关性。这就像在问：“一旦我知道了昨天的值，前天的值是否能给我任何额外的新信息？”对于一个纯粹的AR(p)过程，对于任何超过 $p$ 的滞后阶数，答案都是否定的。PACF提供了一个优美、清晰的特征：它在滞后 $p$ 之前有显著的尖峰，然后突然截断为零。如果你看到一个PACF图在滞后1处有一个显著的尖峰，然后变为零，那么你很可能正在观察一个AR(1)过程。事实上，对于一个AR(1)过程，那第一个偏自相关的值恰好就是系数 $\phi_1$ 。

随机性的魅影：移动平均（MA）

第二种记忆则更为微妙。再次想象向池塘中投掷鹅卵石。当前某一点的水面高度不仅受到前一刻高度（回声）的影响，还受到刚刚落下的鹅卵石产生的涟漪，以及更早之前落下的鹅卵石产生的正在消逝的涟漪的影响。该过程记住的是击中它的过去的冲击，而不仅仅是它自身的过去状态。这就是移动平均（MA）成分背后的思想。

一个一阶移动平均模型，或MA(1)，看起来是这样的：

X_t = \epsilon_t + \theta_1 \epsilon_{t-1}

这里，今天的值 $X_t$ 是当前随机冲击 $\epsilon_t$ 和前一个时期冲击 $\epsilon_{t-1}$ 的“魅影”的组合。该过程的记忆持续一个时期；两个时期前的冲击 $\epsilon_{t-2}$ 已被完全忘记。

对于这种类型的记忆，标准的ACF工作得非常完美。 $X_t$ 和 $X_{t-1}$ 之间的相关性将非零，因为它们都共享冲击 $\epsilon_{t-1}$ 。但是 $X_t$ 和 $X_{t-2}$ 之间的相关性将恰好为零，因为它们没有共同的冲击。因此，对于一个纯粹的MA(q)过程，其特征是在滞后 $q$ 阶之后，ACF出现急剧的截断。

ARMA的对偶性：同一枚硬币的两面

这就引出了一个有趣的难题。我们已经看到：

一个AR(p)过程的PACF是截尾的，而ACF是拖尾的（缓慢衰减）。
一个MA(q)过程的ACF是截尾的，而事实证明，其PACF是拖尾的。

为何存在这种奇怪的对称性？答案揭示了一种更深层次的统一性。一个平稳的AR(p)过程可以被重写为一个无限阶的MA过程（MA( $\infty$ )）。而一个可逆的MA(q)过程（即可以从序列的过去值中恢复出冲击的过程）可以被重写为一个无限阶的AR过程（AR( $\infty$ )）。

一个带有移动平均成分（ $q>0$ ）的ARMA模型，实际上是一个无限阶的自回归过程。由于其自回归性质没有有限的截断点，其PACF——这个为测量AR阶数而设计的工具——也无法截断。相反，它必须拖尾，在试图捕捉无限多个微小回声的过程中衰减至零。这种对偶性是关键。AR和MA并非根本不同；它们是描述相同潜在记忆结构的两种简约方式。

模型构建的艺术：解读蛛丝马迹

在现实世界中，一个过程可能同时具有AR和MA的特性。这就是ARMA(p,q)模型所捕捉的。伟大的统计学家George Box有句名言：“所有模型都是错的，但有些是有用的。” Box-Jenkins方法论就是寻找一个有用的——并且是简约的——ARMA模型的艺术。其目标是使用最少的参数（ $p$ 和 $q$ ）来充分描述数据。

这之所以成为可能，得益于一个名为Wold分解定理的深刻结果，该定理指出任何平稳时间序列都可以表示为一个无限阶的移动平均过程。这可能涉及无限多个参数——一种无望的情形！ARMA模型的魔力在于，它们使用多项式的有理函数，仅用少数几个参数（ $p+q$ 个）来近似这个潜在的无限结构。ARMA模型是对复杂现实的一个极为精简的描述。

寻找正确模型的过程就像一个侦探故事：

识别：你首先要检查“蛛丝马迹”——即你数据的ACF和PACF图——来获取关于潜在阶数p和q的线索。
估计：你将一个候选模型，比如AR(1)，拟合到数据上。
诊断性检验：这是至关重要的一步。你检查剩下的东西：残差，也就是实际数据与你的模型预测之间的差异。如果你的模型已经捕捉了所有的记忆和结构，那么残差应该只剩下不可预测的白噪声。

如果它们不是白噪声呢？假设你拟合了一个AR(1)模型，但其残差的ACF在滞后1处显示出一个单一的、显著的尖峰。你的残差不是白噪声；它们具有MA(1)过程的特征！这是一个强有力的线索。你的AR(1)模型捕捉了记忆的“回声”部分，但留下了“随机性的魅影”。原始过程不仅仅是AR(1)；它还有一个MA(1)成分。合乎逻辑的下一步是拟合一个ARMA(1,1)模型，看看其残差是否最终变得干净了。这种假设-拟合-检验的迭代循环是科学方法的核心。

还有另一个经典线索。假设你拟合了一个ARMA(1,1)模型，并发现你估计的参数几乎相等， $\hat{\phi}_1 \approx \hat{\theta}_1$ 。这是模型在告诉你它被过度指定了。AR和MA项基本上在相互抵消，就像一个作用力与一个大小相等、方向相反的反作用力。这个模型不必要地复杂了，数据很可能可以用更简单的方式描述，比如纯白噪声。简约为王，而模型本身常常会在你违反这一原则时告诉你。

水晶球的凝视：预测与均值回归

归根结底，我们为什么要构建这些模型？主要原因之一是为了预测未来。一个ARMA模型本质上是一个进行单步预测的配方。预测是我们所见的过去值的加权和（AR部分），以及我们所犯的过去预测误差或冲击的加权和（MA部分）。这样做的好处在于，你在一次预测中犯下的误差， $X_{t+1} - \hat{X}_{t+1|t}$ ，恰恰就是下一个不可预测的冲击 $\epsilon_{t+1}$ 。所有可预测的结构都在模型中；剩下的是纯粹的随机性。

那么对遥远的未来进行预测呢？在这里，我们看到了平稳性最深刻的后果之一。对于任何稳定的ARMA过程，特定过去事件的记忆最终必须消逝。今天一个冲击的影响，无论多大，都会随时间减弱。当我们试图预测得越来越远（ $h \to \infty$ ）时，我们对过去的了解变得越来越不重要。对任何平稳过程的长期预测最终都会收敛到一个值：该过程的无条件均值 $\mu$ 。

这种被称为均值回归的属性，是AR成分稳定性的直接结果（其特征多项式的根位于单位圆之外）。回声渐逝，涟漪消散，所剩下的只是池塘的平均水位。这是一个令人慰藉的想法：虽然短期是回声与魅影的复杂舞蹈，但长期则由一个简单、稳定的均衡所支配。ARMA框架不仅为我们提供了一种描述过去复杂记忆的语言，也让我们深刻理解了这种记忆不可避免地在未来消逝的过程。

应用与跨学科联系

我们已经学习了自回归移动平均（ARMA）模型的数学语言。我们看到了它们的结构、性质以及它们所遵循的规则。但数学不是目的地，而是一种载体。现在，我们的旅程才真正开始。这种载体能带我们去向何方？它能向我们揭示关于世界的什么？

你会发现，ARMA模型核心的那个简单而优雅的思想——即现在是其自身过去和过去意外冲击回响的混合体——不仅仅是一个统计学上的奇趣。它是一种基本模式，一种描述变化的通用语法。它出现在工厂的嗡鸣中，金融市场的喧嚣中，病毒式视频的热议中，甚至在生态系统寂静而缓慢的演化中。在本章中，我们将巡游这些多样化的领域，看看ARMA的视角如何使它们变得清晰，揭示其内在的美丽与统一。

正常的节奏与新奇的冲击

在其最基本的层面上，ARMA模型是学习一个过程自然节奏的工具。想象一个传感器正在监测工厂车间里一台复杂机械的振动。这些测量值不是一系列随机、无关联的数字。今天的振动与昨天有关；片刻前的一次巨大颠簸可能仍在回响。这台机器有一种特有的“嗡鸣”，一种记忆和响应的模式。ARMA模型可以倾听这种嗡鸣并学会其特征。

一旦模型理解了什么是“正常”，它就获得了一种非凡的新能力：它能发现异常。任何与模型预测大相径庭的测量值，在应是嗡鸣声之处出现了尖啸，都会被标记为异常。这种偏离由预测区间来量化。如果一个观测值远远超出了模型认为合理的范围，这就是一个信号，表明某些情况发生了变化——也许是机器即将发生故障。这个简单的想法，即通过对正常情况建模来检测异常，是现代工业监测和质量控制的基石。它将ARMA模型从一个描述性工具转变为一个警觉的守护者。

这个“冲击”或“意外”——我们方程中的创新项 $\varepsilon_t$ ——的概念是核心。这些是不可预测的事件，是推动系统偏离其预期路径的新信息。ARMA模型的真正威力在于它如何描述一个系统对这些冲击的反应。参数 $\phi$ 和 $\theta$ 不仅仅是抽象的系数；它们编码了系统的特性，它的个性。

想一想一个病毒式传播的社交媒体帖子。一个“点赞”数的突然激增是对系统的一次冲击。这种关注度的爆发是瞬间消失，还是会产生自身的势头，在网络中回响并产生更多的点赞？ARMA模型的脉冲响应函数，即我们讨论过的 $\psi$ 权重序列，给出了答案。它是由最初的冲击扩散开来的涟漪。一个具有较大自回归参数 $\phi$ 的模型描述了一个具有长记忆的系统，其中单个冲击将产生持久、持续的影响——一种高“病毒性”。我们甚至可以用诸如“病毒传播半衰期”这样的概念来量化这一点：一个冲击的影响衰减一半所需的时间。我们不再仅仅是拟合数据；我们正在测量一个社会回响的解剖结构。

同样的原理在金融世界中同样适用。体育博彩市场中的“点差”，或股票与其期货合约之间的“基差”，不仅仅是随机数。它们是一个由信息、信念和套利构成的复杂系统的结果。经济学家面临的一个关键问题是，这些市场是否“有效”，即所有信息是否已经被消化，未来的价格变化是否不可预测——一种“随机游走”。或者它们是否具有记忆？它们是否在受到冲击后倾向于回归均值？ARMA模型为检验这些假设提供了完美的框架。通过拟合一个模型，我们可以看到是否存在可预测的结构，一种记忆（ $\phi \ne 0$ ）或过去冲击的回响（ $\theta \ne 0$ ），而一个聪明的交易者或许可以利用这一点。平稳性的数学条件 $|\phi| < 1$ 具有了深刻的经济意义：它是一个市场在受到冲击后能够保持稳定、不至于飘向无穷远的条件。

当然，并非所有的冲击都是意外。有些是预定的。一个政治家的支持率可能有其自身的内部动态，但它也会受到每周新闻发布会的定期“推动”。我们的框架足够灵活，可以处理这种情况。通过在我们的模型中添加一个“外生变量”（将ARIMA模型变为ARIMAX模型），我们可以将系统自身的节奏与这些外部推动的影响分离开来。这使我们能够提出更复杂的问题，例如，“在考虑了支持率本已呈上升或下降趋势之后，新闻发布会的影响是什么？”这种将内生动态与外生力量分离开来的能力，使得这些模型在计量经济学、社会学和政治学中不可或缺。

揭示更深层次的联系

世界是由相互关联的系统构成的织锦。通货膨胀与失业率相关；利率影响股票价格。但要识别这些关系的真实性质是一门微妙的艺术。仅仅因为两个时间序列同步变动，并不意味着一个是另一个的原因。它们可能像两位舞者，各自独立地跟随着同一个隐藏的管弦乐队。我们如何判断他们是否真的在与对方共舞？

这就是伪相关的问题，而ARMA框架提供了一个异常优雅的解决方案：预白化。为了理解通货膨胀和失业率之间（即著名的菲利普斯曲线）的真实关系，我们首先为“输入”序列，比如说失业率，建立一个ARMA模型。这个模型捕捉了失业率自身的内部节奏，它自己的舞蹈。通过反转这个模型，我们可以对该序列进行滤波，只留下“新闻”，即不可预测的冲击——实际上，我们已经使这个序列“白噪声化”了。关键的一步是，接着将完全相同的滤波器应用于通货膨胀序列。现在，我们得到了两个新的序列，它们都已剔除了各自的内部节奏。它们之间仍然存在的任何相关性，都必定是它们真实、动态相互作用的标志。我们让房间安静下来，以便能听到它们彼此间的低语。

我们迄今为止的旅程都假设“冲击项” $\varepsilon_t$ 像是完美时钟的滴答声，完全随机且方差恒定。但如果时钟的滴答声有时变得响亮而狂乱，有时又变得轻柔而安静呢？这正是我们在金融市场中看到的：高波动性时期（剧烈的价格波动）与平静时期聚集在一起。冲击的方差不是恒定的。

起初，这似乎是ARMA模型的失败。但我们方法的精髓是发现模式并对其建模。如果我们的ARMA模型产生的误差显示出这种波动性聚集现象，这意味着“噪声”本身也具有结构。我们可以通过寻找*平方残差*中的自相关性来检测这一点。如果找到了，我们就可以对其建模！我们可以写出另一个类似ARMA的方程，不是针对序列本身，而是针对其条件方差。这就是广义自回归条件异方差（GARCH）模型的诞生。

结果是惊人的。我们现在有了一个不仅能预测通货膨胀水平，还能预测其波动性的模型。这使我们能够构建动态的预测区间——我们对未来的不确定性锥体能够呼吸，在动荡时期扩张，在平静时期收缩。这是向前迈出的深刻一步，捕捉了关于经济系统中风险与不确定性的更深层次的真相。

观点的统一

ARMA框架如此丰富，以至于可以从多个角度来看待它，从而揭示其与其他伟大科学思想的联系。对信号处理工程师来说，多项式之比 $H(z) = C(z)/A(z)$ 是一个“传递函数”——一个描述输入信号如何转换为输出信号的黑箱。但控制理论家可能会问：“箱子里有什么？”他们更喜欢一种“状态空间”表示，它描述了系统的内部状态以及它如何从一个时刻演化到下一个时刻。这两种观点，外部的传递函数和内部的状态空间，似乎完全不同。然而，它们是同一枚硬币的两面。一个最小状态空间系统（没有冗余部分的系统）恰好对应于一个其多项式没有公因子的ARMA模型。这种等价性是线性系统理论中的一个优美结果，展示了不同的数学语言如何能够描述相同的潜在现实。

也许所有联系中最深刻的一个出现在我们追问：这些离散时间的ARMA模型究竟从何而来？科学家，尤其是在物理学和生态学领域，通常以连续时间来思考世界，用微分方程来描述。考虑一位生态学家，他正在为一个种群偏离其稳定均衡的状态建模，这个种群受到缓慢变化的环境（如温度）的冲击[@problem-id:2470829]。他会写下一个连续时间的随机微分方程。但我们无法连续地观察种群；我们只能进行采样，比如每天一次。那么采样得到的数据会是什么样子？惊人的答案是，在非常普遍的条件下，离散采样的序列将遵循一个ARMA过程。

从某种非常真实的意义上说，ARMA模型是连续现实在我们离散测量的墙壁上投下的阴影。自回归（ $\phi$ ）项源于系统自身的内部稳定性，即其回归均衡的趋势。而移动平均（ $\theta$ ）项，这个看似抽象的概念，则被揭示为连续、相关的环境噪声在我们采样区间内积分的标志。这一洞见不仅优美；它也是一个至关重要的警告。一个科学家如果天真地将一个简单的自回归模型拟合到他的数据上并解释其系数，可能会得出有偏的结论，因为他把阴影当成了真实事物，而没有考虑到采样行为所造成的扭曲。

从工厂车间到金融市场，从社交网络到生态系统的宁静平衡，ARMA过程一次又一次地出现。它证明了一个简单的思想能够统一广阔范围的现象，为我们提供描述记忆的语言，衡量冲击影响的方法，以及一扇窥探我们周围世界复杂动态之舞的窗口。