平稳过程

在研究随时间随机演化的系统（即随机过程）时，出现了一个根本性的挑战：我们如何能够对本质上不确定的行为进行建模和预测？一些过程的基本特性会随着时间的推移而改变，而另一些过程则表现出一种统计上的一致性。​​平稳性​​的概念为识别和分析这种一致性提供了理论基础。它使我们能够区分处于统计平衡状态的过程和那些不断演化的过程，从而填补了不可预测的波动与稳定、可建模的行为之间的关键知识鸿沟。

本文是时间序列分析这一基石的全面指南。我们首先将在​​“原理与机制”​​一章中探讨其形式化定义和性质，厘清严平稳的严格理想与弱平稳的实际功用之间的关键区别。我们将考察表征这些过程的关键工具，如自协方差和自相关函数。随后，​​“应用与跨学科联系”​​一章将展示这一抽象概念如何成为一个至关重要的工具，使得设计稳定的控制系统、预测经济趋势、分析生物进化以及在混沌中发现秩序成为可能。读完本文，您将不仅理解什么是平稳过程，还将明白为什么它是理解随机世界最有力的思想之一。

想象一下，你正站在一条宽阔流淌的河流旁。在某些地方，河流是汹涌的激流，在景观中冲刷出新的路径。在另一些地方，它汇入平静、稳定的水流，其特征日复一日似乎没有变化。随机过程就像这条河；有些狂野且不可预测，其本质随时间演变，而另一些则进入了一种统计平衡。​​平稳性​​的概念就是我们用以描述这种平衡的工具。它告诉我们，虽然过程的各个值是随机且不可预测的，但支配其行为的潜在规则是恒定的。

但正如科学中许多深刻的思想一样，看待它的方式不止一种。我们主要有两种平稳性：一种是绝对且不妥协的，另一种则更实用、更宽容。

让我们从最苛刻的定义开始。如果一个过程的全部统计特性对时间平移是不变的，我们称之为​​严平稳​​过程。这是什么意思呢？想象一下，在一组时间点（比如 $(X_{t_1}, X_{t_2}, \dots, X_{t_n})$）对过程进行快照，并检查它们的联合概率分布。现在，将你所有的时间点平移某个量 $\tau$，然后观察新的集合 $(X_{t_1+\tau}, X_{t_2+\tau}, \dots, X_{t_n+\tau})$。如果这个新集合的联合概率分布与第一个完全相同，对于任何时间点的选择和任何平移量 $\tau$ 都成立，那么该过程就是严平稳的。这就像一个完美重复的壁纸图案；无论你怎么移动它，设计看起来都一样。

一个绝妙简单却富有说明性的例子是这样一个过程：我们在时间开始时抛一次硬币，如果是正面，则设值 $A$ 为+1，如果是反面，则为-1。然后该过程定义为对所有时间 $t$，有 $X_t = A$。在任何时间点，$X_t$ 以相等的概率为+1或-1。如果你在时间 $t_1=10$ 和 $t_2=50$ 观察这个过程，这对值 $(X_{10}, X_{50})$ 就是 $(A, A)$。如果你稍后在 $t_1+h=100$ 和 $t_2+h=140$ 观察它，这对值 $(X_{100}, X_{140})$ 仍然是 $(A, A)$。其底层的概率法则——抛硬币——完全独立于你选择观察结果的时间。因此，无论初始随机变量 $A$ 的具体分布如何，这个过程都是严平稳的。

这种严格形式的平稳性非常稳健。如果你将一个严平稳过程 $X_t$ 通过任何固定的无记忆滤波器——例如，通过平方它来创建一个新过程 $Y_t = X_t^2$——得到的过程 $Y_t$ 也必然是严平稳的。底层概率法则的时间不变性是如此彻底，以至于它能在这样的变换中得以保持。

然而，要验证严平稳性，需要知道所有时间的完整联合概率分布，这是一种我们对真实世界数据很少拥有的上帝般视角。这引导我们走向一个更实用，并最终更有用的定义：​​弱平稳​​。

弱平稳（或协方差平稳）不要求整个概率分布保持不变，只要求最重要的汇总统计量——前两个​​矩​​——随时间稳定。这给了我们一个包含三个条件的清单：

1. ​​均值必须为常数：​​ 对所有 $t$，$E[X_t] = \mu$。该过程不应有系统性的上升或下降趋势。它的中心趋势是固定的。

2. ​​方差必须为常数且有限：​​ 对所有 $t$，$\text{Var}(X_t) = \sigma^2 \lt \infty$。过程围绕其均值的平均离散度或波动性不随时间变化。“有限”这一点至关重要。考虑一个过程，其中每个值都独立地从一个具有无限方差的分布中抽取，比如具有两个自由度的学生t分布。即使均值是常数（零），该过程也不是弱平稳的，因为它的方差是未定义的或无限的。这样的过程容易出现有限方差过程不会表现出的极端、不可预测的跳跃。

3. ​​自协方差必须仅依赖于延迟：​​ $\text{Cov}(X_t, X_{t+h})$ 必须仅是延迟 $h$ 的函数，而不是时间 $t$ 的函数。我们称此函数为​​自协方差函数​​，$\gamma(h)$。

这第三个条件是最精妙和强大的。它表明，过程中两点之间的关系仅取决于它们在时间上的距离，而不是它们何时发生。今天温度和明天温度之间的协方差，应该与2050年7月1日和2050年7月2日温度之间的协方差相同。

在这里很容易被迷惑。想象一个由 $X_t = A \cos(\omega t)$ 定义的过程，其中振幅 $A$ 是一个以等概率取+1或-1的随机变量。该过程的均值为 $E[X_t] = E[A]\cos(\omega t) = 0 \times \cos(\omega t) = 0$，这是常数。它通过了第一个测试！但它的协方差呢？方差（即延迟为0的自协方差）是 $\text{Var}(X_t) = E[X_t^2] - (E[X_t])^2 = E[A^2 \cos^2(\omega t)] = 1 \times \cos^2(\omega t)$。这个方差明显依赖于时间 $t$，上下振荡。由于方差不是常数，即使其均值完全稳定，该过程也不是弱平稳的。这告诉我们所有三个支柱都是必需的；一个失效，整个结构就会坍塌。

自协方差函数 $\gamma(h)$ 就像一个平稳过程的指纹。它告诉我们过程的内部“记忆”——一个时间点的值如何与其他时间点的值相关联。

为了使其更具解释性，我们通常将自协方差归一化，得到​​自相关函数 (ACF)​​，用 $\rho(h)$ 表示。关系简单直观：你只需将自协方差除以过程的方差： $\rho(h) = \frac{\gamma(h)}{\gamma(0)}$ 由于 $\gamma(0) = \text{Var}(X_t)$，延迟为0的ACF总是 $\rho(0) = \frac{\gamma(0)}{\gamma(0)} = 1$。对于其他延迟，ACF衡量了相隔 $h$ 个时间步长的点之间的相关性。

这些函数不是任意的；弱平稳的定义对它们施加了严格的规则。

• ​​偶性：​​ $X_t$ 和 $X_{t+h}$ 之间的协方差必须与 $X_{t+h}$ 和 $X_t$ 之间的协方差相同。这意味着 $\gamma(h) = \gamma(-h)$，所以自协方差和自相关函数必须是关于延迟 $h$ 的偶函数。像 $10\cos(h) - 5\sin(h)$ 这样的函数永远不能成为一个有效的自协方差函数，因为正弦项使其不对称。
• ​​有界性：​​ 根据柯西-施瓦茨不等式，协方差的绝对值永远不能超过方差。这等价于 $|\gamma(h)| \le \gamma(0)$，或等价地，对所有 $h$ 都有 $|\rho(h)| \le 1$。ACF 的值不能像1.5或-2。一个提议的函数如 $\rho(h) = 1 - 0.2h^2$ 会立即被排除，因为对于足够大的延迟，它的值将超过-1。

当我们考虑来自弱平稳过程的一系列观测值，比如 $(X_1, X_2, X_3, X_4)$ 时，这些性质赋予协方差矩阵一个优美且高度结构化的形式。第 $i$ 行和第 $j$ 列的元素是 $\text{Cov}(X_i, X_j) = \gamma(|i-j|)$。因为它仅依赖于差值 $|i-j|$，任何给定对角线上的所有元素都是相同的。这种特殊类型的矩阵称为​​托普利茨矩阵​​。对于一个自协方差为 $\gamma(0)=2.5$, $\gamma(1)=1$, 且当 $k \ge 2$ 时 $\gamma(k)=0$ 的过程，$(X_1, X_2, X_3, X_4)$ 的协方差矩阵具有这种优雅的结构： $\Sigma = \begin{pmatrix} \gamma(0) & \gamma(1) & \gamma(2) & \gamma(3) \\ \gamma(1) & \gamma(0) & \gamma(1) & \gamma(2) \\ \gamma(2) & \gamma(1) & \gamma(0) & \gamma(1) \\ \gamma(3) & \gamma(2) & \gamma(1) & \gamma(0) \end{pmatrix} = \begin{pmatrix} 2.5 & 1 & 0 & 0 \\ 1 & 2.5 & 1 & 0 \\ 0 & 1 & 2.5 & 1 \\ 0 & 0 & 1 & 2.5 \end{pmatrix}$ 这种结构是平稳性的直接视觉体现。

现在来看一个有趣的问题：严平稳（具有有限方差）意味着弱平稳，但反过来成立吗？一个过程可以是弱平稳而非严平稳吗？

答案是响亮的“是”，它揭示了这两个概念的真正区别。考虑一个构造如下的过程：抽取一系列独立的标准正态随机变量 $\{\epsilon_t\}$。如果时间 $t$ 是偶数，我们设 $X_t = \epsilon_t$。如果 $t$ 是奇数，我们设 $X_t = \frac{1}{\sqrt{2}}(\epsilon_{t-1}^2 - 1)$。

让我们检查弱平稳的条件。可以计算出，无论 $t$ 是偶数还是奇数，均值总是零，方差总是一。此外，自协方差结果仅依赖于延迟 $h$（事实上，对于所有非零延迟，它都为零）。所以，这个过程是完全的弱平稳。

但它是严平稳的吗？绝对不是。在偶数时间，$X_t$ 是一个标准正态变量，对称且定义在整个实数轴上。然而，在奇数时间，$X_t$ 与一个正态变量的平方有关，这意味着它永远不能小于 $-\frac{1}{\sqrt{2}}$。$X_t$ 的概率分布的形状和支撑集本身就随着时间的奇偶性而改变。由于一维分布不是常数，联合分布也不可能是。这个过程就像一个人，他的平均情绪（均值）和情绪范围（方差）总是不变，但周一他只讲散文，周二他只讲诗歌。即使汇总统计数据相同，其底层模式也是不同的。

我们为什么如此关心平稳性？因为它代表了一种统计上的可预测性状态，使得建模和预测成为可能。许多现实世界的过程，如股票价格或人口水平，显然不是平稳的——它们表现出趋势。

奇妙的是，有时我们可以通过一个简单的操作来诱导出平稳性。一个常用的技术是​​差分​​。如果我们有一个弱平稳过程 $X_t$，我们可以创建一个新过程 $Y_t = X_t - X_{t-1}$。这个新的“差分”过程是平稳的吗？让我们检查一下。新的均值是 $E[Y_t] = E[X_t] - E[X_{t-1}] = \mu - \mu = 0$。新的自协方差 $\text{Cov}(Y_t, Y_{t-h})$ 可以用 $X_t$ 的自协方差来表示。稍作代数运算表明，它也只依赖于延迟 $h$。因此，对一个弱平稳过程进行差分，总能得到另一个弱平稳过程。

这不仅仅是一个数学上的奇趣；它是一个强大的工具。许多带有趋势的非平稳过程，在差分后会变得平稳。这种转换行为通常是驯服一个狂野、演化中的过程的第一步也是最关键的一步，使其能够被分析，并揭示隐藏在波动中的稳定底层结构。这是一个典型的例子，说明了理解平稳性的深层原理如何不仅让我们描述世界，还让我们重塑对世界的看法。

在我们穿越了平稳过程的形式化领域之后，您可能会留有一种抽象优雅的感觉。但这个概念究竟有何用处？这些数学机器与无人机扇动的翅膀、波动的股票价格以及生命的密码等真实世界在何处交汇？事实是，平稳性不仅仅是数学家的好奇心；它是一项基本原则，使我们能够建模和理解在随机性与时间相交的各种系统中表现出的惊人多样性。正是这个概念，让我们能够在不确定性的核心找到统计上的确定性。

核心直觉是：一个平稳过程描述了一个处于统计平衡状态的系统。它已经“忘记”了它的起点。无论在遥远的过去它受到了什么样的冲击或推动，这些影响都已消退，使其以一种一致、可预测的方式波动。它的统计心跳——它的均值、方差、相关性的节奏——保持稳定。让我们看看这个简单而强大的思想将我们引向何方。

想象一下，你是一名工程师，正在为一架微型无人机设计控制系统。无人机不断受到微小、随机的阵风的冲击。它的角位置，我们称之为在时间 $t$ 的 $\theta_t$，会摇摆不定。你的控制器的工作是将其轻推回水平飞行状态。对此行为的一个简单模型可能如下：下一刻的偏差 $\theta_t$ 是当前偏差 $\theta_{t-1}$ 的某个分数 $c$，再加上新的随机阵风 $Z_t$。这给了我们关系式 $\theta_t = c \theta_{t-1} + Z_t$。

为了使无人机的飞行“稳定”，其摇摆不能失控增长。其偏差的统计特性应随时间保持不变；换句话说，过程 $\{\theta_t\}$ 必须是平稳的。这在什么时候发生？关键的洞察来自于观察反馈参数 $c$。如果 $|c| \ge 1$，任何偏差都会随时间保持或被放大。一阵小风的影响会持续甚至增长，无人机的方差会爆炸。系统对过去的冲击有无限的记忆。但如果 $|c| \lt 1$，每个偏差都会被抑制。系统是自我修正的；它逐渐“忘记”过去的干扰。在这种情况下，过程变得弱平稳，以一个取决于反馈强度 $c$ 和随机阵风大小的恒定方差波动。无人机是稳定的。

这套逻辑的应用远不止工程领域。一个模拟商品日价格变化的经济学家可能会使用类似的自回归模型，或许是一个依赖于前两天价格的模型：$X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + Z_t$。就像无人机一样，市场模型的稳定性——价格冲击是会消退还是会导致爆炸性的泡沫——完全取决于系数 $\phi_1$ 和 $\phi_2$ 是否对应于一个平稳过程。通过分析平稳性的数学性质，经济学家可以诊断其模型的稳定性，进而诊断其所代表的市场的稳定性。保持无人机平稳的数学原理，同样帮助我们理解金融系统的动荡。

自然界中一些最有趣的过程并不是平稳的。想想一个简单的随机游走——一个扩散粒子的路径或一个赌徒财富的轨迹。它的位置会游荡，其方差随时间线性增长。它永远不会稳定下来；它从根本上是非平稳的。我们如何将我们的工具包应用于这样的系统？

诀窍在于意识到，虽然随机游走本身是非平稳的，但它所采取的步通常是平稳的。如果每一步都是一个独立同分布 (i.i.d.) 的随机变量，那么步的序列就是严平稳过程的教科书式例子。我们可以通过一个简单的操作——差分——从非平稳过程中恢复出这个底层的平稳“引擎”。如果我们观察从一个时刻到下一个时刻的位置变化，$X_t - X_{t-1}$，我们实际上就是在观察步本身。

这个想法可以推广。我们可以取一个非平稳过程，通过差分或抽样等变换，制造出一个是平稳的新过程。例如，如果我们取我们的随机游走 $X_t$，并通过观察每两步的总位移来创建一个新序列，$Y_k = X_{2k} - X_{2k-2}$，我们会发现一些非凡的现象。每个 $Y_k$ 是两个连续（且独立）步的和。由于这些步对是不重叠的，序列 $\{Y_k\}$ 最终成为一个 i.i.d. 变量序列，使其成为严平稳的。这种将非平稳序列转换为平稳序列的概念是现代时间序列分析的基石，为从气候学到金融学等领域使用的强大预测模型奠定了基础。

到目前为止，我们一直在时域中讨论平稳性——相关性如何随着时间间隔的增加而衰减。但一个同样强大的视角来自频域。维纳-辛钦定理告诉我们，对于一个平稳过程，自协方差函数（时域相关性的度量）和功率谱密度（频域功率分布的度量）是傅里叶变换对。一个在时间上稳定的过程，拥有一首明确且不随时间变化的组成频率的“交响曲”。

这种联系使我们能够理解滤波。当我们让一个信号通过一个线性时不变滤波器——比如说，一个去除高频嘶声的低通滤波器——我们实际上是在塑造它的功率谱。如果输入过程是弱平稳的，一个时不变滤波器将产生一个同样是弱平稳的输出。滤波器不关心一个频率分量何时到达；它平等地对待所有时间点。它只是重塑了频率间的功率平衡，从而产生一个新的、但仍然是平稳的、具有新自协方差函数的过程。

在通信中出现了一个更优美的现象。想象一下，我们取一个平稳信号 $X_t$（比如一段录音），通过乘以一个高频载波 $\cos(\omega_0 t)$ 来对其进行调制以进行无线电传输。得到的信号 $X_t \cos(\omega_0 t)$ 显然是非平稳的；它的功率随着确定性载波振荡。但在真实的无线电系统中，接收器不知道载波的确切相位。让我们通过引入一个在 $[0, 2\pi]$ 上均匀分布的随机相位 $\Phi$ 来模拟这种不确定性。我们的信号现在是 $Y_t = X_t \cos(\omega_0 t + \Phi)$。奇迹发生了。当我们计算 $Y_t$ 的统计特性时，我们需要对 $\Phi$ 的所有可能值进行平均。这种平均化的操作完全消除了由余弦项引入的时间依赖性。最终得到的过程 $Y_t$ 令人惊讶地是弱平稳的！。引入一种特定类型的随机性恢复了统计平衡。

统计平衡的思想是许多科学领域的核心，而平稳性是其形式化语言。考虑一个由时间齐次的马尔可夫过程描述的系统——其中转移概率仅取决于经过的时间，而非绝对时间。这样的例子无处不在。细胞膜上离子通道结合的离子数量可以建模为一个队列，其中配体以恒定速率到达和离开。在图的顶点之间跳跃的粒子可以是一个离散时间马尔可夫链。

许多这样的系统，如果它们是遍历的，最终会进入一个“平稳分布”——一种状态，其中处于任何给定构型的概率随时间恒定。现在，这是一个深刻的联系：如果你让系统从其平稳分布开始，那么描述其未来演化的整个随机过程就是严平稳的。因为它始于一个完美的统计平衡状态，它将永远保持在该状态。每个统计特性——不仅仅是均值和方差，而是任何时间点集合上的完整联合分布——都对时间平移保持不变。

这一原则具有深远的影响。在进化生物学中，核苷酸替换模型通常被假定为是平稳的。这意味着，对于给定的谱系，突变的潜在生化机制被假定在漫长岁月中具有恒定的统计特性。这是一个基线假设。在此之上，可以建立一个更强、更著名的假设：严格分子钟。分子钟假说不仅假定每个谱系的进化过程是平稳的，而且假定进化速率在所有谱系中都是相同的。平稳性并不意味着分子钟，但分子钟需要平稳性作为先决条件。这种区别对于构建关于生命历史的精确、可检验的假说至关重要，例如使用“相对速率检验”来检查两个物种是否以相同的速度进化。

也许平稳性最令人惊奇的应用在于随机与确定之间的边界。考虑一个混沌系统，如简单映射 $X_t = (k X_{t-1}) \pmod 1$，其中整数 $k \ge 2$。给定一个初始值 $X_0$，整个未来序列是完全确定的。没有外部随机性。然而，该系统是混沌的：起点上的无限小差异会导致指数级发散的轨迹。

从遍历理论的角度来看，这样的系统通常拥有一个“不变测度”——一个概率分布，如果用它来选择初始状态 $X_0$，它会被系统的演化完美地保持。对于我们的映射，这个不变测度是 $[0,1)$ 上的均匀分布。现在，如果我们拥抱我们的无知，将起点 $X_0$ 建模为一个从该分布中抽取的随机变量呢？我们从一个确定性机器中创造了一个随机过程。结果如何？这个源于混沌的过程是严平稳的。当通过这个特殊概率测度的视角观察时，系统确定的、不可预测的舞蹈在统计上与一个处于平衡状态的真正随机过程无法区分。联合概率分布的时间不变性是系统动力学下测度空间不变性的直接结果。

在这里，我们看到了这个思想真正的统一力量。平稳性在由显式随机性驱动的随机过程世界和由复杂非线性规则产生不可预测性的确定性混沌世界之间架起了一座桥梁。它揭示了我们可以依赖的统计规律性，无论是在无人机的稳定性中，无线电信号的频率中，还是混沌系统涌现的随机性中，都源于同一个基本原则：一个与时间流逝达成的统计和谐。