灰箱建模

玻尔百科

核心要点

灰箱建模通过将灵活的数据驱动组件嵌入到刚性的、基于物理的结构中，提供了一种强大的综合方法。
这种混合方法策略性地平衡了偏差-方差权衡，减少了系统误差（偏差）和对噪声的过拟合（方差）。
有效的灰箱模型通过构造来强制执行守恒和正定性等物理定律，确保结果在物理上是合理的且值得信赖。
该方法解决了参数可辨识性的挑战，凸显了建模与实验设计之间至关重要的协同作用。

引言

长期以来，对物理世界进行建模这一行为一直由两种截然不同的哲学所定义：一是依赖于永恒不变的自然法则，二是从经验数据中直接学习。这催生了一系列建模方法，从完全基于第一性原理构建的、具有理论纯粹性的白箱模型，到仅从数据中学习统计关系、灵活但功能不透明的黑箱模型。然而，大多数现实世界的问题都存在于我们的理论不完备、数据不完美的领域。白箱模型可能过于僵化和带有偏差，而黑箱模型则可能不受约束、不可信赖且需要大量数据。

本文旨在探索一个弥合这一鸿沟的强大范式：灰箱建模。它提出了一种综合方法，集两家之长，利用可信的物理知识作为结构性骨干，并采用数据驱动的方法来学习未知或复杂的部分。读者将发现这种混合方法如何带来更准确、更鲁棒和更具可解释性的模型。接下来的章节将首先深入探讨灰箱建模的核心“原理与机制”，解释它如何巧妙地驾驭偏差-方差权衡并强制执行物理定律。随后，“应用与跨学科联系”一节将展示其在从工程控制系统到科学模拟前沿等不同领域所带来的变革性影响。

原理与机制

构建一个物理系统模型——无论是恒星、活细胞还是电池组——都如同开启一场引人入胜的科学探案工作。我们从两个主要来源收集线索：用数学语言表达的永恒自然法则，以及我们从实验中收集到的具体但往往杂乱的数据。建模的艺术在于我们如何将这两条线索编织在一起。几个世纪以来，我们一直在一个谱系的两端进行操作。一端是理论家的梦想，另一端是经验主义者的现实。

建模者的谱系：白、黑及其中广阔的灰色地带

假设您想了解汽车发动机的复杂运作原理。一种我们可称之为白箱建模的方法，是假定您拥有完整的蓝图。您掌握了控制燃烧热力学、燃油喷射流体动力学以及活塞力学的所有方程。您的参数——材料属性、尺寸、反应速率——全都是已知的。您的模型是一套纯粹的第一性原理方程。有了它，您可以惊人准确地预测发动机的行为。这是一个纯理论的世界，一个美丽而强大的理想。在这种范式中，模型的结构完全由先验知识确定，其参数可以直接解释为质量或电阻等物理常量。

在谱系的另一端是黑箱建模。在这里，您没有任何蓝图。发动机的内部工作原理完全是个谜。您所能做的就是观察。您踩下油门（输入），测量汽车的速度（输出）。您一遍又一遍地这样做，收集大量数据。然后，您将这些数据交给一个强大的、灵活的函数逼近器，比如一个深度神经网络，并让它学习输入和输出之间的统计关系。得到的模型可能是一个出色的预测器，但它本质上是不透明的。它的内部参数——网络的权重和偏置——没有直接的物理意义。它告诉你将会发生什么，但没有深入解释为什么。它是插值的一个强大工具，但如果您稍微偏离其训练条件，它可能会变得极其不可靠[@problem_-id:2878974]。

事实上，大多数现实世界的问题都存在于这两个极端之间广阔而迷人的空间里。我们的理论很强大但不完备，我们的数据往往稀疏、含噪声且收集成本高昂。白箱模型过于僵化，而黑箱模型又过于不受约束。这正是现代科学建模真正技艺的起点。这就是灰箱的世界。

一种优美的综合：以物理为骨，以数据为肉

灰箱模型并非一种软弱的妥协，而是一种强大的综合。其核心思想简单而深刻：使用我们信任的物理知识作为结构性骨干，让数据灵活地填补我们不了解的部分。它承认我们的知识是局部的，并提供了一种有原则的方法来补全它。

让我们来看一个具体的例子：为电动汽车中的电池组温度建模。从基础物理学中，我们知道热力学第一定律：电池中储存的能量变化率等于进入的热量减去流出的热量。这为我们提供了一个常微分方程（ODE）的基本结构：

C \frac{dT}{dt} = \dot{q}_{\text{in}} - \dot{q}_{\text{out}}

其中， $T$ 是温度， $C$ 是热容， $\dot{q}_{\text{in}}$ 是产生的热量（来自加热器和电流）， $\dot{q}_{\text{out}}$ 是散失到环境中的热量。

白箱方法需要我们为其中每一项都写下精确的方程。我们可能将热量损失建模为简单的对流， $\dot{q}_{\text{out}} = k(T - T_{\text{amb}})$ ，但复杂的电化学副反应产生的热量呢？遵循不同定律的辐射热损失呢？一个忽略这些效应的纯白箱模型将系统性地出错。它将具有我们所说的高偏差（bias）。

相比之下，灰箱方法则认为：“让我们保留核心的能量平衡定律，但承认我们并非无所不知。”我们可以将模型写成：

\frac{dT}{dt} = \underbrace{\frac{1}{C_{\theta}}\left(u - k_{\theta}(T - T_{\text{amb}})\right)}_{\text{Known Physics}} + \underbrace{g_{\phi}(T, I)}_{\text{Learned "Unknown Stuff"}}

在这里，第一项代表我们所信任的、基于物理的对加热和简单对流的理解，其中包含待学习的未知参数 $\theta = (C_{\theta}, k_{\theta})$ 。第二项， $g_{\phi}(T, I)$ ，是一个灵活的函数——通常是神经网络——我们要求数据来教会我们。它是一个“残差”项，旨在学习我们简单的物理模型与现实之间的差异。这一策略被称为残差学习，是灰箱建模的支柱之一。它不同于更传统的参数学习，在参数学习中，我们假设模型方程是完美的，只需要辨识像 $k$ 或 $C$ 这样的常数参数。现代灰箱哲学两者兼顾：我们学习已知物理的参数，也学习未知物理的函数形式。

偏差-方差之舞

为什么这种综合方法如此强大？答案在于统计学中最基本的概念之一：偏差-方差权衡。想象你是一名试图射中靶心的弓箭手。你射出的箭的总误差可以分解为三部分：偏差、方差和不可约减的噪声。

偏差（Bias）是系统误差的度量。一个高偏差的弓箭手会持续地朝同一方向偏离靶心。他们的瞄准出了问题。
方差（Variance）是随机散布的度量。一个高方差的弓箭手射出的箭会散布在靶子的各处。他们的手不够稳。
不可约减的噪声（Irreducible noise）是由弓箭手无法控制的因素造成的，比如一阵突如其来的风。

现在，让我们把这个概念映射回我们的模型。

如果一个白箱模型的底层理论不完整，它就会有高偏差。无论你给它多少数据，它都会固执地、系统性地出错。然而，由于其结构是刚性的，它不会轻易被数据中的噪声所左右，因此它往往具有低方差。

一个黑箱模型，由于其高度的灵活性，原则上可以学习任何关系，所以它往往具有低偏差。但正是这种灵活性使其对训练数据中的特定噪声高度敏感。它可能会“过拟合”，实质上是记住了噪声而不是底层的信号。这使其具有高方差。它的预测可能会极不稳定。

而灰箱模型则在偏差和方差之间跳起了一支优美的舞蹈。物理结构充当了一个锚，一个强大的正则化器，防止模型对噪声过拟合。这极大地降低了方差。同时，灵活的、数据驱动的残差项负责纠正纯物理部分的系统误差，从而降低偏差。通过结合两个世界的优势，灰箱模型通常能实现比其任何一个“纯种”表亲更低的总误差。

现实世界的侦探指南：约束与可辨识性

构建一个灰箱模型并不像简单地插入一个神经网络那么简单。我们是侦探，必须尊重我们所调查的世界的规则。这给我们带来了两个深刻而微妙的挑战：可辨识性和物理约束的强制执行。

隐藏参数之谜

让我们回到简单的热力模型： $T_{k+1} = (1 - \frac{\Delta t}{RC})T_k + (\frac{\Delta t}{RC})T_{\text{out},k} + (\frac{\eta \Delta t}{C})P_k$ 。我们希望从数据中学习物理参数 $R$ （电阻）、 $C$ （电容）和 $\eta$ （效率）。但请仔细观察这个方程。温度 $T$ 的动态仅取决于两个“集总”参数组： $\kappa_1 = \frac{1}{RC}$ 和 $\kappa_2 = \frac{\eta}{C}$ 。

这意味着，无数个不同的 $(R, C, \eta)$ 组合将产生完全相同的温度数据！例如，如果我们有一个有效解 $(R, C, \eta)$ ，那么 $(R/2, 2C, 2\eta)$ 也是一个有效解，因为它能导出相同的 $\kappa_1$ 和 $\kappa_2$ 。参数 $R$ 、 $C$ 和 $\eta$ 被认为是仅从温度测量中结构上不可辨识的。数据根本不包含足够的信息来区分它们。

这是建模中一个深刻而普遍的问题。我们如何解决它？就像任何优秀的侦探一样，我们需要更多的线索。假设我们可以安装另一个传感器，独立测量通过建筑物墙壁的热流 $q_k = \frac{T_{\text{out},k} - T_k}{R}$ 。这个新的信息片段使我们能够直接辨识 $R$ 。一旦 $R$ 已知，歧义就被打破了。我们可以用 $\kappa_1$ 的值来找到 $C$ ，然后用 $\kappa_2$ 的值来找到 $\eta$ 。一个原本无法解决的问题，在增加一条证据后变得可以解决了。这给我们一个至关重要的教训：建模和实验设计是同一枚硬币的两面。

构建遵守法则的模型

一个物理系统的模型应当遵守物理法则。一个生物系统的模型应当产生生物学上合理的结果。这些不是建议，而是区分有用模型和无意义模型的硬性约束。

考虑为一个反应网络建模，比如肝脏中的药物代谢或我们免疫系统中T细胞的增殖。必须遵守两个基本法则：

正定性： 化学物质的浓度或细胞的数量不能为负。
质量守恒： 在化学反应中，原子不会被创造或毁灭。如果你开始时有100个碳原子，你最终也必须有100个碳原子，只是排列方式不同。

如果我们天真地训练一个神经网络来表示一个反应速率，它本身并不具备这些法则的知识。它可能会预测出负浓度或违反质量守恒。一个这样做的模型不仅是错误的，而且对于做出真实世界的决策是无用的。

真正优雅的解决方案不是仅仅惩罚违反法则的模型，而是将法则构建到模型自身的架构中，使其无法被违反。这就是通过构造强制执行。例如，为了保证浓度 $x_i$ 的正定性：

我们可以构造学习到的反应速率来模仿质量作用动力学。对于消耗物种 $i$ 的反应，我们将神经网络的输出乘以 $x_i$ 。如果 $x_i$ 趋于零，反应速率会自动关闭，从而防止 $x_i$ 变为负值。
或者，我们可以进行变量替换，对浓度的对数进行建模， $z_i = \ln(x_i)$ 。由于 $x_i = \exp(z_i)$ ，无论 $z_i$ 取任何实数值，浓度都保证为正。

为了强制执行一个线性守恒定律，比如 $l^{\top}x = \text{constant}$ ，我们可以使用一个来自线性代数的巧妙技巧。我们知道如果时间导数为零，即 $l^{\top}\dot{x} = 0$ ，该定律就成立。对于我们的混合模型 $\dot{x} = f_{\text{mech}} + r_{\phi}$ ，如果机理部分已经守恒该量（ $l^{\top}f_{\text{mech}}=0$ ），我们只需要确保学习到的残差也同样守恒（ $l^{\top}r_{\phi}=0$ ）。我们可以通过将神经网络的原始输出 $N_{\phi}(x)$ 投影到与 $l$ 正交的向量空间上来实现这一点。这是通过一个投影矩阵完成的： $r_{\phi} = (I - \frac{ll^{\top}}{\|l\|^2})N_{\phi}(x)$ 。这通过构造保证了我们学习到的动力学绝不会违反守恒定律。

前进之路

穿越灰箱建模的旅程揭示了一种理解世界的高级而强大的范式。它告别了纯理论与纯数据之间的旧二分法，是一种利用两者优势的整体性方法。在从数值天气预报到计算免疫学等领域，这种哲学正在引领突破。

现代工作流程包括从我们部分的物理知识（通常以微分方程的形式）开始，识别不确定性的具体点（方程中缺失的项、未知的反应速率），并用一个灵活的、数据驱动的组件（如神经网络）来参数化该不确定性。然后，我们构建一个训练目标，迫使模型同时尊重我们观察到的数据和我们已知的物理定律。通过使用能够对整个模拟过程进行微分的工具，我们可以在一个统一的步骤中优化所有参数——包括物理参数和数据驱动参数。

其结果是，得到的模型比简单的物理模型更准确，比纯黑箱模型更鲁棒、更具可解释性且数据效率更高。它证明了这样一个理念：我们对世界的知识不是静态的；它是我们通过不断地、巧妙地用现实证据来检验我们的理论，从而构建、完善和改进的东西。

应用与跨学科联系

在遍历了灰箱建模的原理和机制之后，我们现在来到了探索中最激动人心的部分：见证这些思想的实际应用。一个科学概念的真正魅力，不在于其抽象的定义，而在于它所能阐明的现象的广度与深度。灰箱建模也不例外。它不仅仅是数据科学的一个巧妙技巧，更是一种贯通多学科的、多功能且深刻的方法，从喷气式发动机的轰鸣到电池内部无声的化学反应。这是一门构建既准确又智慧的模型的艺术，因为它们诞生于永恒的物理定律与数据所讲述的丰富而微妙的故事之间的合作。

在本节中，我们将看到这个知识工具包如何让我们驯服复杂的机械，发现材料的隐藏规律，甚至构建下一代既强大又可信的科学模拟工具。每一个应用都是通往不同科学世界的一扇窗，但它们都由同一种优雅的哲学统一起来：知你所知，学你所不知。

驯服无形之物：工程控制与热力系统

让我们从一些熟悉的事物开始：一台电动机。支配直流电动机的核心原理是教科书级别的物理学——电磁学与力学之间优美的相互作用。我们可以写下一个植根于基本定律的方程，描述转子的角加速度如何依赖于施加的电流以及惯量和转矩常数等已知参数。这是我们的“白箱”基础，是我们模型中我们深信不疑的部分。

然而，任何与真实机械打过交道的人都知道，现实世界是复杂的。电动机受到摩擦和齿槽转矩等其他非线性效应的困扰。这些力极难从第一性原理建模；它们依赖于温度、润滑、表面磨损以及一系列未知或过于复杂以至于无法解析描述的因素。一个忽略这些效应的纯物理（白箱）模型将是不准确的。一个纯数据驱动（黑箱）模型或许能捕捉到特定电机在特定条件下的行为，但它没有物理基础，在新的环境下可能会彻底失效。

在这里，灰箱建模提供了一个极其简单而强大的解决方案。我们保留我们所熟知并信赖的优雅物理定律，并将建模那些棘手的、未知的非线性转矩的任务交给一个数据驱动的组件，例如一个小型的神经网络。神经网络的工作不是从零开始学习所有物理知识，而只是学习残差——即我们简洁的物理模型所遗漏的部分。其结果是一个混合模型，它比纯物理模型准确得多，同时又比纯黑箱模型鲁棒和可解释得多。

同样的理念可以完美地扩展到复杂得多的系统，比如为我们建筑供暖和制冷的暖通空调网络。以一个现代热泵为例，它的运行是热力学过程的交响乐：压缩、冷凝、膨胀和蒸发。热力学定律为这个循环提供了一个刚性而可靠的框架。然而，实际性能取决于压缩机效率和换热器效能等经验特性，这些特性随工作条件以复杂的方式变化。一个用于热泵的灰箱模型接受了这一现实。它使用基本的质量和能量平衡作为其不可动摇的支架，然后嵌入数据驱动的模型，从实验数据中学习这些未知的组件级函数。这种方法不仅仅是一个学术练习，它对于设计高效的控制系统至关重要。

通过为蓄热罐这样的系统构建一个灰箱模型，我们可以开发出先进的控制器，例如模型预测控制（MPC），以实时优化其运行。更妙的是，该模型可以被设计成自适应的。如果我们不把像总传热系数 $UA$ 这样的未知参数当作一个固定常数，而是作为一个缓慢变化的、需要在线估计的状态，我们的模型就能自动学习并适应现实世界的变化，比如绝缘层随时间退化。这创造出的系统不仅是智能的，而且是具有韧性的。

发现游戏规则：本构关系与材料特性

我们现在从对已知系统行为的建模，转向一项更深刻的任务：发现新材料的内在规律。当科学家创造出新颖的复杂流体、聚合物或生物组织时，他们面临一个基本问题：施加在材料上的力与材料如何变形之间的关系是什么？这种关系被称为本构关系，它是材料独特的指纹。

对于一大类流体，基础物理学提供了一个强大的起点。各向同性（材料在所有方向上表现相同）和标架无关性（物理定律与观察者的参考系无关）的原理规定了偏应力张量 $\boldsymbol{\tau}$ 必须与变形率张量 $\boldsymbol{D}$ 成正比。这是一段优美的物理推理，极大地简化了问题。它告诉我们，这个复杂的张量值关系归结为一个单一的标量函数：粘度 $\eta$ 。 $\boldsymbol{\tau} = 2\,\eta(\dot{\gamma})\,\boldsymbol{D}$ 在这里， $\dot{\gamma}$ 是剪切速率的大小。这个方程的结构是我们的“白箱”。对于一种新材料，我们不知道的是函数 $\eta(\dot{\gamma})$ 。

这是灰箱建模的完美场景。我们可以进行实验，在各种变形 $\boldsymbol{D}$ 下测量应力张量 $\boldsymbol{\tau}$ 。通过将测得的应力投影到变形张量上，我们可以获得标量粘度函数的数据点。然后，我们使用一个灵活的数据驱动模型，比如一组指数函数基，从这些点中学习 $\eta(\dot{\gamma})$ 。

但我们可以更进一步。物理学常常施加额外的约束。对于许多剪切稀化流体，我们知道粘度绝不能随剪切速率的增加而增加。这是一个热力学上的可容许性约束。我们可以通过对模型的参数施加约束（例如，使用非负最小二乘法）来将这一物理知识直接构建到我们的学习算法中。这确保了我们从数据中“发现”的规律不仅是一个好的拟合，而且在物理上也是合理的。这不再仅仅是曲线拟合，而是物理知识指导下的科学发现。

前沿：物理知识驱动的机器学习与多尺度科学

物理学与数据驱动方法的综合正在推动科学模拟可能性的边界。在构建更好的电池这一对我们未来至关重要的技术追求中，这一点表现得尤为明显。

模拟锂离子电池内部错综复杂的电化学过程需要求解一个耦合的偏微分方程（PDEs）系统。这些模型极其详细但计算缓慢。纯黑箱方法，如循环神经网络，可能速度更快，但存在一个致命缺陷：它没有对物理定律的内在尊重。它很可能预测出一个违反质量守恒基本原理的电池状态——在这种情况下，创造或毁灭锂离子，导致无意义的预测。

灰箱解决方案是一种被称为物理知识驱动的机器学习（PIML）的范式。我们从已知的PDE结构开始，并用一个学习到的组件来增强它，以捕捉未建模的动力学。但这里的关键洞见是：我们设计机器学习架构本身来遵守物理定律。例如，为了强制执行锂守恒，我们不只是添加一个任意的学习“源”项。相反，我们可以将学习到的组件建模为对锂通量的修正，并构造我们的神经网络，使得这个修正通量在电池边界上的净流量为零。通过使用散度定理，这在数学上保证了锂的总量通过构造是守恒的。这是深度学习与深层物理原理的深刻结合，产生了既快速又物理上一致的代理模型。

灰箱思维也彻底改变了我们预测电池循环寿命等复杂长期特性的方式。预测一个电池在失效前可以充电多少次不是一个简单的模拟任务。它是一种由细微退化机制产生的涌现特性。灰箱回归模型通过结合两种特征来解决这个问题。它使用易于测量的数据驱动特征（如充电电流和温度），但同时用从单次循环的详细物理模拟中提取的机理特征来丰富它们。例如，我们可以求解电极颗粒内部锂扩散的PDE，并提取诸如浓度梯度大小（机械应力的代理）或特征扩散时间等特征。这些源于物理的特征为机器学习模型提供了对潜在退化驱动因素的更深刻洞见，从而带来更准确和可靠的寿命预测。

最后，这种方法使我们能够跨越巨大的尺度鸿沟。想象一下模拟整个飞机上的气流。一个完整的计算流体力学（CFD）模拟必须对一个巨大的区域进行建模。现在，如果我们想包含机翼上微小的、主动流体控制装置（如等离子体激励器）的影响呢？在飞机尺度的模拟中解析等离子体和空气在那种微观尺度上的物理是计算上不可能的。

灰箱策略是进行跨尺度建模。我们首先只在一个小域内对激励器进行非常高保真度的模拟。由此，我们构建一个紧凑、高效的灰箱模型——一个降阶模型（ROM）——它捕捉了激励器的基本输入输出行为（例如，输入电压，输出动量通量）。这个轻量级的ROM随后被嵌入到大规模的飞机模拟中。这个过程的一个关键方面是确保ROM本身遵守基本的物理定律，如因果性（结果不能先于其原因）和无源性（激励器不能无中生有地创造能量）。通过将这些定律构建到ROM中，我们确保当它与更大的模拟耦合时，组合系统保持稳定和物理上有意义。这是作为多尺度科学强大工具的灰箱建模，使我们既能见森林，又能见树木。

从电动机的嗡嗡声到电池中离子的无声之舞，再到机翼上无形的空气流动，灰箱建模的原理提供了一个统一而强大的视角。它提醒我们，没有物理结构的数据可能具有误导性，而没有经验验证的物理理论可能是不完整的。通过将它们编织在一起，我们创造出大于各部分之和的知识——这些模型不仅具有预测性，而且富有洞察力、鲁棒，并最终更真实地反映我们周围的世界。