玻尔百科现代科学越来越依赖复杂的计算机模拟来理解从星系形成到喷气发动机湍流的万事万物。这些由基本物理定律支配的模拟功能异常强大，但通常伴随着高昂的成本：单次运行在超级计算机上可能需要数天或数周。这种计算瓶颈严重限制了我们探索不同场景、量化不确定性或从数据中推断模型参数的能力，从而在我们的理论模型与检验这些模型的能力之间造成了巨大鸿沟。
本文介绍了一种解决此问题的强大方案：机器学习模拟器。模拟器的功能就像一个聪明的学徒，向大师级工匠学习。它是一个代理模型，学习模拟输入和输出之间的潜在关系。在一小组精心挑选的昂贵模拟运行上进行训练后，它几乎可以瞬间生成新的预测。本指南将带您进入模拟器的世界，深入了解其构造及其对科学研究的变革性影响。
首先，在“原理与机制”部分，我们将深入探讨模拟器的“作坊”，探索它们是如何构建的。我们将介绍使用实验设计生成高质量训练数据的关键第一步，然后检验操作的“大脑”——流行的高斯过程和物理信息神经网络等架构。随后，“应用与跨学科联系”部分将展示这些模拟器在实践中的应用，揭示它们如何加速从宇宙学到计算经济学等领域的发现，并正成为科学进步不可或缺的工具。
想象一下，你正在试图理解一个极其复杂的机器——一个星系、一条湍急的河流或一个化学反应。这台机器的“说明书”是用物理学语言写成的，通常表现为一组微分方程。为了弄清楚当你调整其设置（宇宙学参数、流体粘度、反应速率）时机器的行为，你可以运行一个计算机模拟。这个模拟就像一位大师级工匠，只要有蓝图，就能打造出一个完美的复制品。问题在于，这位工匠极其缓慢且昂贵。仅仅运行一次模拟就可能在超级计算机上花费数天或数周。如果你想为设计、不确定性量化或推断探索成千上万种不同的设置，那你就束手无策了。
这就是机器学习模拟器发挥作用的地方。模拟器就像一个聪明的学徒，观察大师级工匠的工作。在观察了一些精心挑选的例子后，学徒不只是记住成品，他们学习这门手艺的原理。他们建立了一个内部的、直观的模型，描述输入如何与输出相关联。这使得学徒能够即时预测大师对于一个新的、未曾见过的蓝图会造出什么，从而完全绕过了缓慢的过程。这个学到的模型是昂贵模拟的一个计算成本低廉、能快速响应的近似。它是真实事物的代理，但它学会了连接参数与结果的潜在模式。
但这个学习过程究竟是如何运作的呢？这是一个分三幕展开的美妙旅程：收集正确的知识、构建大脑，以及最后，测试其可信度。
在我们教导学徒之前，必须决定给他们看什么。由于每一课（一次模拟运行）都如此昂贵，我们不能草率为之。如果我们的机器有六个可调旋钮（一个六维参数空间），我们应该如何为我们的训练运行设置它们呢？
仅仅随机选择点是一个糟糕的主意。你可能运气好，很好地覆盖了空间，但更可能的情况是，在某些区域点会密集聚集，而在另一些区域则留下广阔的、未被探索的荒漠。我们需要一种更智能的策略，这个领域被称为实验设计。
一种远为优雅的方法是拉丁超立方采样 (LHS)。想象每个参数的范围是一个大棋盘上的一列。一个 LHS 设计就像在棋盘上放置城堡（车），使得任意两个城堡都不在同一行或同一列。这保证了对于每个参数，我们在参数空间的每个“切片”中都有一个样本，从而给我们一个更均匀和有代表性的分布。
我们可以更进一步。为了避免点仍然聚集在一起的不幸配置，我们可以应用最大最小化准则：生成许多可能的 LHS 设计，并选择那个最大化任意两点之间最小距离的设计。这将训练点尽可能地推开，确保我们的知识库中没有大的“盲点”。
但在参数空间中，“距离”究竟意味着什么？这个问题揭示了问题物理学与设计数学之间的深刻联系。假设一个参数是化学反应速率，其变化范围从 到 。从物理角度看， 和 之间的差异远比 和 之间的差异更显著。重要的是比率，而不是绝对差异。因此，在原始值上计算距离是有误导性的。正确的方法是将参数转换到一个距离有意义的尺度上，例如对数空间。训练设计必须尊重物理问题的自然几何结构。
有了我们宝贵的、精心挑选的训练数据，我们现在可以构建模拟器本身了。两种流行的“大脑”架构是高斯过程和神经网络，每种都体现了不同的学习哲学。
高斯过程 (GP) 模拟器就像一个谨慎的、具有统计思维的学徒。当被要求在一个新的参数点进行预测时，它不只是给出一个单一的数字；它提供一个最佳猜测以及对其自身不确定性的度量。这在科学中是无价的，因为知道你不知道什么和知道你知道什么同样重要。
GP 将未知函数建模为从一个“函数分布”中的一次抽样。GP 的核心是协方差函数，或称核函数。核函数 是一条规则，它编码了我们对我们试图学习的函数的先验信念。它回答了这样一个问题：“如果我知道在参数集 处的模拟输出，这能告诉我多少关于在 处的输出？”一个常见的选择，平方指数核，假设函数非常平滑。核的参数，如“长度尺度”，决定了点之间的相关性随距离衰减的速度。
但并非任何函数都可以作为核函数。它必须是正定的。这不仅仅是数学上的学究气；这是一个基本的一致性检查。它保证了我们的 GP 提供的不确定性估计总是合理的——例如，它永远不会预测一个负的方差。它是一个不会自相矛盾的模型的数学体现。这个性质，在 Mercer 定理中有正式陈述，确保了核函数对应一个行为良好的特征空间，为模拟器提供了坚实的理论基础。
神经网络是另一种学徒——一个极其灵活的模仿者，只要有足够的数据，就能学习几乎任何函数关系。然而，一个朴素的网络是一张白纸；它对物理一无所知。它可能会做出非物理的预测，比如负质量或一个锯齿状的、不连续的功率谱。构建一个出色的科学模拟器的艺术在于将物理定律直接融入网络的架构和训练过程中。
强制执行物理定律： 如果我们模拟一个必须为正的量，比如宇宙学中的物质功率谱 ，我们可以设计网络来尊重这一点。一个非常简单的技巧是让网络的最后一层输出一个实数 ，并将物理预测定义为 。由于指数函数总是正的，模拟器的输出保证是物理上有效的。另一种方法是输出 。
使用正确的语言： 我们衡量模拟器误差的方式——其损失函数——至关重要。假设我们正在模拟的功率谱 跨越了许多数量级。一个标准的均方误差 将被 值最大的区域所主导。在 值大的地方一个 1% 的误差会产生巨大的损失，而在 值小的地方一个 100% 的误差几乎会被忽略。训练将过分专注于拟合高振幅部分，可能以牺牲科学上至关重要的小尺度信息为代价。
解决方案非常优雅。如果我们使用指数技巧 ，我们可以训练网络来预测真实值的对数，。损失函数变为 。最小化对数空间中的平方误差在数学上等同于最小化线性空间中的平方相对误差。这使得损失函数对 1% 的误差同等关注，无论它发生在大尺度还是小尺度。损失函数的选择成为底层物理和数据统计性质的反映。
强制执行平滑性： 如果我们知道我们的目标函数，比如角功率谱 ，应该是 的一个平滑函数，我们也可以将这一点构建进去。与其让网络直接预测 的值，我们可以将 表示为平滑基函数（如样条或高斯函数）的和。网络的任务就变成预测这个展开式的系数。通过构造，输出保证是平滑的，从而使网络不必从头开始学习这个属性。
我们已经训练了我们的学徒。他们速度快，看起来很聪明。但我们能信任他们吗？验证是不可协商的。最基本的规则是在一个留出测试集上测试模拟器——这些数据从未在训练或超参数调整期间使用过。
但即使是这样也有微妙之处。想象一下我们的训练模拟是分簇完成的，在参数空间的某些区域密集采样，在其他区域稀疏采样。如果我们通过随机挑选点来创建测试集，我们很可能挑选到非常接近训练点的点。这就像在一场考试中，考的题目几乎和学生的作业题一模一样。这并不能证明他们能够泛化。一个更诚实的评估来自分组交叉验证 [@problem_d:3478357]。在这里，整个点簇被留出来用于测试。这迫使模拟器在更大、真正未见的参数空间区域进行内插和泛化，从而为我们提供了对其真实性能的更现实的衡量。
最后，我们必须对可能性保持谦卑。我们的模拟参数越多（其维度越高），模拟器学习的难度就越大。这就是臭名昭著的“维度灾难”。随着我们增加维度，为达到某个误差 所需的训练点数 会呈指数级增长。我们可以绘制一条学习曲线，显示误差如何随 减小。这条曲线通常揭示，在最初的快速改进之后，我们会达到一个收益递减的点。它还揭示了一个不可约减的误差下限 ，这是可实现的最小误差，受限于模拟中的噪声或基本的模型不匹配。
到目前为止的旅程都集中在模拟一个模拟的直接输出——即“正向模型”。这是最常见的方法，当模拟的输出可以被压缩成一个可管理的汇总统计量（如功率谱）并且噪声或测量不确定性很简单（例如，高斯分布）时，这种方法效果很好。
然而，有时这还不够。汇总统计量可能会丢弃关键信息（比如定义宇宙纤维的相位信息），或者噪声属性可能极其复杂并且依赖于物理参数本身。在这种情况下，一个更强大的策略是不仅模拟模型的预测，而是模拟整个似然函数，。这意味着教模拟器预测对于任何给定的参数集，观测数据的完整概率分布。这是一个更难的学习任务，但它提供了最终的奖赏：潜力在于从我们复杂的数据中提取每一比特的信息，不受简单方法中关于汇总和噪声的简化假设的束缚。这个区别——模拟正向模型与模拟似然函数——标志着科学机器学习的前沿，推动我们走向更强大、更符合物理现实的宇宙模型。
在我们之前的讨论中，我们揭示了机器学习模拟器的内部工作原理，将它们视为从大师——我们最详尽但往往极其缓慢的物理模拟——那里学习的精密学徒。我们看到了它们是如何从架构选择到精细的验证过程被构建出来的。现在，我们将踏上一段更激动人心的旅程。我们将离开作坊，走向广阔的现代科学领域，去见证这些模拟器的实际应用。它们在哪些方面产生了影响？它们开启了哪些新的前沿？您将会看到，模拟器不仅仅是加速代码的巧妙技巧；它是一种新型的科学仪器，是一座统一的桥梁，连接着理论、计算和观测，其应用领域从宇宙研究到我们经济的复杂性，千差万别。
许多科学发现的核心在于一个重复的、近乎冥想的过程：我们提出一个假设，该假设被编码在一个具有特定参数的模型中，然后我们将这个模型与数据进行对比。接着，我们调整参数并重复，一遍又一遍，直到我们的模型与现实和谐共鸣。这个比较和优化的“内循环”，无论是在正式的贝叶斯分析中还是在简单的优化中，如果每次重复都需要运行耗时数小时或数天的模拟，那么计算上将是极其痛苦的。
这正是模拟器首次展示其威力的地方。考虑现代宇宙学的宏大挑战：确定我们宇宙的基本参数——暗物质的数量、暗能量的性质、幽灵般的中微子的质量。实现这一目标的主要工具是贝叶斯推断，通常使用像哈密顿蒙特卡洛 (HMC) 这样的强大算法来执行。HMC 通过模拟一个小球在由数据给定模型的似然性定义的景观上滑动来探索广阔的“参数空间”。为此，它需要知道景观的高度（似然性），以及至关重要的，它每走一小步时的斜率（似然性的梯度）。对于一个宇宙尺度的模拟，仅仅计算一次这个梯度就是一项壮举。而 HMC 需要计算数百万次。
一个事先在几百个战略性选择的模拟上训练好的模拟器，可以在毫秒内提供这些答案。它成为了宇宙本身的替身，允许 HMC 采样器在参数景观上滑行并详细地绘制出它。当然，这种替代并非没有风险。模拟器是一个近似。如果它预测的梯度不准确，小球的轨迹就会出错，整个推断过程就可能被引向歧途。这迫使我们深入思考所需的精度。我们必须为模拟器的梯度设定一个严格的“误差预算”，确保它们足够忠实，以维持 HMC 模拟的完整性。
对梯度的这种关注揭示了机器学习世界与数值分析这一经典学科之间的深刻联系。模拟器不是一个黑箱；它是一个我们需要其导数的数学函数。我们应该如何计算它们？是使用简单但可能带噪的有限差分法？还是可以利用模拟器本身的结构？对于现代神经网络，答案是响亮的“是”。用于训练网络的同一个反向传播算法可以用来计算其关于输入的梯度，这项技术被称为反向模式自动微分 (AD)。这种方法效率惊人，它计算整个梯度向量的成本仅为评估函数本身成本的一个小的常数倍，无论我们有多少个参数。这与有限差分法形成鲜明对比，后者的成本随参数数量线性增加。对于复杂模型，AD 不仅仅是一个优势；它是一项赋能技术。理解这些权衡——AD 的速度和优雅与有限差分法的稳定性挑战或隐式模型的伴随方法的复杂性——对于任何认真的实践者都是必不可少的。
模拟器的用途远远超出了分析我们已有的数据。它们是设计未来实验不可或缺的工具。想象一下，你正在规划一个耗资数十亿美元的太空望远镜。你如何决定建造哪些仪器？哪种测量策略能给你带来最大的回报？你需要在建造之前，有一种方法来预测你提议的实验的科学回报。
在宇宙学中，这通常通过费希尔信息矩阵来完成，这是一个量化给定可观测量包含多少关于我们所寻求的模型参数信息的数学对象。计算这个矩阵需要可观测量相对于参数的导数。正如我们所见，直接模拟通常噪声太大且速度太慢，无法提供稳定的导数。然而，高斯过程模拟器提供了一个平滑、可微的后验均值函数，从而可以解析地计算出干净、无噪声的导数。这将预测任务从一个数值噩梦转变为一个优雅的计算。
但模拟器能做的不仅仅是预测单个实验的能力；它们可以帮助我们比较观察宇宙的完全不同的方式。例如，在宇宙学中，我们可以通过使用传统的两点统计（星系如何聚集在一起）或通过计算引力透镜图中的“峰值”数量来研究物质的分布。哪种方法对于约束中微子质量更有效？回答这个问题需要一个有原则的比较。模拟器提供了实现这一目标的手段。通过为每个可观测量创建一个模拟器，并仔细匹配它们的“模拟器误差预算”——即确保每个模拟器都构建到相同的精度水平——我们可以使用费希尔形式主义来公平地比较它们的内在信息含量。模拟器成为一场科学竞赛中的裁判，使我们能够就分析工作的重点做出战略性决策。
到目前为止，我们大多想象的是模拟一个将少数参数映射到少数数字的函数。但是，我们许多最雄心勃勃的模拟产生的输出其复杂性令人惊叹：整场的数据，比如飞机机翼周围的湍流速度场，或模拟的宇宙网中的物质分布。
考虑气动声学问题：预测喷气发动机产生的噪声。大涡模拟 (LES) 可以模拟混沌、旋转的空气流动，但我们关心的声学信号由对这个复杂场的积分所支配，正如 Ffowcs Williams–Hawkings 类比所描述的那样。运行 LES 是昂贵的第一步；从其输出计算声音是另一步。模拟器可以学习从控制面上湍流的统计特征到最终声学输出的直接映射，完全绕过昂贵的积分步骤。这是抽象上的一次飞跃：模拟器学会了在湍流的混沌中识别“声学特征”。
模拟器如何可能学会预测像场或函数这样高维的对象？关键通常在于认识到，虽然输出可能看起来复杂，但其本质的“信息含量”通常要简单得多。这些函数随着我们改变输入参数而产生的变化并非任意。它们位于一个维度低得多的流形上。主成分分析 (PCA) 是发现这种潜在简单性的强大工具。
想象我们想要模拟宇宙学物质传递函数 ，它描述了物质扰动在不同尺度 上的增长。与其尝试在数百个不同的 值上模拟 的值，我们可以先运行一组模拟并应用 PCA。我们可能会发现，我们所有模拟的传递函数中 99.9% 的变化都可以由仅仅三或四个基本的“形状”函数（主成分）来描述。任何传递函数随后都可以构建为总体平均函数和这几个形状函数的加权和。模拟整个函数 的问题被简化为模拟少数几个权重（PCA 系数）作为宇宙学参数的函数的简单得多的问题。
这种模拟压缩表示的想法是科学机器学习的基石。它将我们引向现代研究的前沿：算子学习。在这里，目标是学习的不是参数和数字之间的映射，而是整个函数之间的映射。例如，在求解偏微分方程 (PDE) 时，我们可能想学习将系数场 和源场 映射到解场 的算子。像傅里叶神经算子这样的模型通过学习如何在傅里叶空间中变换输入函数来实现这一点。这代表了一种范式转变，从模拟特定解转向模拟物理学本身的基本求解算子。
一个持续存在的问题一直在背景中徘徊：模拟器的训练数据从何而来？由于每个训练点都需要运行我们昂贵的模拟，构建模拟器的成本可能相当可观。我们不能浪费。这引出了*主动学习*的想法：我们不是在固定的网格上选择我们的训练点，而是顺序地、智能地选择它们，在每一步都问：“我现在可以运行的单个最有用的模拟是什么？”
答案取决于我们的目标。例如，在核物理中低能常数的贝叶斯校准中，我们的最终目标是减少最终参数估计的不确定性。因此，一个聪明的策略是在一个有望最大程度减少我们总体“贝叶斯风险”的点上查询模拟。这涉及一个美妙的权衡：我们希望在我们的参数后验概率大的区域（参数空间的合理部分）进行采样，但也要在我们的模拟器当前最不确定的区域进行采样。采集函数成为科学好奇心的数学表达，引导我们进行信息量最大的实验。
另一种“聪明”的方式是不依赖于单一、昂贵的模拟。通常，我们有一个模型的层次结构：非常便宜但不准确的近似模型，中等昂贵且更好的模型，以及最终的顶级、高保真度代码。多保真度模拟，使用像协同克里金 (co-kriging) 这样的技术，提供了一个融合所有这些级别信息的框架。它学习廉价模型，然后学习廉价模型和昂贵模型之间的差异。通过利用不同保真度级别之间的强相关性，少数昂贵的高保真度运行可以用来“校正”大量的廉价低保真度运行，从而得到一个既高度准确又构建成本低廉的最终模拟器。
也许模拟最深刻的方面是其普遍性。计算昂贵模型的挑战并非物理学所独有。在计算经济学中，研究人员构建复杂的“结构模型”来理解宏观经济的行为。估计这些模型的参数是一项核心任务。一种强大的技术被称为间接推断，即找到结构模型的参数，使其产生的模拟数据与真实世界相匹配，这种匹配是通过一个更简单的“辅助”模型来衡量的。
如果我们选择一个灵活的机器学习模型，比如随机森林或神经网络，作为这个辅助模型会发生什么？它会成为一个强大的特征提取器，能够捕捉数据中对底层结构参数敏感的微妙、非线性特征。这正是模拟的原理！ML 模型“模拟”了从数据到信息最丰富的汇总统计量的映射。挑战也是相同的：一个过于灵活的模型可能会“过拟合”单个数据集中的噪声，导致一个平坦的绑定函数和一个被称为弱识别的状况——这与一个构建不佳、未能泛化的模拟器所表现出的病态完全相同。在如此不同的领域中对相同思想和陷阱的平行发现，证明了底层数学原理的统一力量。
从宇宙学到经济学，从喷气发动机的轰鸣到原子核的核心，故事都是一样的。我们有理论，被封装在已经变得过于复杂以至于无法仅凭蛮力解决的模型中。模拟器作为我们智能、不知疲倦的助手，学习我们理论的精髓，并弥合我们的模型与数据之间的鸿沟。它不仅仅是加速的工具；它是一种催化剂，促进更深的理解、更智能的实验，以及对科学事业更统一的看法。