玻尔百科我们如何仅凭几片拼图就重构出一幅完整的画面？这个问题是现代科学与工程的核心，从医学成像到天文观测莫不如此。答案通常在于稀疏性原则——即许多复杂信号本质上是简单的，仅由少数基本分量构成。然而，如果我们的构建模块过于相似，就会产生大量的模糊性，这种简单性便会轻易丧失。基于相干性的恢复为应对这一挑战提供了一个强大的框架，它在基本信号的结构与我们从有限数据中唯一识别它们的能力之间建立了直接联系。
本文将对这一基本概念进行全面概述。我们将探讨如何量化一组信号的相似性或“相干性”，以及该性质如何与稀疏性相结合，为保证信号重构奠定基础。以下各节旨在循序渐进地建立这种理解。在原理与机制部分，我们将定义互相关性，通过一个基础的“不确定性原理”探讨其与稀疏性的关系，并了解它如何保证实用恢复算法的成功。然后，在应用与跨学科联系部分，我们将见证这些原理的实际应用，揭示相干性如何指导从单像素相机到微分方程数值求解器等各种设计，从而展示其作为贯穿科学与计算的统一概念所扮演的角色。
要真正领会基于相干性的恢复的力量，我们必须踏上一段旅程，但起点不是复杂的方程，而是一个简单而根本的问题：我们如何从有限的观察中明确地理解世界？想象一下，你是一位音频工程师，试图从鸡尾酒会的录音中分离出单个声音；或者你是一位医生，试图从复杂的血液样本中识别出几种关键的疾病生物标志物。在这两种情况下，挑战都是将一个复杂的信号分解为其简单而有意义的分量。这便是稀疏恢复的艺术与科学。
让我们更正式地描述我们的问题。我们有一个由可能的原因或基本信号组成的“字典”，可以表示为一个矩阵的列，称之为 。每一列，或称为原子，都是我们世界的一个基本构建模块——一个单独的音符、一种特定的视觉模式，或某种蛋白质的特征。我们的观测结果，一个向量 ，是这些原子的混合。我们的目标是找到配方，即一个系数向量 ，它告诉我们哪些原子被以何种量级使用，使得 。
如果我们的字典原子都完全不同——比如说，彼此完全不相关（数学上称为正交）——这个任务将变得微不足道。我们只需测量观测值 与每个原子 的相似度（通过计算它们的内积）即可找到相应的系数 。
但如果这些原子并非如此独特呢？如果其中一些非常相似呢？考虑一个字典，其中有两个原子 和 是相同的。现在，假设我们的观测值是 。由于 ，我们也可以写成 或 。我们甚至可以写成 。“真实”的配方迷失在模糊的海洋中。我们无法区分 和 的贡献。这个本质问题就是我们所说的相干性。
为了取得进展，我们需要一种方法来量化我们字典中的这种“相似性”或“模糊性”。衡量两个向量相似度的一个自然方法是它们内积的绝对值（或者对于单位长度的向量，是它们之间夹角的余弦值）。我们可以定义一个单一的数字来表征整个字典：互相关性，记为 。它就是我们字典中任意两个不同原子之间的最大相似度。
互相关性 是一个介于 和 之间的数字。如果 ，所有原子都是正交的，不存在模糊性。如果 ，则至少有两个原子是线性相关的（就像我们那对相同的原子一样），代表了最大的模糊性。对于一个典型的字典，相干性会介于两者之间。例如，在一个简单的假设字典中，我们可能会发现 。这个数字为我们提供了一个具体把握字典结构的工具：它告诉我们，集合中的任意两个基本信号的重叠度都不超过 25%。
相干性的概念似乎描绘了一幅黯淡的图景。如果我们的字典具有任何非零的相干性，我们还能期望找到一个唯一且有意义的解吗？一个优美简单而又强大的思想拯救了这一局面：稀疏性原则。在许多现实世界的场景中，我们观察到的复杂信号实际上仅由少数几个基本分量构成。音频信号主要由少数几个声音主导，图像由少数几种纹理构成，疾病由少数几个生物标志物指示。这个配方向量 是稀疏的，意味着它的大部分元素都是零。
稀疏性的假设从根本上改变了游戏规则。它让我们能够引用一个深刻的结果，一种针对稀疏信号的“不确定性原理”。该原理指出，一个信号在同一个字典中不可能有两种不同的、高度稀疏的表示。更精确地说，如果一个字典 的互相关性为 ，那么任何可以通过字典原子组合形成的非零信号 （即 对某个 成立）其非零系数必须有一个最小数量：
这里， 是“范数”，它只是 中非零元素的计数。这告诉我们，任何模糊性——即同一观测值 的两个不同配方 和 ——都必须涉及一个“稠密”（非稀疏）的差分向量 。因此，如果我们寻找的是一个非常稀疏的配方，它就保证是唯一的！
知道存在一个唯一的稀疏解是一个重大突破。但我们如何找到它呢？尝试所有可能的稀疏原子组合将比宇宙的年龄还要长。我们需要一个高效的算法。
这就是凸优化的魔力所在。我们不去尝试解决那个计算上不可能的问题——找到具有最少非零元素的解（最小化范数），而是解决一个相关且容易得多的问题：找到其系数绝对值之和最小的解（最小化范数）。这个方法就是著名的基追踪（BP）。
这似乎好得令人难以置信，但它确实有效。其有效的原因与相干性密切相关。正是保证稀疏解唯一性的低相干性，也确保了易于处理的最小化问题能够找到它。这引出了该领域的核心成果之一：如果信号的稀疏度 满足条件
那么基追踪保证能够精确恢复稀疏配方 [@problem_id:3435269, @problem_id:3440270]。让我们回到那个 的字典。公式给出 。这是一个具体的、可预测的保证：这个字典可以用来完美恢复任何由其一或两个原子组合而成的信号。其他贪婪方法，如正交匹配追踪（OMP），通过迭代选择与剩余信号最相关的原子，在相同条件下也享有类似的保证。
互相关性是一个强大的概念，但它也有点悲观。它仅根据字典中表现最差的一对原子来评判整个字典。如果这对原子只是个例，而字典的其余部分表现良好呢？
在这种情况下，由 提供的保证可能过于保守。例如，可以构建一个字典，其中基于相干性的界限无法保证恢复一个 2-稀疏信号，但更详细的、针对特定支撑集的分析表明，恢复实际上是完全可能甚至微不足道的。这是因为通用界限必须对任何给定稀疏度的稀疏信号都有效，但对于一个特定的稀疏信号，其所涉及的原子可能与其余原子分离得很好。
这一观察促使我们寻求更精细的度量。其中一个工具是累积相干性 ，也称为 Babel 函数。它不再关注单个最差的成对相关性，而是衡量任意单个原子与一组 个其他原子的最大总相关性。这提供了一个更全局的视角。对于那些“高相干性”原子对稀少且分散的字典，这种度量可以提供显著更优的保证。在一个巧妙构建的例子中，标准的互相关性可能只保证恢复 1-稀疏信号，而累积相干性则正确地证明了高达 4-稀疏的信号也可以被完美恢复。这表明，通过更全面地审视字典的结构，我们可以对其能力获得更准确的描绘。
基于相干性的分析，无论其形式如何，都是一个极具价值的工具，因为它直观，而且最重要的是，它是可计算的。你可以拿来你的字典，计算其相干性，然后得到一个具体的性能保证。然而，它并非分析稀疏恢复的唯一方法，也并非总是最强的。
一个更强大但更抽象的概念是受限等距性质（RIP） [@problem_id:2906043, @problem_id:3474596]。RIP 不再关注单个原子之间的相关性，而是提出了一个更深刻的几何问题：字典矩阵 在多大程度上保持了所有稀疏向量的长度？一个具有 RIP 性质的矩阵在作用于稀疏向量时，其行为类似于一个近正交系统，这是恢复的理想属性。
基于 RIP 的保证通常比基于相干性的保证强得多，特别是对于作为现代压缩感知主力的大型随机矩阵。对于这些矩阵，RIP 保证了恢复所需的测量次数与环境维度成对数关系，而相干性保证则需要要求高得多的多项式级关系。但问题在于，验证一个给定矩阵是否满足 RIP 是计算上的 NP-hard 问题。这就产生了一个美妙的权衡：相干性为你提供一个实用、可计算但有时保守的保证，而 RIP 则提供一个理论上接近最优但在实践中难以验证的保证。
当我们考虑到不可避免地存在噪声的现实世界时，这个相互作用的原理体系变得更加丰富。处理相关噪声的标准技术是“预白化”数据，这在数学上是对系统进行重新缩放，以使噪声均匀化。但这种变换也改变了字典，正如一个优雅的例子所示，白化噪声可能会无意中增加有效字典的相干性。在试图简化噪声的同时，我们可能复杂化了信号结构，从而可能削弱了我们的恢复保证。这揭示了一个深刻的工程和科学教训：没有免费的午餐，只有权衡。相干性为我们提供了理解和驾驭这些基本折衷的语言。
在探索了稀疏性和相干性的基本原理之后，我们可能会留有一种数学上的优雅感。但这些思想仅仅是抽象概念，局限于定理和证明的纯净世界吗？事实远非如此。我们揭示的原理不仅是理论上的奇珍，它们还是一个强大的透镜，通过它我们可以观察世界，是一套用于解决科学和工程领域中各种实际难题的工具。稀疏恢复的艺术在于提出正确的问题——找到正确的“视角”，从这个视角看，一个看似复杂混乱的现实会揭示其内在的简单性。让我们探索一下这门艺术在一些意想不到的地方是如何展现其魅力的。
想象一下，你身处一个房间，两个人同时在说话。你的大脑完成了一项了不起的壮举：它通常可以专注于一个声音，并“滤掉”另一个。我们如何教机器做同样的事情？这就是信号分离或“解混”的经典问题，也是基于相干性的恢复大放异彩的地方。
假设我们有一个信号，它是两种根本不同类型的混合体。例如，一个由几个尖锐、孤立的脉冲与平滑的低频嗡嗡声混合而成的信号。这些脉冲在标准基中是“稀疏的”——你只需要知道它们的位置和高度。而嗡嗡声，则在傅里叶基或哈达玛基等频率基中是稀疏的；它仅由少数几个纯音组成。我们的总信号 是 的和，其中 是脉冲部分， 是嗡嗡声部分。
我们能把它们分离开吗？我们学到的原理给出了直接的答案。我们可以通过拼接两个基来构建一个“超级字典”——用于脉冲的标准基和用于嗡嗡声的哈达玛基。问题于是变成了在这个组合字典中寻找我们混合信号的稀疏表示。这项任务的成功完全取决于两个构成基之间的互相关性。一个脉冲在多大程度上“看起来像”一个纯音？它们看起来越不像——也就是说，它们的互相关性越低——我们就越容易区分它们。对于单位基和哈达玛基的特定情况，我们可以精确计算出这种相干性。结果表明它非常低，这使我们能够推导出一个清晰明确的阈值，只要两个信号的组合复杂度低于该阈值，我们就能保证将它们完美分离。
这种解混的强大思想远不止于简单的音调和脉冲。想象一个复杂的多面数据集，比如一个视频或一个高光谱图像，表示为一个高维张量。这样的张量通常可以被建模为少数几个基本、更简单分量的总和。每个分量都可以被看作是一个由 Khatri-Rao 积构建的高度结构化字典中的“原子”。通过将该张量的切片向量化，我们可以再次将问题构建为稀疏恢复问题。分离这些基本数据分量的能力直接取决于张量原子字典的互相关性，而这本身又取决于底层因子向量之间的差异程度。从分离声音到分解抽象数据，原理是相同的：如果你的构建模块足够独特，你就可以可靠地将混合物拆开。
相干性原理不仅告诉我们如何处理已经接收到的信号，还告诉我们如何设计接收信号的仪器。物理世界充满了信息，而测量设备是向其提问的工具。相干性告诉我们如何提出好问题。
考虑一下被称为单像素相机的奇特设备。它没有数百万个探测器，只有一个。它通过向场景投射一系列图案并测量每个图案反射回来的总光量来“看到”一幅图像。然后，利用这一系列测量值通过计算重构图像。我们应该使用什么图案？一个自然的选择是 Walsh-Hadamard 基，这是一组在数学上正交的黑白图案。如果我们想看的图像是像卡通画那样在小波基中稀疏的呢？我们有了一个传感基（哈达玛基）和一个稀疏基（小波基）。这听起来像是压缩感知的完美设置。
但这里有一个陷阱，一个来自大自然的优美而微妙的教训。事实证明，一些最简单的 Haar 小波与某些哈达玛图案是完全相同的。这两个基之间的互相关性为 ，是可能的最大值。这会产生灾难性的后果：一个恰好也是传感图案的 1-稀疏信号（单个小波），如果未使用该特定图案，则对测量系统完全不可见。系统存在盲点。再高明的计算也无法恢复从未被看到的东西。高相干性导致了不可见性。
那么，我们如何设计一个系统来避免这种盲点呢？让我们从光转向声音，考虑压缩波束形成的问题：使用一个麦克风或天线阵列来确定信号到达的方向。信号在“角度”域是稀疏的——天空中可能只有少数几个无线电信号源。字典原子是“导向矢量”，描述了阵列对来自特定角度的波的响应。这个字典的相干性取决于天线的物理位置。
一个均匀线性阵列（ULA），传感器等距分布，看起来是一个有序且合理的设计。然而，其规整性恰恰造成了高相干性。对于阵列来说，邻近角度的导向矢量看起来非常相似，这使得区分两个靠得很近的信号源变得困难。如果我们打破这种对称性呢？通过将传感器以非均匀甚至随机的方式排列，来自每个传感器的相位以一种结构性较差的方式相加。这种随机化降低了不同导向矢量之间的内积，从而降低了系统的整体相干性。一个物理上“更乱”的阵列可以导致一个数学上“更干净”的测量问题，使我们能够以更高的精度分辨信号源。
这个想法超越了单个阵列。想象一个分布式传感器网络，所有传感器都在尝试测量同一种现象。仅仅增加更多传感器并不会自动改善我们的测量。如果传感器高度相关——如果它们的随机测量过程过于相似——它们本质上都在问同一个问题。用相干性的语言来说，传感器之间的正相关性有效地减少了我们对信号的“独立观察次数”，从而削弱了我们的恢复保证。最大的优势来自于当我们的传感器是多样且不相关的，每个都提供一块真正全新的拼图。
也许基于相干性的恢复最深远的影响在于它如何统一了看似不相关的领域中的思想，揭示了设计相机和求解微分方程的挑战可以是同一枚硬币的两面。
考虑科学计算领域，我们用偏微分方程（PDEs）来模拟物理现象。为了在计算机上求解这些方程，我们通常将未知解表示为基函数的和，比如在间断伽辽金（DG）方法中使用的勒让德多项式。解在这个基中通常是“稀疏的”——大多数系数可以忽略不计。我们如何找到重要的系数？我们可以通过在一组点上对解进行求值来“测量”它。这个设置与压缩感知完美类似：多项式基是我们的字典，采样点定义了我们的测量矩阵。问题是：我们应该把这些点放在哪里？
如果我们选择等距的点，我们就会创建一个高度相干的测量系统，就像波束形成中的 ULA 一样。恢复会惨败。但如果我们选择在区间两端附近聚集的点，例如 Chebyshev-Lobatto 节点，得到的测量矩阵会变得显著地不那么相干。通过这种巧妙的采样选择，我们可以用远少于经典理论所建议的点数来精确地重构解。同样的原理也适用于我们使用多项式混沌展开（PCE）来模拟具有不确定性的系统时，此时的基函数是埃尔米特多项式。最有效地“采样”随机变量空间的方法不是均匀采样，而是根据一种与基本身相关的特殊分布——杠杆分数采样——这正是使测量矩阵尽可能不相干的分布。数值实验的优化设计与物理实验的优化设计遵循相同的规则。
最后，我们来到了一个前沿领域，在那里我们甚至一开始就不知道正确的基是什么。在计算地球物理学等领域，我们分析复杂的数据，如地震勘测数据，这些数据在任何标准的、现成的字典中可能都不是稀疏的。解决方案是什么？从数据本身学习字典。通过一个优化过程，我们可以推导出一套定制的原子，这些原子专门针对我们数据中的特定结构——地震事件的独特“语言”——而设计。一个好的学习字典的关键特征是其原子尽可能独特且不相关，从而具有低的互相关性。这种学习到的低相干性字典提供了比任何固定字典都更稀疏、更鲁棒的表示，极大地提高了我们从不完整测量中重构地下图像的能力。
我们甚至可以更进一步。与其仅仅希望我们的学习算法能找到一个不相干的字典，我们可以明确地教它这样做。通过在学习目标中增加一个惩罚项，直接惩罚原子间的大内积，我们可以迫使算法发现一套不仅富有表现力而且最大程度可分离的构建模块。这为我们改进恢复保证提供了一个直接的、分析性的手段——一个为实现最佳性能而工程化我们数学工具的过程。
从分离声音、用单像素看见事物，到布置天线、设计数值求解器，再到学习地球隐藏的语言，贯穿这一切的线索是稀疏性与相干性之间简单而优美的共舞。它深刻地说明了一个单一的数学思想如何提供一个全新而强大的视角，让我们在世界最复杂的角落找到简单性、结构和解决方案。