玻尔百科“局部最小值”是一个简单而又极其强大的概念，它无处不在，从数学到自然界的基本定律中都能看到它的身影。它描述了一种稳定状态，是广阔可能性景观中的一个山谷，是其紧邻区域的最低点，但未必是全局的最低点。局部最小值和全局最小值之间的这种区别，是优化领域的核心挑战，满足于一个“足够好”的解可能意味着错失了最佳解。本文将揭开局部最小值世界的神秘面纱，引导您了解其理论基础和深远影响。
在第一章“原理与机制”中，我们将深入探讨这一概念的数学核心。您将学习到微积分如何通过导数和曲率，为我们提供精确定位和识别单变量或多变量函数局部最小值的工具。我们将探索光滑函数和不可微函数的条件，并看到线性代数如何在高维空间中提供一个优雅的几何理解。随后，“应用与跨学科联系”一章将揭示这一抽象概念如何成为贯穿科学与工程的、具体且不可或缺的工具。我们将穿越物理学、人工智能、化学和生物学的世界，见证对最小值的追寻如何支配着一切，从分子的稳定性、算法的训练，到物理定律的内在约束和进化的路径。
想象一下，你是一位徒步旅行者，身处一片广阔而多雾的山脉中。你的目标是找到尽可能低的点。走了一段路后，你发现自己身处地形中的一个小洼地底部。无论朝哪个方向看，地面都在抬升。这当然感觉像是成功了。你正处于一个局部最小值——你紧邻区域的最低点。但这是整个山脉中的最低点吗？它是全局最小值吗？浓雾让你无从知晓。这个简单的类比抓住了寻找最小值的核心挑战与魅力。
在数学中，函数就是我们的景观，其值就是海拔高度。局部最小值和全局最小值之间的区别不仅仅是语义上的好奇；它是一个基本属性，在物理学、经济学和计算机科学中具有深远的影响。一个系统可能会稳定在一个平衡状态（一个局部能量最小值），而这个状态并非最可能稳定的状态（全局能量最小值）。
我们很容易认为局部找到的最低点就是全局的最低点，但事实往往并非如此。考虑在特定区域，比如区间 [-5, 5] 上的一个简单多项式函数。像 这样的函数会创造出一个有起伏山丘和山谷的景观。我们可以用微积分在 处找到一个山谷，这是一个真正的局部最小值。那里的“海拔”是 。但如果我们走到定义域的边界 处，会发现海拔是惊人的 。我们那个舒适的局部山谷远非地图上的真正最低点。全局最小值根本不在山谷里，而是在我们世界的边界上。
这种“局部”性质甚至可能导致更令人惊讶的情况。一个山谷的底部（局部最小值）能比附近山丘的顶部（局部最大值）更高吗？直觉大声说不，但数学冷静地回答是。想象一个由函数 定义的景观，它在 处有一个平缓的山峰，然后骤降到一个更深的山谷，谷底在 处。如果整个景观都处在一个陡峭的斜坡上，那么山峰处的函数值 完全有可能小于下一个山谷底部的值 。术语“最大值”和“最小值”纯粹是局部描述符；它们不对函数相对于其他遥远点的值做出任何断言。
我们如何寻找这些最小值呢？如果我们的景观是一个光滑、连续的函数，那么有一个强有力的线索。在山谷的最底部，地面必须是水平的。斜率，也就是导数，必须为零。这就是费马驻点定理的精髓：如果一个可微函数 在点 处有局部最小值，那么 。这些导数为零的点被称为临界点或驻点，它们是我们寻找最小值和最大值位置的主要嫌疑对象。
但如果景观不光滑怎么办？如果它有尖角或扭结呢？考虑像 这样的函数。它的图形是一个“V”形，尖点在 处。这显然是一个局部最小值——周围的最低点——但函数在该点不可微。斜率从左侧的 突变为右侧的 。要求可微性的费马定理在这里根本不适用。
这并非我们逻辑的失败，而是表明我们的逻辑需要更宽泛。最小值的真正条件更具一般性。在一个局部最小值 处，无论是光滑的还是有尖角的，函数在 的左侧必须是“正在下降”（或持平），而在 的右侧必须是“正在上升”（或持平）。用数学语言来说，这意味着左导数必须非正，右导数必须非负：。对于一条光滑曲线，满足此条件的唯一方式是两个导数相等，这意味着它们必须都为零，于是我们又回到了费马定理！这个更普适的条件使我们即使在不可微点也能找到最小值，完美地说明了一个具体规则如何成为一个更普遍原则的特例。
找到一个驻点告诉我们地面是平的。但平地可能是山谷的底部（局部最小值）、山丘的顶部（局部最大值），或者是一个平坦的鞍点，就像山口一样。我们如何区分它们呢？我们需要看曲线的形状，即它的曲率。
在局部最小值处，景观的形状像一个碗，向上弯曲。这意味着当你穿过最小值时，斜率是增加的——它从负数变为零，再变为正数。斜率的变化率就是二阶导数，。一个正的二阶导数，，表明曲线是上凹的，确认我们处于一个山谷中。相反，一个负的二阶导数，，则表示一个山丘。这就是著名的二阶导数检验。
我们可以通过分析像 这样的函数的驻点来观察这个检验的实际作用。通过将一阶导数设为零，我们找到了一系列的驻点。对每个驻点应用二阶导数检验，我们就能清晰地将它们区分为局部最小值（其中 ）和局部最大值（其中 ）。
这个思想在稳定平衡的概念中找到了一个绝佳的物理应用。在物理学中，一个粒子会停留在势能 为局部最小值的点上。在这样的点上，力由 给出，其值为零。如果你轻推粒子，一个恢复力会把它推回最小值点。如果势能曲线向上弯曲，即 ，这种稳定性就得到了保证。寻找一个稳定平衡点在数学上等同于寻找势能函数的局部最小值。
当然，世界并非一维的线。函数通常描述二维、三维甚至数百万维的景观。我们的斜率和曲率概念如何推广呢？
对于一个多变量函数 ，“斜率”是一个称为梯度的向量，。驻点是地面在所有方向上都是水平的地方，这意味着梯度向量是零向量，。
曲率的概念变得更加丰富。在某一点，曲面可以根据你面对的方向有不同的弯曲方式。为了捕捉这一点，我们需要一个包含所有二阶偏导数的矩阵——海森矩阵， 。
要使一个点成为局部最小值，曲面必须在每个方向上都向上弯曲。这个性质可以通过说海森矩阵必须是正定的来表达。在二维空间中，这可以通过一个简单的检验来完成：海森[矩阵的行列式](@article_id:303413) 必须为正，并且左上角的元素 也必须为正。我们可以用这个方法来筛选一个曲面（例如由 描述的曲面）的临界点，并在一系列鞍点和一个局部最大值中，精确定位出稳定平衡点，即那个唯一的局部最小值。
同样的原理可以扩展到任意维度。对于一个依赖于三个参数的晶体缺陷的势能函数 ，我们首先找到梯度为零的点。然后，我们构建 的海森矩阵。为了确认它是一个稳定平衡（一个局部最小值），我们必须验证这个矩阵是正定的。一个系统的方法是西尔维斯特准则 (Sylvester's criterion)，它涉及到检查嵌套的左上角子矩阵的行列式是否都为正。如果它们都是正的，我们就找到了我们的最小值。
海森矩阵不仅仅是一个用于检验的工具；它包含了该点处曲面的深层几何故事。想象一下，你正站在一个不是完美圆形，而是像椭圆形碗一样拉长的山谷底部。会有一个方向，山谷最陡峭（最大曲率），以及一个与之垂直的方向，山谷最平缓（最小曲率）。
这些特殊方向被称为曲率的主方向。令人惊奇的是，这些方向恰好是海森矩阵的特征向量。沿着每个主方向的曲率大小由相应的特征值给出。这是线性代数和多变量微积分概念的惊人统一。一个对称矩阵的特征向量给出了它所描述形状的自然坐标轴，而特征值则告诉你它沿着这些轴被拉伸或压缩了多少。
这使我们得到了关于最小值的二阶条件最优雅的陈述。要使一个点成为局部最小值，曲率必须在每个方向上都为非负。这个条件的充分必要条件是，沿着主方向的曲率是非负的。因此，一个临界点成为局部最小值的必要条件是，其海森矩阵的所有特征值都必须是非负的（即矩阵必须是半正定的）。
请注意“非负”（）这个词，而不是“严格为正”（）。像 这样的函数在 处有最小值，但其二阶导数是 。这个山谷在底部异常平坦。相应的特征值为零。这个点仍然是一个最小值，所以一个要求严格正特征值的检验会错误地丢弃它。非负条件是正确的、更通用的规则，是可靠优化算法所必需的。
我们从那个在雾中无法判断其局部山谷是否为陆地最低点的徒步者开始。有没有可能确定无疑呢？有时，可以。
考虑一个定义在整个实数线上的可微函数。假设我们搜索了整个景观，发现只有一个地方地面是平的——只有一个临界点。并且假设我们检查了那个点，发现它是一个局部最小值。我们能断定它就是全局最小值吗？
答案是响亮的“是”。这个论证的逻辑简单而优美。如果这个局部最小值不是全局最小值，那就意味着函数必须在别处下降到更低的地方。但要从这个局部最小值下降到那个更低的点，函数必须向下走，意味着它的导数必须变为负数。而要从远处到达那里，它可能一直在递减，但最终必须开始增加，以形成我们找到的那个山谷。在这条路径的某个地方，导数必须从负变到正，这意味着它必须经过零。但我们假设了只有一个地方导数为零！这是一个矛盾。函数在离开它唯一的最小值附近后，永远无法再回头上升。因此，那个唯一的局部最小值必须是全局最小值。在这个特殊情况下，迷雾散去，局部视野揭示了全部的全局真相。
在我们对局部最小值进行数学探索之后，你可能会留下这样的印象：这只是微积分中一个精巧但有些小众的概念——教科书曲线上的一种特征。但事实远非如此。“山谷”或稳定栖息地的思想是所有科学中最强大、最统一的概念之一。它是理解稳定性、寻找最优解以及破译自然法则本身的关键。现在，让我们踏上一段旅程，看看这个简单的思想如何在一个惊人广泛的学科领域中，绽放成为一个具有巨大实践和哲学重要性的工具。
从本质上讲，大部分科学和工程都与优化有关：寻找最强的材料、最有效的过程、最精确的模型。通常，这直接转化为寻找一个最小值——最小的能量、最小的成本或最小的误差。
在实践中我们如何找到这样的最小值？对于一个光滑函数，我们知道它的导数必须为零。这个简单的事实提供了一个强大的计算策略：最小化函数 的问题可以转化为寻找其导数 的根（零点）的问题。因此，为求根而设计的复杂数值算法可以被巧妙地重新用作优化的工具。
当然，现实世界很少如此简单。我们的搜索几乎总是受到约束的限制。想象一下，试图在一个有围栏的公园里找到最低点。真正的最低点可能在围栏之外！在边界之内，我们可能会发现几个洼地和山谷。这说明了局部最小值（比其紧邻环境更低的山谷）和全局最小值（整个允许区域内的绝对最低点）之间的关键区别。优化中的一个经典问题是在一个复杂的边界上找到离一个参考点（如原点）最近的点。即使对于一个看似简单的目标，约束的几何形状也可能产生多个局部最小值，而优化算法可能会很乐意地停留在其中一个仅仅是好的、而非绝对最佳的解上。
当我们进入现代科学的高维“景观”时，这一挑战的复杂性呈爆炸式增长。考虑一个大型人工智能模型的训练。模型的性能由一个“损失函数”来衡量，该函数依赖于数百万个参数。训练模型意味着调整这些参数以找到损失函数的最小值。这是一场在数百万维景观中寻找最深山谷的搜索！
一个绝妙的类比来自计算化学。分子的稳定性由其势能决定，势能是其所有原子位置的复杂函数。这个函数创建了一个“势能面”（PES）。这个景观的“山谷”对应于稳定或半稳定的分子结构。一个深谷就是一个我们熟悉的、稳定的分子。找到这些最小值是理论化学家的日常工作。在这个类比中，神经网络损失景观上的一个局部最小值就像一个稳定的分子——一个模型配置良好且能有效执行其任务的状态。用于训练模型的算法，即梯度下降法，就像一个在这个景观上滚下山坡的球，自然地寻找这些最小值。有趣的是，这些景观也包含“鞍点”——类似于山口——它们是平坦但不稳定的。虽然一个简单的算法可能会在鞍点处减速，但任何微小的推动（来自数值噪声或数据中的随机性）都会让它再次滚下山坡，继续寻找真正的山谷。
局部最小值的概念不仅帮助我们找到答案；它还揭示了关于我们宇宙基本法则的深刻真理。问问自己：你能用静电场建造一个笼子来困住真空中的带电粒子吗？你能否用一组静态磁铁或质量体，在没有任何能量输入的情况下无限期地悬浮一个物体？直觉上，这似乎是可能的。你只需要创造一个小小的“势阱”，即势能中的一个局部最小值，让物体待在里面。
然而，物理学给了我们一个明确而令人惊讶的答案：不，你不能。
原因在于势场优雅的数学。在一个不含电荷的空间区域内，静电势 必须服从拉普拉斯方程：。对于一个没有质量的区域中的引力势也是如此。满足这个方程的函数被称为调和函数，它们具有一个非凡的性质。
这个性质就是均值性质：对于任何调和函数，其在球心的值恰好等于其在该球球面上的值的平均值。想想这意味着什么。假设，为了论证，你确实拥有一个局部最小值。根据定义，该点的势值将严格低于其在周围球面上所有邻近点的值。但是，一个数怎么可能严格小于一组都比它大的数的平均值呢？这是一个逻辑上的不可能。
这个简单而深刻的论证导出了一个强大的物理结论。一个调和函数拥有局部最小值的唯一方式是该函数完全平坦——也就是说，在整个连通区域内处处为常数。这意味着，如果一位实验者在一个无电荷的腔室内测量电势，并发现某一点是一个局部最小值，他们可以立即断定，该腔室内的电势处处都是同一个常数值。
同样的逻辑也适用于引力，这被称为恩绍定理。仅使用像引力或静电这样的平方反比定律力，不可能使一个物体达到稳定的静态平衡。任何合力为零的点都必须是势的鞍点，而不是一个稳定的最小值。就像一个平衡在马鞍上的弹珠，任何轻微的位移都会导致它滚落。这个“无处藏身”原理是自然界的一个基本约束，它源于调和函数优美的数学。
除了优化和基本法则，景观本身的结构——它们的山峰、山谷和隘口——也成为了研究对象，揭示了物质和信息的属性。
在晶体固体中，一个电子穿过原子周期性晶格时所允许的能量形成了一个复杂的能量景观，称为能带结构。这个景观的特征——它的局部最小值、最大值和鞍点（后者会产生称为范霍夫奇点的特征）——不仅仅是数学上的奇特现象。它们从根本上决定了材料的性质。最低“山谷”的位置和能量决定了材料是金属导体（电子可以自由漫游），还是半导体或绝缘体（电子被限制在它们的能量谷中）。
这个概念也出现在更抽象的统计学领域。当我们设计一个统计检验，比如说，检验一种材料的平均强度是否为一个特定值 时，我们希望这个检验是“无偏的”。这意味着它正确检测到与 的真实偏差的可能性，应该比在强度恰好为 时错误地发出警报的可能性更大。这个简单的公平性要求对检验的“功效函数”（绘制了检测到偏差的概率）产生了一个令人惊讶的后果。对于任何无偏检验，功效函数必须在原假设的值 处有一个局部最小值。从某种意义上说，检测最困难的点，正是我们概率景观中的一个谷底。
也许这个思想最令人叹为观止的应用来自统计物理学和理论生物学的交叉领域。我们可以将所有可能的DNA或蛋白质序列的集合想象成一个巨大的、超高维的“序列空间”。每个序列的适应度或稳定性可以被绘制为“海拔”，从而创建一个适应度景观。进化，本质上，就是在这个景观上的行走。一个关键问题是：这个景观是什么样的？它是一个只有一个全局最小值的平滑碗，还是一个有无数山谷的崎岖山地？
利用一个名为随机能量模型的框架，物理学家可以以惊人的精度回答这个问题。对于给定的遗传字母表（例如，DNA的 ，或合成“八文字”DNA的 ）和序列长度 ，可以推导出该景观中局部最小值的*期望数量*的表达式：。这个公式表明，局部最小值的数量随着序列长度的增加而呈天文数字般增长。这告诉我们，生物景观是极其“崎岖”的。它们不是简单的漏斗，而是充满了大量稳定或半稳定的解。这种崎岖性是支配进化的一个基本特征，它既解释了进化在寻找多样化解决方案方面的创造力，也解释了它倾向于“陷入”那些虽好但未必是全局最优的山谷中的现象。
从曲线上一个简单的点，到物理学的基本定律，再到进化本身的地图，局部最小值的概念展示了科学思想的非凡统一性。它证明了一个单一、被充分理解的数学思想，如何能够提供语言来描述、预测和理解我们世界最丰富、最多样的形式。