玻尔百科我们如何在不损害已掌握技能的情况下学习新技能？这个问题是神经科学和人工智能领域最根本的挑战之一——稳定性-可塑性困境的核心。任何学习系统，无论是生物的还是人工的，都必须在适应新信息的能力（可塑性）与保留先前所获知识的需求（稳定性）之间取得平衡。过分偏向可塑性，就有可能遭遇“灾难性遗忘”的风险，即新的学习会抹去旧的知识。过分偏向稳定性，则会造就一个无法成长的僵化系统。本文旨在探讨一个关键问题：复杂系统如何在不断变化的世界中持续有效地学习。
本文的探讨分为两个部分。首先，我们将深入探讨此困境的原理与机制，在考察自然界中人脑的精妙解决方案及人工智能中设计的相应策略之前，运用类比和数学概念来界定该问题。之后，关于应用与跨学科联系的章节将揭示这一基本权衡在现实世界中的体现，从我们神经元中的微观结构，到驱动自适应人工智能、个性化医疗和技术创新前沿的尖端算法。
想象一位小提琴大师，他毕生致力于完善古典演奏艺术。他姿态的每一个细微之处，手指的每一次微小动作，都已被磨练成稳定与精确的典范。现在，假设我们请这位大师学习自由爵士即兴演奏。为此，他必须变得“可塑”——必须愿意打破旧习惯，探索新声音，并放弃那些定义其古典技艺的刻板结构。在拥抱这种新形式的过程中，他面临一种微妙的危险：迈向爵士即兴演奏的每一步，都可能使其偏离对 Bach 组曲的完美演绎。学习这一行为本身就可能覆盖已经学会的东西。
这就是稳定性-可塑性困境的本质。它是任何学习系统都面临的基本挑战，从你大脑中的单个神经元到最先进的人工智能。学习即是改变，但改变则意味着遗忘的风险。一个系统必须足够可塑 (plastic)，以获取新信息并适应变化的世界；同时又必须足够稳定 (stable)，以保留其辛勤积累的庞大知识库。一个系统如何能在不背弃旧知的情况下拥抱新知？
让我们从音乐厅转向抽象的数学世界，在这里我们可以极其清晰地看到这一困境。想象一个AI模型的“知识”是其可能配置构成的广阔多维空间中的一个点。每一种配置，由一个参数向量 表示，对于给定的任务都有一个与之相关的“成本”或“误差”。学习一个任务——我们称之为任务A——就像一个球滚下山坡，去寻找山谷中的最低点，即误差（或损失） 最小化的点 。
现在，出现了一个新挑战：任务B。这个新任务在参数空间中有自己不同的山谷。为了学习任务B，我们的系统必须将其参数点 沿着任务B损失函数的最速下降方向移动，也就是负梯度方向 。
冲突就在于此。当我们追求在任务B上精通时，我们在任务A上的表现会发生什么变化？我们在任务A上的误差变化完全取决于参数空间的局部几何形状。如果任务B的下坡路径恰好也是任务A的下坡或平地，那我们就很幸运！学习新任务甚至可能有助于旧任务。但如果方向 在任务A的山谷中指向上坡呢？那么，我们为提升任务B表现而迈出的每一步，都会使我们在任务A上的表现变差。
这种灾难性的情况被称为灾难性遗忘 (catastrophic forgetting)，它发生在两个任务的梯度“反向对齐”时——即它们之间的夹角为钝角。从数学上讲，当任务B的更新将参数推向一个在任务A梯度方向上具有正分量的方向时，任务A的损失就会增加。这恰好发生在两个梯度的内积为负时：。在这一刻，稳定性和可塑性的目标是直接对立的。保持完全稳定意味着拒绝移动，也就是零学习。而保持完全可塑则可能意味着跳到B山谷的谷底，但这样做，就会被从A山谷舒适的深处抛出，从而完全忘记我们关于它的一切知识。
大脑，我们所知最复杂的学习机器，是如何在这片险恶的地形中航行的？它不依赖单一策略。相反，它采用了一种美妙的分工合作，一个由协同工作的专家组成的互补系统。这一思想被互补学习系统 (Complementary Learning Systems, CLS) 理论所概括。
在大脑深处，有一个名为海马体 (hippocampus) 的结构。可以把它想象成一个快速、不知疲倦的笔记记录员。当你体验新事物时——一种新水果的味道，一个新朋友的面孔——海马体负责快速编码那个单一事件的具体细节。它不试图泛化或寻找更深层的意义；它只是记录事件的原始数据，使用稀疏、无干扰的神经编码来保持记忆的独特性。
用统计学的语言来说，海马体是一个低偏差 (low-bias) 的学习者。它愿意扭曲自己以完美地拟合任何新的数据点，无论这个数据点多么随意。这使得它具有极强的可塑性。然而，这是有代价的：它是一个高方差 (high-variance) 的系统。它的“知识”是跳跃性的、特定于情境的，而不是一个关于世界的稳定、通用的模型。这就是为什么我们能记住一天中那些一次性的、随意的细节，而这些信息并不会覆盖我们对世界运作方式的基本理解。没有这个快速学习系统，我们形成独特事件新记忆的能力将会崩溃。
大脑其余的褶皱表面，即新皮层 (neocortex)，则是一位智慧的老大师。它是一个缓慢、审慎的学习者。新皮层对某一次特定早餐的细节不感兴趣；它想要学习的是世界的结构化、统计性规律——“早餐”通常是什么，狗长什么样，物理定律是什么。它建立了一个稳健、通用的现实模型。
为了实现这种惊人的稳定性，新皮层学习缓慢，通过对无数经验进行平均。它是一个高偏差 (high-bias) 的学习者，意味着它依赖于关于世界结构的强大先验假设。这使得它能抵抗单个奇异事件的干扰，从而产生一个低方差 (low-variance) 的模型。它的缓慢不是一个缺陷；恰恰是这个特性保护了其庞大的结构化知识库免受灾难性干扰。
这两个系统是如何沟通的？海马体不会将笔记私藏。在休息和睡眠期间，它会向新皮层“回放”它所记录的记忆。这个过程，即经验回放 (experience replay) 的神经关联物，允许新皮层以一种安全的、交错的方式学习新信息。这就像为期末考试复习所有章节，而不仅仅是猛K最后一章。新皮层接收到的是一股温和的新信息流与大量旧信息洪流的混合体，使其能够逐渐且安全地将新知识整合到其稳定的世界模型中。快速、可塑的海马体与缓慢、稳定的新皮层之间的这种精妙对话，是自然界解决稳定性-可塑性困境的主要方案。
受到大脑精妙设计的启发，人工智能研究人员开发了他们自己的强大工具箱，以应对人工系统中的灾难性遗忘。这些策略主要分为三类。
这是对大脑策略最直接的模拟。为防止遗忘，我们只需提醒模型它曾经知道的东西。
另一种理念是修改学习过程本身。与其不断提醒模型过去，不如直接让它更难忘记？这就是正则化 (regularization) 方法背后的思想。
其中最著名的是弹性权重巩固 (Elastic Weight Consolidation, EWC)。这个想法非常直观。当我们学习一个新任务时，我们修改目标函数以包含一个惩罚项。这个惩罚项的意思是：“你可以自由地改变你的参数来学习这个新任务，但你移动的每一个参数都必须付出代价。对于那些对你已经掌握的任务最重要的参数，代价最高。”
我们可以通过一个简单的模型来理解这一点。对于我们网络中的每个参数 ，新的最优值 成为对新任务最有利的值 和学习旧任务后的值 的加权平均：
在这里， 代表新任务为改变该参数提供了多少证据，而 是我们的“重要性”权重——即该参数对旧任务有多关键。如果一个参数对过去的技能至关重要（高 ），它就会被固定在原位。如果它不重要（低 ），它就可以自由地适应新任务。这就像翻新一座历史建筑：你可以更换现代管道，但最好不要碰原来的壁画。从贝叶斯角度来看，这相当于将我们从旧任务中获得的知识视为一个统计先验，指导我们如何解释新任务的有限数据，并防止我们对其过拟合。
更深入地，我们可以探究单个生物突触是如何体现这种权衡的。事实证明，即使在这个微观层面，自然界也使用了巧妙的多时间尺度设计。一个突触的强度不仅仅是一个数字；它可以被建模为一个快速、脆弱的成分 () 和一个缓慢、稳健的成分 () 之间的伙伴关系。快速成分允许对新刺激作出快速反应（可塑性），而这些变化随后会慢慢地“巩固”到稳定、长期的成分中（稳定性）。
其他稳态机制也对此进行了补充。元可塑性 (Metaplasticity) 就像一个动态的学习难度设置；如果一个神经元变得过度活跃，它会提高未来强化的阈值，防止失控的长时程增强。突触缩放 (Synaptic scaling) 则像一个全局恒温器；如果一个神经元的平均放电率偏离其目标设定点，它会将其所有传入连接进行乘法性重新缩放。这巧妙地将神经元恢复到其理想的工作范围，同时完美地保留了其连接的相对强度，从而维持了突触模式中编码的信息。
退一步看，我们看到一幅美丽、统一的图景正在浮现。稳定性-可塑性困境不是一个需要消除的缺陷，而是一个需要驾驭的基本权衡——一种学习的守恒定律。挑战不在于实现完美的稳定性或完美的可塑性，而在于找到它们之间的最佳平衡。
这可以用极其精确的方式形式化。我们可以定义一个效用函数，该函数捕捉了我们对可塑性的渴望（在新任务上的性能增益）和我们对遗忘的厌恶（在旧任务上的稳定性成本）。当我们运用微积分来寻找最大化此效用的学习规则时，我们得出了一个深刻的结论：给予旧记忆的最佳保护量与我们对其重视程度成正比。这种权衡不是障碍，而是有待优化的资源。
在实践中，我们可以使用前向迁移 (Forward Transfer)（旧知识对学习新知识的帮助程度）和后向迁移 (Backward Transfer)（学习新知识对旧任务性能的损害程度）等指标来衡量这种权衡。最好的学习算法定义了一个帕累托前沿 (Pareto frontier)，这是一条代表稳定性和可塑性最佳可能组合的曲线。你无法沿着这条曲线移动来获得更多的一方而不放弃一点另一方。在神经科学和人工智能领域，宏大的挑战在于发现能够将这一前沿不断向外推进的原理和机制，创造出学得更多、忘得更少，并能更优雅地驾驭这美丽而无尽的发现之旅的系统。
在探索了稳定性-可塑性困境的基本原理之后，我们现在来到了最激动人心的部分：看这一原理在现实世界中的应用。这一困境并非局限于理论家黑板上的抽象悖论；它是一种基本的组织力量，塑造了大脑的进化、智能机器的设计，甚至我们用来研究世界的方法本身。它是一条金线，将单个突触中分子的复杂舞蹈与创造安全、自适应人工智能的宏大挑战联系起来。
在本节中，我们将看到自然界和工程师们是如何共同应对这一本质性权衡的。我们的探索之旅将从我们大脑中的微观结构，到驱动数字革命的尖端算法，揭示在这些截然不同的领域中所发现的解决方案中存在的美妙统一性。
在我们构想出人工学习系统之前，自然界早已是管理稳定性-可塑性权衡的大师。大脑不是一个统一、同质的学习机器；它是一个专业化结构的奇迹，其中不同的部分和机制已经进化到在保留旧知识和获取新知识之间达成不同的平衡。
在最微观的层面上，稳定性由物理结构来保障。以神经元周围网 (Perineuronal Net, PNN) 为例，这是一种美丽的、晶格状的细胞外基质结构，像一个精致的笼子一样包裹着某些神经元。这些PNN在快速放电的抑制性神经元周围尤为常见，这些神经元对于协调神经回路的精确时序至关重要。在很长一段时间里，幼年动物的大脑具有极强的可塑性，能轻易地根据经验塑造其连接——这就是学习语言或发展视觉的“关键期”。PNN的形成是标志着这个关键期结束的关键事件之一。它像一个分子栅栏，将现有的突触连接锁定到位，并限制细胞膜中受体的移动。通过提供这种结构稳定性，PNN确保了成年大脑中精细调谐的回路不容易被覆盖。当这个起稳定作用的栅栏因基因缺陷而受损时，结果并非一个超级学习者，而是一个易于出现异常可塑性的系统，其中兴奋和抑制的微妙平衡被打破。
从单个细胞扩展到整个大脑系统，我们发现了一个更为精妙的解决方案：分工。大脑通过拥有两个互补的学习系统来解决这个困境，这一思想在互补学习系统 (CLS) 理论中被形式化。它假设我们拥有：
这两个系统协同工作。白天，海马体快速存储新事件。睡眠期间，它将这些记忆“回放”给新皮层，新皮层则缓慢地将这些新信息与其现有知识库交错整合。这个称为“巩固”的过程，使得新皮层可以在不灾难性地忘记旧知识的情况下学习新事物。这就像有一个用于日常笔记的便笺本（海马体）和一个用于存放参考书的图书馆，图书馆的书籍会在夜间被仔细而有条不紊地更新（新皮层）。
这种结构上的平衡之举并非偶然；它是巨大进化压力的产物。当我们比较不同物种的大脑时，我们能看到稳定性-可塑性困境被每种动物独特的生活需求所塑造。例如，成年人脑的神经发生（新神经元的诞生）非常有限，主要局限于海马体等少数区域。相比之下，金丝雀可以在其鸣唱控制中心生成新神经元，尤其是在需要学习新求偶歌曲的季节。为什么会有这种差异？对于一个生存依赖于庞大而复杂的知识和技能库的人类来说，广泛的神经发生将是一场灾难。将新神经元引入已建立的回路，可能会破坏定义我们的记忆和能力。稳定性至关重要。然而，对于金丝雀来说，每年学习新歌的能力对繁殖至关重要。这代表了一种权衡，其中季节性可塑性的好处超过了不稳定性的风险。因此，这一困境决定了大脑的蓝图，为每个生物所栖居的生态位进行了优化。
当我们努力构建智能机器时，在某种意义上，我们被迫重新发现了自然界在亿万年间学到的相同原则。一个经过训练以执行新任务的AI，常常会遭受灾难性遗忘 (catastrophic forgetting)：它新获得的知识会完全覆盖它之前所知的内容。一个先学会识别猫、再学会识别狗的AI，可能会成为狗的专家，但完全忘记猫长什么样。这就是硅基世界中的稳定性-可塑性困境。
要像物理学家或工程师那样处理这个问题，我们必须首先将生物学概念转化为精确的数学和统计学语言。我们可以将神经元的输出 建模为其输入 和突触权重 的函数。在这个框架中，神经可塑性 (neuroplasticity) 是指权重向量 随着系统从预测误差中学习而随时间发生的变化。另一方面，神经变异性 (Neural variability) 是系统输出中固有的、逐次试验间的噪声 ，即使在权重固定的情况下也存在。大脑的稳态机制能防止突触无限制地增长或缩小，这在数学上可以建模为一个正则化 (regularization) 惩罚——一种将权重拉回稳定基线以防止其爆炸的力量。
有了这种形式化的理解，工程师们设计出了巧妙的解决方案，这些方案常常反映了大脑自身的策略。
一个强大的想法是明确估计每个突触权重对于过去任务的“重要性”。在一个名为弹性权重巩固 (Elastic Weight Consolidation, EWC) 的算法中，当模型学习一个新任务时，会施加一个二次惩罚，以防止对先前任务至关重要的权重发生改变。你可以把这想象成在每个重要的突触上放置一个虚拟弹簧，将其锚定在先前学到的值上。弹簧越硬（这个参数由衡量参数敏感度的费雪信息矩阵决定），它对变化的抵抗就越大。这种选择性的稳定化允许其他不太关键的突触自由改变，从而在最需要的地方提供可塑性。这种方法在安全关键型应用中至关重要，例如用医生的反馈来更新临床AI；EWC有助于确保从一个新的复杂案例中学习不会降低模型在数千个过去案例上的可靠性能。
另一种策略，你可能在日常使用的大型语言和视觉模型中看到，是一种模块化形式。我们不是为新任务重新训练整个庞大的网络，而是可以冻结核心的预训练模型（稳定性），并插入称为适配器 (adapters) 的小型轻量级模块。只有这些适配器在新数据上进行训练（可塑性）。这就像保持你的核心软件引擎稳定，同时安装小的、任务特定的插件。这是一种极其参数高效且有效的方式来调整巨大的模型，它保留了模型在初始训练期间学到的强大通用知识，同时允许进行专业化。
最后，人工智能也可以模仿大脑的回放机制。为了防止灾难性遗忘，系统可以维护一个来自过去任务的小型经验缓冲区。在学习新任务时，它可以在新数据上进行训练，并与“排练”这些旧经验交错进行。在有严格隐私限制的领域，如医学，我们不能存储原始患者数据。解决方案是什么？我们可以训练一个生成模型来创建逼真的、合成的“代理”数据，这些数据捕捉了过去任务的统计本质，而不会泄露任何私人信息。这使得模型能够在不侵犯隐私的情况下被提醒其过去。
稳定性-可塑性困境出现在任何有学习和适应发生的地方。它是科学技术一些最前沿领域的关键挑战。
在个性化医疗 (personalized medicine) 领域，研究人员正在开发“计算孪生”——即患者生理机能的虚拟模型，该模型会根据来自可穿戴设备、实验室测试和临床记录的数据持续更新。这个孪生体必须足够可塑，以适应患者不断变化的状态（例如，对新药的反应），但又必须足够稳定，以记住他们的基线生理状况和病史。掌握好这种平衡对于准确的预测和治疗建议至关重要。
在神经形态计算 (neuromorphic computing) 领域，工程师们正在构建具有脉冲神经元和可塑性突触的脑启发芯片。当这些芯片被部署在分布式网络中用于联邦学习等任务时——即在去中心化数据上协同训练模型——这个困境再次出现。随着本地数据分布随时间漂移，网络必须在不忘记从网络中其他节点学到的知识的情况下进行适应，同时还要考虑新型硬件本身固有的噪声和变异性。
也许最引人入胜的是，这个困境甚至延伸到了科学实验的设计本身。想象一位神经科学家想要测试某个特定基因在学习中的功能。使用像CRISPR这样的工具，他们可以精确地编辑该基因。但他们应该使用哪种编辑工具呢？一个始终活跃的强大工具可能会产生期望的编辑，但其持续的活动也可能导致细胞应激，从而混淆结果。一个更温和、瞬时的工具可能效率较低，但能以最小的干扰产生一个干净、稳定的变化。科学家必须选择一种策略，既能对系统做出稳定的改变，又不会因为工具本身引入过多的持续“可塑性”而使结果无法解释。科学家在试图测量可塑性时，必须首先在自己的方法论中解决一个稳定性-可塑性问题。
从PNN的笼子到EWC的代码，从鸟鸣的进化到基因编辑实验的设计，稳定性-可塑性困境是一个普遍的常数。它是一种基本约束，迫使系统——无论是生命的还是人工的——变得更有创造力、更模块化、更精妙。它告诉我们，记忆不仅仅是存储；它是一个平衡过去与现在的、主动的、动态的过程，是一场在我们已知和即将学习的事物之间的舞蹈。