玻尔百科从股票市场的交易员到人体内的免疫细胞，我们的世界充满了各种适应性智能体，它们从经验中学习，从而在各自的环境中游刃有余。这种学习和决策的能力是智能的标志，但其底层机制似乎颇为神秘。核心挑战在于，如何将智能体做出简单、即时的选择，从而在遥远的未来实现最优结果的过程形式化，尤其是在与其他学习者互动时。本文将把这个强大的概念分解为其核心组成部分，以揭开其神秘面纱。
为了建立这种理解，我们将首先探寻智能体学习的基础“原理与机制”。在此，我们将揭示马尔可夫决策过程（MDP）的优雅语言、Q学习的核心学习算法，以及当多个智能体共同学习时出现的挑战。随后，在“应用与跨学科联系”一章中，我们将看到这些理论的实际应用，探索智能体学习如何为经济学、金融学、生态学乃至科学发现的自动化本身提供突破性的见解。这段旅程将揭示，简单的学习规则如何在广阔的系统景观中催生出复杂的涌现智能。
想象一个孩子正在学习认识世界。她看到了一个颜色鲜艳的炉灶线圈（一个状态），伸手去触摸它（一个行动），然后感到一阵刺痛（一个奖励，尽管是负面的）。下次她再看到炙热的炉灶时，她会犹豫。她已经学会了。这个由观察、行动和反馈组成的简单而强大的循环，正是智能体学习的核心。这是智能体与其世界的一场对话，一种反复试错的互动，让智能体能够建立一个关于“什么可行，什么不可行”的内部模型。
但目标并不仅仅是避免眼前的痛苦或寻求即时的快乐。一个真正智能的智能体必须从长远考虑。设想一位农民决定在哪片牧场放牛。她今天可以选择最茂盛的草地，但如果那片草地明天就变成了不毛之地，那她就失败了。她的目标是在整个季节中最大化她的产出，即累积回报。这就是智能体学习的根本挑战：如何做出当下的选择，以在遥远的未来获得最佳可能的结果。
为了精确地讨论这一挑战，科学家们发展出一种优美且出人意料地简单的语言：马尔可夫决策过程（MDP）。MDP并不是什么可怕的方程；它只是一种清晰地记述智能体与其环境所玩“游戏”规则的方式。它包含四个关键部分：
MDP框架建立在一个至关重要且强大的假设之上：马尔可夫性质。它指出，下一个状态仅取决于当前状态和所采取的行动，而不取决于之前发生的整个历史。这就像在下棋时，未来的可能性只取决于棋盘上棋子的当前位置，而与导致这种布局的走棋顺序无关。这使智能体不必记住所有发生过的事情；它只需要知道自己现在在哪里。
那么，智能体处于一个状态，并有一系列可能的行动。它如何选择呢？它需要一种方法来判断每个行动的“好坏”。这就是行动价值函数，或Q函数发挥作用的地方。你可以将 看作是智能体的内部备忘单或其积累的智慧。它是一个数字，代表智能体的最佳猜测：如果它从状态 开始，采取行动 ，然后永远以最优方式行动，它将获得的总的、长期的累积奖励。
有了这个Q函数，智能体的策略，或称策略（policy），就变得非常简单：在任何给定状态 下，只需查看所有可能行动的Q值，然后选择数值最高的那一个。这被称为贪心策略。（当然，为了持续学习，智能体有时必须通过尝试其他看似较差的行动来进行探索。但Q函数仍然是其主要指导）。
因此，最重要的问题是：智能体如何编写和修订这份备忘单？它最初是如何学习到Q值的？
智能体通过根据经验更新其Q值来进行学习。最常见且最优雅的方法是一种称为时序差分（TD）学习的方法。其核心思想是从“意外”中学习——即你期望发生的事情与实际发生的事情之间的差异。最著名的TD算法是Q学习，其更新规则是现代强化学习大部分内容的引擎。该规则如下所示：
让我们把这个公式分解成一个发现的故事，而不是一个枯燥的公式。
为了让智能体真正学习并使其Q值收敛到真实的最优值，学习率 不能是任意数字。它必须遵循一种精妙的平衡，由所谓的Robbins-Monro条件所规定。学习率序列必须足够小，以至于它们的平方和为一个有限数（），这确保学习最终会稳定下来，不会因为噪声而持续波动。然而，学习率又必须足够大，以至于它们的总和为无穷大（），这确保它们有足够的累积力量来摆脱任何初始的不良估计。这种优美的数学平衡确保了学习既是持久的又是稳定的。
这种由单一标量奖励信号驱动的、目标导向的学习，是强化学习的精髓。它是一种强大的范式，用于创建能够优化其行为以实现长期目标的智能体。但它并非智能体适应的唯一方式。
在自然界和我们的模型中，我们看到了一系列适应机制。考虑一个生物智能体，比如一个搜寻肿瘤细胞的免疫细胞。我们可以将其建模为一个试图最大化“肿瘤杀伤数”的强化学习智能体。但更有可能的是，它的行为是由基于规则的机制性反馈所支配的。这个细胞并不是在“思考”一个长期目标；它只是根据预先编程的生化规则做出反应，比如“如果这种化学物质浓度高，就减速”。这也是一种适应，但它源于局部规则，而非全局优化。
此外，智能体不必通过自身的试错从头学习一切。它可以走捷径：社会学习，或称模仿。一个智能体可以简单地观察其邻居，并复制那个看起来做得最好的邻居的策略。这与强化学习有着根本的不同。强化学习智能体执行内部信用分配，根据自己的奖励更新自己的信念。而模仿者则执行外部比较，根据他人的成功来转换自己的行为，而无需一个深刻的内部模型来理解其为何有效。
最后，我们可以有一个智能体种群，其中适应发生在更长的时间尺度上，通过演化适应。在这里，被选择的是策略本身。成功的智能体“繁殖”，将其策略传递给下一代，而不成功的则被淘汰。
在任何复杂系统中，从生态系统到市场，你都很可能找到这些策略的混合体。智能体并非铁板一块；它们表现出异质性。有些可能是复杂的Q学习者，有些是简单的模仿者，还有些可能遵循固定规则。有些可能学得快（高 ），有些学得慢（低 ）。这种多样性不是一种复杂化的因素；它是驱动系统丰富、涌现动态的核心特征。
到目前为止，我们大多想象的是一个单一智能体在静态世界中学习。但是，当“环境”由其他学习中的智能体组成时，会发生什么？这时，事情变得真正有趣且极其复杂。
想象你是一个试图在多智能体世界中学习的强化学习智能体。你信赖的Q学习算法建立在世界是一个MDP的假设之上——即规则是稳定的。但如果其他智能体也在学习并改变他们的策略，那么游戏的规则就在你脚下不断变化。昨天还不错的行动今天可能变得很糟糕，因为你的对手已经学会了如何反制它。
这就是多智能体强化学习（MARL）的根本挑战：非平稳性。从任何单个智能体的角度来看，世界不再是一个平稳的MDP。有效的转移概率 现在取决于所有其他智能体随时间变化的策略 。智能体正试图击中一个移动的目标。这不仅仅是一个理论问题；它具有真实、可观察的后果。
最著名的例子之一是一个简单的零和游戏，如“猜硬币”。如果两个独立的Q学习智能体玩这个游戏，它们永远不会收敛到一个稳定的策略。相反，它们的策略将在最佳响应的无尽循环中相互追逐，导致振荡的、非收敛的行为。
这种非平稳性还引入了一种有害的统计偏差：过高估计偏差。Q学习更新中的 max 算子本质上是乐观的。当它从一组因其他智能体学习而充满噪声且不断变化的估计值中选择最佳值时，它倾向于锁定向上的波动。这可能导致智能体系统性地高估其行动的价值，从而导致脆弱和次优的行为。这是内生非平稳性——一种源于交互学习者系统内部的混乱，不同于外生非平稳性，后者是指像天气变化这样的外部力量改变了所有人的游戏规则。
鉴于这些挑战，期望从一个由交互学习者组成的系统中获得任何可预测的结果是否毫无希望？完全不是。我们只需要调整我们对“好”结果的定义。与其要求智能体找到一个单一、静态的“最优”策略（纳什均衡），也许我们可以要求一些更温和但更稳健的东西。
如果我们只要求，从长远来看，我们的学习算法的表现至少不比从一开始就选择单个最佳固定行动并坚持下去要差，那会怎样？能够保证这一点的算法被称为无悔算法。它确保你因不知道未来而产生的平均“悔值”会随着时间的推移趋于零。
这个看似简单的要求带来了一个深远的结果。事实证明，如果系统中的每个智能体都使用无悔学习算法，那么群体的集体行为保证会收敛到一个被称为粗略相关均衡（CCE）的状态。CCE不像纳什均衡那样严格，但它是一种稳定且可预测的行为模式。它是一种结果的分布，在这种分布中，没有单个智能体在回顾该分布时，会希望自己当初承诺了另一种不同的固定策略。
这是一个优美而统一的思想。它告诉我们，即使在一个由多样化、自利、学习中的智能体构成的复杂世界里，环境在不断变化，最优解是一个移动的目标，简单而稳健的个体学习原则也能够催生出涌现的、系统级的秩序。学习的混乱让位于一种可预测的集体智慧。
在探寻了智能体学习的原理与机制之后，我们现在来到了探索中最激动人心的部分：见证这些思想在世界中的应用。一个科学概念的真正魅力不在于其抽象的优雅，而在于其连接和阐明看似迥异的广大现象的力量。智能体学习不仅仅是计算机科学家的工具；它是一个镜头，通过它我们可以重新审视从熙熙攘攘的股票市场到森林的静谧生长，乃至科学发现本身的过程。它邀请我们不再将世界看作一台静态的、钟表般的机器，而是一个充满活力的、不断演化的学习者生态系统。
想象一下，你试图改善一个医疗保健系统，为所有患者提供更公平的结果。你引入了一个包含社区卫生工作者和交通券的新项目。但是，并未出现简单、可预测的改善，反而爆发了一连串的变化。诊所变得更加繁忙，造成了长长的队伍，这让那些你正试图帮助的人感到沮丧。员工感到压力，而实地的社区工作者则根据患者的反馈实时调整他们的策略。与此同时，一件美妙而出乎意料的事情发生了：患者开始形成自己的支持网络，这是一个你的干预并未计划但无疑激发了的涌现现象。这不是一台简单的机器；它是一个复杂适应系统。理解它需要用反馈循环、适应和涌现行为的术语来思考——这正是智能体学习的语言。现在，让我们来探索这种强大的视角如何在一系列学科中开启新的见解。
几个世纪以来，经济学家们一直对“看不见的手”感到惊奇——这个神秘的过程让无数个体的、无协作的、自利的行为催生了稳定的市场价格。基于智能体的学习为我们提供了一种模拟这种魔力的方法。我们可以建立一个虚拟市场，其中充满了“买方”和“卖方”智能体，每个智能体都有自己简单的学习规则：如果昨天的价格高，就预期今天的价格会低一点，反之亦然。通过编程让这些智能体根据最近的市场出清价格更新它们的信念，我们可以观察到系统如何从任意的信念出发，动态地收敛到理论上的供需均衡。市场价格这个有序、可预测的宏观现象，直接从个体学习者混乱、适应性的微观行为中涌现出来。
这一原则远远超出了经济学的范畴。考虑社会规范的形成。为什么在某些地方人们会排成有序的队伍，而在另一些地方他们却形成混乱的人群？我们可以将其建模为一个“协调博弈”，其中个体根据他人的行为来学习哪种策略是最好的。如果你相信大多数人会排队，你的最佳反应就是排队。如果你相信他们会挤作一团，你的最佳反应就是加入人群以避免排在最后。通过模拟一个学习并根据观察到的他人行为调整其行为的智能体群体，我们可以看到一个共同的惯例——一种社会规范——如何从最初随机混合的行为中结晶出来。引导市场走向均衡价格的相同基本逻辑，也可以引导社会走向共同的行为准则。
金融市场是智能体学习一个特别引人入胜的舞台，因为它们是典型的非平稳系统——规则总是在变化。一个为今天的市场学会了完美策略的智能体，可能会发现该策略明天就过时了。因此，一个关键挑战不仅在于学习，还在于持续学习并适应结构性断点。我们可以通过创建一个资产基础价值突然发生变化的人工股票市场来探索这一点。然后，我们可以部署不同类型的学习智能体，看看它们如何应对。一个通过对所有过去数据取简单平均值来学习的智能体——一个“递减增益”学习者——记忆力很长，非常稳定，但它适应新现实的速度极其缓慢。相比之下，一个给予近期数据更多权重的智能体——一个“恒定增益”学习者——更加灵活，能更快地跟踪变化，但代价是永远受到随机噪声的摆布。更复杂的智能体，比如使用卡尔曼滤波器的智能体，可以动态调整其学习率，在检测到变化时快速学习，一旦适应新模式后就放慢速度。
这让我们从仅仅理解市场，转向积极参与市场。想象你是一家大型机构投资者，需要购买一百万股股票，同时又不能导致股价飙升。执行交易太快会产生巨大的价格影响，但执行太慢则有价格因其他原因向不利方向移动的风险。这是一个经典的优化问题。我们可以将其构建为一个马尔可夫决策过程，并训练一个Q学习智能体来寻找最优的执行策略。在每个时刻，智能体决定是积极交易，遵循市场的自然成交量分布（VWAP），还是以稳定的速度交易（TWAP）。通过从数千个模拟交易日中学习，智能体发现了一种在这些策略之间切换的策略，从而最小化总成本，其表现优于任何单一的固定策略。在这里，学习智能体成为了一个在复杂、动态环境中进行最优控制的强大工具。
智能体学习的工具并不仅限于社会和经济系统；它们在模拟人类与自然世界之间错综复杂的相互作用方面同样强大。考虑一个生计依赖于共享自然资源（如森林或渔业）的社区。每个个体智能体都必须决定是采取克制行为（保护）还是最大化其短期收益（开采）。我们可以为这些智能体配备一个简单的强化学习规则，让它们根据收到的奖励来学习每个行动的价值，即值。环境的状态——即资源的健康状况——与智能体的集体行动共同演化。这类模型可以揭示，在何种条件下，一个由学习者组成的社会能自发地发现一个可持续的均衡；以及在何种条件下，它会陷入“公地悲剧”，即个体理性的学习导致集体毁灭。
我们可以通过引入许多现实世界系统的一个关键特征——时间延迟，使这个模型更加真实。信息很少是瞬时的。例如，生态评估依赖于可能已有数周或数月之久的卫星图像或实地调查数据。我们可以通过向我们的学习智能体提供来自环境的延迟反馈来对此进行建模 [@problem-id:3803185]。这一单一的改变可能会产生深远的影响。一个短暂的延迟或许可以应对，但随着行动与其观察到的后果之间的延迟增长，系统可能变得不稳定。智能体试图纠正一个已经发生变化的问题，可能会永远过度和不及地调整其目标，导致资源存量和其经济活动都出现剧烈的繁荣-萧条周期。这揭示了一个深刻而普遍的系统论真理：反馈延迟是振荡和不稳定的一个强有力来源，这一原则既适用于驾驭经济，也同样适用于管理生态系统。
也许智能体学习最令人叹为观止的应用在于科学的前沿，这些工具正开始改变的不仅是我们所知道的，还有我们如何知道。科学家们现在正在构建“自动驾驶实验室”，让强化学习智能体来控制物理实验。想象一位化学家试图合成尺寸完全均匀的纳米粒子——这是医药和电子应用中的一个关键目标。这个过程涉及一个由温度、浓度和反应时间组成的复杂配方。我们可以让一个强化学习智能体来负责，而不是依赖人类科学家的艰苦试错。智能体调整实验参数，观察得到的纳米粒子，并使用策略梯度算法来学习一种能够优化最终产品质量的控制策略。这个智能体不仅仅是在建模一个系统；它是在学习掌握一个物理过程，发现可能超出人类直觉的最优合成方案。
其雄心甚至更进一步：我们可以利用智能体学习来优化科学方法本身。考虑一位核物理学家试图确定一个描述粒子如何从原子核上散射的模型的参数。他们的预算有限，只能进行一定数量的实验，每个实验都在特定的能量和角度下进行。哪个实验序列能提供最多的信息并最快地确定模型参数？这是一个可以被构建为强化学习任务的实验设计问题。智能体学习一种选择下一次测量的策略，以最大限度地减少模型参数的不确定性。通过探索可能的实验序列空间，智能体可以发现非显而易见的策略，这些策略远比人类贪婪的、一步一个脚印的方法更有效。在这里，强化学习智能体扮演着“方法科学家”的角色，学习如何以最有效的方式来了解宇宙。
随着这些学习系统从模拟走向现实世界，我们必须面对它们所带来的巨大责任，尤其是在像医学这样的高风险领域。我们可以将败血症等病症的管理建模为一个MDP，其中强化学习智能体可能学习到一种优于现有方案的治疗策略。但是，在一个生死攸关的情况下，医生怎么能信任一个人工智能的建议，特别是当这个建议是基于人工智能自己“发现”的一种新颖策略时？
答案在于将安全性直接构建到学习框架中。一个关键原则是“面对不确定性时的悲观主义”。一个安全的智能体不是根据其对行动价值的平均或期望估计来行动，而是根据一个悲观的估计——其价值的置信下界——来行动。在临床环境中，这意味着只有当强化学习智能体高度自信，即使其最坏情况的结果也仍然优于基线时，它才被允许偏离标准的、医生批准的方案。这提供了一个关键的安全节流阀。当智能体的估计不确定时（因为它数据很少），其置信下界会非常低，它会审慎地听从人类专家的意见。只有当它积累了压倒性的证据时，它才能建议一个新的行动方案。这种雄心与谦逊的融合，是构建不仅智能，而且在我们最关键的事业中值得信赖的合作伙伴的人工智能系统的关键。
从市场的“看不见的手”到机器人科学家的“指导之手”，智能体学习的原理提供了一条统一的线索。它提供了一个框架，用以理解简单的局部适应如何能够催生复杂的全局秩序，并为我们提供了一套新的工具来引导这些系统走向更理想的结果。发现之旅才刚刚开始。