try ai
科普
编辑
分享
反馈
  • 多目标优化:权衡的科学

多目标优化:权衡的科学

SciencePedia玻尔百科
核心要点
  • 多输出最小化通过在多个逻辑函数间共享公共组件来节省资源,是多目标优化的一个特例。
  • 当存在多个相互冲突的目标时,帕累托最优为识别最佳权衡提供了一个严谨的框架。
  • 加权和法和ε-约束法等方法被用来寻找帕累托前沿,它代表了所有最优折衷解的集合。
  • 这一优化原则适用于不同领域,包括工程、计算机科学、材料发现以及公平和可解释的人工智能设计。

引言

在人类几乎所有的活动领域,从设计智能手机到制定公共政策,我们都面临着平衡多个、往往相互冲突的目标的挑战。我们希望产品既功能强大又节能,投资既回报高又风险低,解决方案既有效又公平。这就提出了一个根本性问题:当不存在唯一的完美答案时,我们如何做出“最佳”选择?我们如何超越简单的直觉,系统地驾驭复杂的权衡局面?本文通过探索多目标优化的强大框架来解决这个问题。它揭示了在一个充满竞争目标的世界里,寻找最优折衷方案的过程。

首先,在​​“原理与机制”​​章节中,我们将以数字逻辑设计中的一个具体例子——多输出最小化——为基础展开讨论,以建立对共享资源以满足多种功能的直观理解。在此基础上,我们将推广到帕累托支配和帕累托前沿等普适概念,这是在权衡取舍中定义最优性的理论基石。我们还将审视工程师和科学家用来描绘这些可能性边界的算法机制,例如加权和法和ε-约束法。

随后,​​“应用与跨学科联系”​​章节将展示该框架卓越的通用性。我们将穿越不同的领域——从设计电网和医疗设备等复杂系统的工程学,到设计高效算法和合乎道德的人工智能——看看多目标优化的语言如何提供一种统一的方式来理解和解决我们这个时代一些最紧迫的挑战。读完本文,你将拥有一幅清晰的路线图,用于在任何复杂的决策场景中识别最佳的折衷方案。

原理与机制

数字世界的精简艺术

想象你是一位建筑师,但你设计的不是建筑,而是思想本身。你的积木不是砖块和砂浆,而是称为逻辑门的微小电子开关——构成每台计算机基础的与门(AND)、或门(OR)和非门(NOT)。你的任务是构建执行复杂任务的电路,和任何优秀的建筑师一样,你追求优雅和效率。你想用尽可能少的积木,以节省空间、降低成本,并让你的创作运行得更快。

让我们考虑一个具体的任务。假设我们需要设计一个具有两个不同输出的电路,我们称之为f1f_1f1​和f2f_2f2​。这些输出依赖于同一组输入信号,比如a,b,c,da, b, c, da,b,c,d。经过一些初步设计工作,你发现输出的“配方”是:

f1=(a AND b) OR (a AND c AND d)f_1 = (a \text{ AND } b) \text{ OR } (a \text{ AND } c \text{ AND } d)f1​=(a AND b) OR (a AND c AND d) f2=(a AND b) OR (b AND c AND d)f_2 = (a \text{ AND } b) \text{ OR } (b \text{ AND } c \text{ AND } d)f2​=(a AND b) OR (b AND c AND d)

或者,使用工程师的紧凑表示法,其中并列表示AND,+表示OR:

f1=ab+acdf_1 = ab + acdf1​=ab+acd f2=ab+bcdf_2 = ab + bcdf2​=ab+bcd

你会如何构建它?最直接的方法是为f1f_1f1​和f2f_2f2​构建两个完全独立的电路。f1f_1f1​的电路需要一个用于ababab的门和一个用于acdacdacd的门,它们的输出再送入一个或门。f2f_2f2​的电路同样需要一个用于ababab的门和一个用于bcdbcdbcd的门。在这种“独立”设计中,你将构建两次ababab门。

但是等一下。一个聪明的建筑师会停下来看看蓝图。ababab这一项出现在两个配方中!它是一个公共组件。我们为什么要重复建造同一个机械部件呢?这个简单而深刻的观察是​​多输出最小化​​的核心。我们可以只构建一次ababab门,并共享其输出,将其连接到f1f_1f1​和f2f_2f2​的或门,而不是构建两个独立的电路。

让我们计算一下成本。估算电路规模的一个常用方法是计算与门的总输入线数,称为​​文字量​​(literal count)。

  • 独立方法:对于f1f_1f1​,我们有ababab(2个文字)和acdacdacd(3个文字),成本为5。对于f2f_2f2​,我们有ababab(2个文字)和bcdbcdbcd(3个文字),成本也为5。总成本 = 5+5=105 + 5 = 105+5=10。
  • 共享方法:我们构建三个独特的乘积项:ababab(2个文字)、acdacdacd(3个文字)和bcdbcdbcd(3个文字)。总成本就是这些独特部分的总和:2+3+3=82 + 3 + 3 = 82+3+3=8。

通过共享一个公共项,我们将总成本从10降低到了8。我们用更精简的方式达到了同样的结果。这看起来可能只是微不足道的节省,但现代微芯片包含数十亿个门。这些微小的节省,放大数十亿倍后,就成了一台可行的、价格合理的设备与一个不可能实现的梦想之间的区别。在现实场景中,比如设计处理器算术逻辑单元(ALU)的控制逻辑时,识别这些共享项可以显著降低复杂性。 对于具有数十个输入和输出的电路,手工寻找这些共享部分是一个无望的组合难题。这就是为什么工程师开发了强大的算法工具,可以自动执行这种优化,这个任务对于任何实际问题来说,都远远超出了像卡诺图这样的手动方法的范畴。

权衡的普适科学

电路中共享部件的想法,实际上是一个更宏大、更普适概念的具体例子:​​多目标优化​​。在许多现实世界的问题中,我们不只有一个目标;我们有多个,而且它们往往是相互冲突的。

想象一下设计一个国家电网。我们希望为消费者最小化电力成本(f1f_1f1​),但我们也希望最小化环境影响,比如总碳排放量(f2f_2f2​)。 或者想象一下为电动汽车设计一款新电池。我们希望最大化其能量密度,这样汽车可以行驶得更远,同时我们也希望最大化其循环寿命,这样它可以使用很多年。用最小化的语言来说,我们寻求最小化这些量的负值。

这些目标处于一场永恒的拉锯战中。最便宜的能源可能污染最严重。具有超高能量密度的电池可能会迅速退化。没有一个单一的“完美”解决方案既最便宜又最清洁,或者既续航最长又寿命最长。乌托邦是不存在的。那么,找到一个“最优”解决方案意味着什么呢?

这时,意大利经济学家Vilfredo Pareto的杰出洞见为我们提供了帮助。他为我们提供了一种在存在多个冲突目标时,精确地谈论“更好”的方法。这个思想被称为​​帕累托支配​​。一个解决方案AAA支配另一个解决方案BBB是指:

解决方案A在所有目标上都至少和B一样好,并且在至少一个目标上严格优于B。

让我们来看一项优化研究中一些候选的能源系统设计,目标是最小化(成本,排放量):

  • 设计 A: (50,400)(50, 400)(50,400)
  • 设计 B: (55,350)(55, 350)(55,350)
  • 设计 C: (50,380)(50, 380)(50,380)
  • 设计 D: (45,380)(45, 380)(45,380)

让我们比较A和C。设计C的成本与A相同(505050),但排放量更低(380380380 vs 400400400)。所以,C支配A。没有任何理由选择A,因为C在另一个目标上表现相同时,在一个目标上给你带来了更好的结果。现在比较C和D。D的成本比C低(454545 vs 505050),但排放量相同(380380380)。所以,D支配C。但是B和D呢?D更便宜(454545 vs 555555),但B的排放量更低(350350350 vs 380380380)。两者互不支配。它们代表了一种根本性的​​权衡​​。

不被任何其他解决方案支配的解决方案被称为​​帕累托最优​​解。它们构成了所有最佳折衷方案的集合,这个集合被称为​​帕累托前沿​​。对于我们的能源例子,B和D都会在帕累托前沿上。在它们之间做出选择,不再是纯粹的优化问题,而是价值观和优先级的问题。我们是更看重低成本,还是更看重低排放?

当然,这整个讨论只有在解决方案本身是物理上可能的情况下才有意义。我们不能考虑一个违反能量守恒定律或要求发电机产生超过其最大容量的电力的设计。所有遵守这些基本规则的解决方案的集合被称为​​可行集​​。对帕累托前沿的搜索完全在这个可能性的领域内进行。

发现的机器:寻找前沿

帕累托前沿是一个优美的概念,但我们如何找到它呢?我们不能简单地测试每一种可能的设计——可能性的数量是天文数字。我们需要巧妙、系统的方法来导航广阔的可行解空间,并描绘出这个最优权衡的前沿。这就是标量化艺术的用武之地:将一个多目标问题转化为我们能够解决的、更熟悉的单目标问题。

加权和方法

最直观的方法是​​加权和方法​​。我们通过为每个目标分配一个代表其重要性的权重,将所有目标组合成一个单一的分数。对于我们的能源问题,我们可以定义一个单一的目标函数SSS:

S=w1f1(x)+w2f2(x)S = w_1 f_1(x) + w_2 f_2(x)S=w1​f1​(x)+w2​f2​(x)

其中f1(x)f_1(x)f1​(x)是设计xxx的成本,f2(x)f_2(x)f2​(x)是其排放量。权重w1w_1w1​和w2w_2w2​是正数,通常总和为1。如果我们更关心成本,我们可能会设置w1=0.7w_1=0.7w1​=0.7和w2=0.3w_2=0.3w2​=0.3。如果我们更关心环境,我们可能会选择w1=0.2w_1=0.2w1​=0.2和w2=0.8w_2=0.8w2​=0.8。通过为不同的权重组合求解最小化SSS的问题,我们可以在帕累托前沿上描绘出一些点。

权重的比率w1/w2w_1/w_2w1​/w2​有一个绝佳的解释:它是​​边际替代率​​。它告诉我们,为了在另一个目标上获得一个单位的增益,我们愿意牺牲多少某个目标。这就像一个汇率:“为了将碳排放减少一吨,我们愿意多付多少美元?”这将优化的抽象数学与经济学和政策制定的非常具体的世界联系起来。

然而,这个简单而优雅的方法有一个令人惊讶的隐藏缺陷。考虑一个材料发现问题,我们正在寻找一种既成本低(f1f_1f1​)又降解率低(f2f_2f2​)的催化剂。假设我们有三种候选材料:

  • 材料A: (0.5,1.8)(0.5, 1.8)(0.5,1.8)
  • 材料B: (1.0,1.3)(1.0, 1.3)(1.0,1.3)
  • 材料C: (1.7,0.5)(1.7, 0.5)(1.7,0.5)

这三种都是帕累托最优的(没有一个支配另一个)。材料B代表了一个平衡的折衷方案。然而,如果你试图用加权和方法找到材料B,你会失败。无论你选择什么样的正权重w1w_1w1​和w2w_2w2​,最低分总是由A或C达到,绝不会是B。材料B位于前沿的一个“非凸”区域,就像一个表面上的凹痕。加权和方法,在几何上就像将一把平尺靠在这些点上,总是会触及“外部”的点(A和C),而跳过B隐藏的凹痕。

ε-约束法和切比雪夫法

那么我们如何找到像材料B这样的隐藏瑰宝呢?我们需要一个更复杂的机器。其中一个就是​​ϵ\epsilonϵ-约束法​​。这个想法既巧妙又简单。我们不是组合目标,而是选择一个作为我们的主要目标,将其他目标转化为约束。对于我们的材料问题,我们可以说:

“让我们最小化成本(f1f_1f1​),但在降解率(f2f_2f2​)不超过某个值ϵ\epsilonϵ的条件下。”

例如,如果我们设置ϵ=1.4\epsilon = 1.4ϵ=1.4,那么降解率为1.8的材料A立即被淘汰。我们只剩下在B(成本1.0)和C(成本1.7)之间选择。为了最小化成本,我们显然会选择B。瞧!那个对加权和方法不可见的解决方案现在被轻易找到了。通过系统地改变ϵ\epsilonϵ的值,我们可以描绘出整个帕累托前沿,包括所有棘手的非凸部分。这种方法的巨大威力在于,原则上,它可以找到任何帕累托最优点,无论前沿的形状如何。

另一个强大的方法是​​加权切比雪夫方法​​。该方法首先确定一个“乌托邦点”——即每个目标都处于其最佳可能值的假设的、通常无法达到的解决方案。然后,它在特定加权意义上,搜索与这个乌托邦点“最接近”的可行解。这种方法同样有能力发现所有帕累托最优解,无论是凸的还是非凸的。对于我们的材料问题,切比雪夫方法确实可以配置来找到那个难以捉摸的材料B。

从在硅芯片上缩小电路的实际挑战出发,我们已经踏上了在冲突目标中做出最优选择的普适原则之旅。我们已经看到帕累托支配的语言如何为我们提供一种在充满权衡的世界里严谨定义“最佳”的方式,并且我们探索了那些使我们能够描绘可能性前沿的巧妙数学机器。这就是科学与工程之美:一个具体的问题揭示了一个深刻的原则,而这个原则又为我们提供了解决从设计电子产品到保护我们星球等广阔领域其他问题的工具。

应用与跨学科联系

我们花了一些时间讨论多输出最小化的原理和机制,你可能会误以为这只是一个相当抽象的数学游戏。但事实远非如此。你看,世界很少为我们提供只追求单一目标的奢侈。我们希望汽车速度快,但又省油。我们希望药物有效,但副作用最小。我们希望社会繁荣,但又公平和可持续。这种在相互竞争的欲望之间持续存在的、令人烦恼的紧张关系,不是我们思维中的缺陷,而是现实的一个基本特征。

多目标优化不仅仅是解决这些问题的工具,它本身就是我们用来描述这些问题的语言。它为我们提供了一张可能性的地图。它不给我们那个答案,因为在一个充满权衡的世界里,通常没有单一的“最佳”答案。相反,它给了我们一些更有价值的东西:所有最佳可能折衷的完整菜单。这个菜单就是帕累托前沿,是可实现与永远无法触及之间的锋利边缘。让我们沿着这个前沿走一走,看看它会把我们引向何方。

复杂世界的工程学

工程的艺术就是可能折衷的艺术。考虑一下设计医疗设备所面临的挑战,比如为耐药性癫痫患者设计的迷走神经刺激器(VNS)。目标看似简单:减少癫痫发作。但该设备提供电脉冲,提高刺激强度——增加其振幅AAA或其开启时间的比例,即占空比DDD——可能会导致声音嘶哑或咳嗽等副作用。

因此我们有两个相互竞争的目标:最小化癫痫发作率,我们称之为S(A,D)S(A,D)S(A,D),和最小化副作用负担,B(A,D)B(A,D)B(A,D)。增加AAA和DDD会使SSS下降,这是好的,但会使BBB上升,这是坏的。没有一个单一的设置在总体上是“最佳”的。为了找到帕累托前沿,我们可以想象在(A,D)(A, D)(A,D)的设计空间中我们两个目标函数的梯度。癫痫发作率的梯度∇S\nabla S∇S指向癫痫发作增加最快的方向,所以要减少它,我们希望朝其相反方向移动。副作用负担的梯度∇B\nabla B∇B指向副作用增加最快的方向,所以我们也希望朝其相反方向移动。

帕累托前沿上的一个点是一个设置,在该设置下,你无法在不恶化另一个目标的情况下改善任何一个目标。用梯度的语言来说,这意味着什么?这意味着在任何最优权衡点,两个目标的梯度必须指向完全相反的方向:∇S=−λ∇B\nabla S = -\lambda \nabla B∇S=−λ∇B,其中λ\lambdaλ是一个正常数。如果它们不是这样,如果它们之间存在某个角度,你总能找到一个方向移动,使得两个函数同时都能稍微“下坡”,这意味着你还没有达到最佳折衷的前沿。然后,医生和患者可以看着这个前沿——这条最优设置的曲线——并选择一个反映他们个人对权衡偏好的点。

同样的原则可以从单个患者扩展到整个地球。在设计区域电网时,工程师必须平衡总成本与二氧化碳排放。一个使用更多太阳能电池板和电池的设计可能排放量较低,但初始成本高于依赖柴油发电机。两者都不是绝对“更好”的;它们只是帕累托前沿上的不同点。一个设计A支配另一个设计B,当且仅当它在所有方面都更好或相等,并且在至少一方面严格更好——例如,更便宜且更清洁。任何不被其他设计支配的设计,根据定义,都位于这个最优选择的前沿上。同样的逻辑也适用于设计卫星星座,我们需要在发射成本与更好的全球覆盖和更低的信号延迟之间进行权衡,或者管理核燃料循环,我们必须同时处理经济成本、放射性废物量和核扩散风险。

算法与信息的DNA

比特和字节的世界,纯粹信息和逻辑的世界,对这些基本的权衡并不陌生。事实上,计算机科学学生学到的最早的权衡之一就是时间与空间之间的权衡。想象一个算法,其性能取决于一个参数,比如它处理的数据块大小。使用非常小的块可能会节省内存(低空间复杂度),但需要多次遍历数据,使其变慢(高时间复杂度)。使用非常大的块可能更快,但会消耗大量内存。通过分析时间T(k)T(k)T(k)和空间S(k)S(k)S(k)的函数,其中kkk是块大小,我们发现所有非支配算法的集合——即帕累托正确的选择——构成了一个前沿。存在一个特定的块大小可以最小化运行时间,但任何小于该值的选择都代表了帕累托前沿上的一个有效权衡:你接受更长的运行时间以换取更小的内存占用。选择使用哪种算法取决于机器的资源和用户的耐心。

这种权衡不仅是理论上的;它存在于你拥有的每一台设备中。想想图像和视频压缩。当你在线观看电影时,你正受益于一个多目标的折衷。工程师们必须平衡三件事:比特率RRR(每秒多少比特,影响你的数据使用量)、失真DDD(与原始质量相比损失了多少)和计算成本CCC(解码需要多少处理能力)。我们希望最小化这三者。所有最优编码器配置的集合在三维目标空间中形成一个帕累托曲面。有趣的是,这个例子教给我们一个关于优化的微妙但重要的教训。如果我们试图通过简单地最小化目标的加权和,比如wRR+wDD+wCCw_R R + w_D D + w_C CwR​R+wD​D+wC​C,来找到一个好的折衷方案,我们必须小心。如果所有权重都严格为正,我们保证会落在真正的帕累托前沿上。但如果我们决定完全不关心计算成本,并将其权重wCw_CwC​设为零呢?我们可能会找到一个在码率和失真方面看起来最优的解决方案,但在计算维度上却被另一个具有相同码率和失真但解码起来容易得多的解决方案“支配”。我们找到了一个*弱帕累托最优*点,一个懒惰的折衷,我们本可以免费改进它。

现代前沿:从智能材料到合乎道德的人工智能

近几十年来,得益于我们收集海量数据和建立预测模型的能力,帕累托前沿思维的力量呈爆炸式增长。其应用既令人兴奋又多种多样。

考虑一个现代的共享出行平台。其管理者面临着一系列令人眼花缭乱的目标:他们希望最小化乘客等待时间,最小化司机必须行驶的空载里程,并最大化平台利润。这些目标是相互冲突的。一个旨在最小化等待时间的策略可能需要一个密集的闲置司机网络,这会损害司机的收入和平台的利润。通过使用加权和方法,公司可以探索帕累托前沿。如果优先考虑吸引新客户,他们可能会给最小化等待时间赋予很高的权重。如果他们面临司机短缺,他们可能会调整权重以优先减少空载里程。每一组权重都揭示了针对特定业务优先级的最优策略。

这种思维方式甚至彻底改变了我们发现新事物的方式。在材料科学领域,研究人员不再局限于合成一种新材料然后测量其性能。他们现在正在实践“逆向设计”。利用能够从化学成分预测材料性能的机器学习模型,科学家可以定义目标——例如,高强度、低成本和高稳定性——然后使用多目标优化在广阔的可能成分空间中搜索那些位于帕累托前沿的成分。这种优化不仅仅是找到一种材料;它提供了一张最佳可能权衡的地图,引导实验工作朝向最有希望的候选者。

也许今天多目标优化最深远的应用是在新兴的人工智能领域,在这个领域,性能不再是唯一的基准。想象一下我们正在开发一个人工智能模型,帮助医生根据电子健康记录检测住院患者的败血症。我们的首要目标当然是准确性。但如果模型对某个人群高度准确,而对另一个人群不那么准确呢?那将是不公平的。所以我们增加了第二个目标:最小化公平性惩罚。如果模型是一个“黑箱”,一个其推理过程不透明的复杂神经网络呢?医生可能不会信任它。所以我们增加了第三个目标:可解释性,这可以通过偏爱更简单、更稀疏模型的惩罚来鼓励。最终的人工智能模型是在准确、公平和可理解之间精心选择的折衷结果。

当在无法集中到中心位置的数据(例如来自不同医院的患者记录)上训练模型时,这一挑战被放大了。在“联邦学习”中,一个中心模型通过聚合来自多个客户端的更新来进行训练。这里出现了另一个权衡:我们希望优化模型在所有医院的全局性能,但我们也希望确保“客户端公平性”,即模型即使对于结果最差的医院也能表现良好。这两个目标,全局平均性能和最坏情况性能,构成了另一个帕累托前沿。研究人员现在正在设计复杂的联邦优化算法,可以明确地追踪这个前沿,使他们能够在整体利益与个体参与者的需求之间取得平衡。

从医疗植入物的安静嗡鸣到训练下一代人工智能的全球服务器网络,多目标优化的原则是一条统一的线索。它告诉我们,在一个复杂的世界里,追求单一、天真的最优通常是徒劳的。真正的智慧在于理解可能性的版图,在于描绘最佳折衷的前沿,并在清楚地看到我们想要得到什么就必须付出什么代价的情况下选择我们的道路。