try ai
科普
编辑
分享
反馈
  • 随机不确定性

随机不确定性

SciencePedia玻尔百科
核心要点
  • 随机不确定性是系统中固有的、不可简化的随机性,而认知不确定性源于可简化的知识缺乏。
  • 全方差定律提供了一个数学公式,可将总不确定性分解为其独立的随机和认知两个组成部分。
  • 收集更多数据可以减少认知不确定性,但随机不确定性代表了系统可预测性的根本极限。
  • 在工程、人工智能、医学和政策等领域,区分这两种不确定性对于构建稳健模型和做出明智决策至关重要。

引言

在科学、工程和日常生活中,不确定性如影随形。然而,并非所有的不确定性都是一样的。做出稳健的预测、有效管理风险并做出明智决策的关键在于理解我们未知事物的本质。许多分析中的一个关键失败在于,将两种根本不同类型的不确定性混为一谈:世界内在的随机性和我们自身知识中可纠正的差距。本文旨在通过提供一个清晰的框架来区分这两个概念,以弥补这一知识差距。

在接下来的章节中,您将对这一关键区别有深入的理解。“原理与机制”一章将介绍并定义随机不确定性(机遇)和认知不确定性(无知),并通过简单的例子进行说明,然后揭示用于区分它们的精妙数学工具,如全方差定律。随后,“应用与跨学科联系”一章将展示这一理论框架如何成为一个强大的实用工具,塑造着从工程领域的数字孪生和有自我意识的人工智能系统,到医学的伦理实践和公共政策的制定等方方面面。

原理与机制

想象你正面临两场机会游戏。在第一场中,你掷一个标准的六面骰子。你不知道下一次会掷出什么点数,但你完全了解游戏规则:每个面出现的几率都是六分之一。你的不确定性在于一个你完全理解的过程的结果。这是随机性的核心。

在第二场游戏中,有人递给你另一个骰z子。它看起来很正常,但你被告知它可能是一个作弊骰子,被加权以偏向某些数字。现在,你面临一种不同的不确定性。你不仅不知道下一次会掷出什么,你甚至不知道游戏的规则。掷出“6”的几率是六分之一,还是三分之一,或者是其他什么?你的不确定性源于对骰子本身的知识缺乏。

这个关于两个骰子的简单故事捕捉了所有科学中最深刻的区别之一:两种基本不确定性类型之间的差异。一种是世界固有的特征;另一种是我们对其无知的特征。学会区分它们是在复杂世界中做出预测、管理风险和做出明智决策的关键,从预测气候变化到开发拯救生命的药物。

机遇的两面:随机不确定性与认知不确定性

让我们给这两个概念起上它们正式的名称,这些名称听起来很专业,但精妙地捕捉了它们的本质。

第一种不确定性,来自公平的骰子,被称为​​随机不确定性​​(aleatory uncertainty)。这个名字来源于拉丁词alea,意为“骰子”或“掷骰者”。它是许多系统中存在的内在的、不可简化的随机性。它是统计噪声、随机波动,是宇宙骰子的掷动。即使有完美的模型和完全已知的参数,单个事件的结果仍然可能无法预测。例如,在公共卫生模型中,即使我们知道一个个体在某一年因流感住院的确切概率 ppp,一个规模为 nnn 的人群中实际的住院人数每年都会随机波动。这种二项变异是随机的;收集更多数据并不能告诉你明年具体哪些人会生病。同样,气候模型即使物理参数固定,由于初始条件的微小混沌变化,飓风数量的预测结果也会呈现一定的分布范围,这是随机不确定性的典型表现。

第二种不确定性,来自神秘的骰子,被称为​​认知不确定性​​(epistemic uncertainty)。这个名字来源于希腊词episteme,意为“知识”。这种不确定性不是世界的属性,而是我们对其知识缺乏的属性。它是可以减少的。通过更多的信息,我们可以减少我们的无知。例如,我们可以将那个神秘的骰子掷上数百次,以弄清它的偏差。我们对一种新疫苗真实有效性的不确定性是认知性的;更大规模的临床试验可以缩小我们估计值的置信区间,让我们更清楚地了解其真实效力。同样,当工程师因为特定材料未经测试而使用手册中的弹簧刚度值时,这种不确定性是认知性的。更多的测试会减少它。

简而言之:​​随机不确定性​​是机遇。​​认知不确定性​​是无知。前者是系统的属性;后者是我们理解的属性。

数学视角:分解不确定性

这一区别的真正美妙之处在于,它不仅仅是一个哲学话题。我们可以用概率论的精妙语言将其形式化,从而能够剖析我们预测中的总不确定性,并理解其来源。实现这一目标的核心工具是一个极具启发性的概念,即​​全方差定律​​(law of total variance)。

想象一个我们想要预测的量,称之为 YYY。这可能是汽车的刹车距离、患者的肿瘤体积,或是2100年的海平面。我们的预测依赖于一些模型参数,称之为 θ\boldsymbol{\theta}θ,我们并不完全了解这些参数(这是我们的认知不确定性)。而且,即使对于一组固定的参数 θ\boldsymbol{\theta}θ,由于内在的随机性,结果 YYY 仍然是随机的(这是随机不确定性)。

全方差定律告诉我们,总方差——衡量我们对 YYY 的总不确定性的指标——是两部分之和:

总方差=(平均随机方差)+(认知方差)\text{总方差} = (\text{平均随机方差}) + (\text{认知方差})总方差=(平均随机方差)+(认知方差)

或者,用更正式的方差符号 Var(⋅)\mathrm{Var}(\cdot)Var(⋅) 和期望(或平均)符号 E[⋅]\mathbb{E}[\cdot]E[⋅] 来表示:

Var(Y)=E[Var(Y∣θ)]+Var(E[Y∣θ])\mathrm{Var}(Y) = \mathbb{E}[\mathrm{Var}(Y \mid \boldsymbol{\theta})] + \mathrm{Var}(\mathbb{E}[Y \mid \boldsymbol{\theta}])Var(Y)=E[Var(Y∣θ)]+Var(E[Y∣θ])

不要被这些符号吓到;其含义是直截了当的。

  • 第一项,E[Var(Y∣θ)]\mathbb{E}[\mathrm{Var}(Y \mid \boldsymbol{\theta})]E[Var(Y∣θ)],是随机部分。Var(Y∣θ)\mathrm{Var}(Y \mid \boldsymbol{\theta})Var(Y∣θ) 是如果我们完全知道参数 θ\boldsymbol{\theta}θ 时结果的方差。它是系统固有的波动性。然后我们对这种波动性在我们认知不确定性所允许的所有可能的 θ\boldsymbol{\theta}θ 值上取平均。

  • 第二项,Var(E[Y∣θ])\mathrm{Var}(\mathbb{E}[Y \mid \boldsymbol{\theta}])Var(E[Y∣θ]),是认知部分。E[Y∣θ]\mathbb{E}[Y \mid \boldsymbol{\theta}]E[Y∣θ] 是如果我们完全知道参数 θ\boldsymbol{\theta}θ 时的平均结果。它是该特定参数设置下的“真实”预测。这一项的方差则衡量了仅仅因为我们不确定 θ\boldsymbol{\theta}θ 的真实值而导致我们的预测摇摆不定的程度。

随着我们收集更多的数据,我们对 θ\boldsymbol{\theta}θ 的了解得到改善。θ\boldsymbol{\theta}θ 的可能值范围会缩小。因此,认知项 Var(E[Y∣θ])\mathrm{Var}(\mathbb{E}[Y \mid \boldsymbol{\theta}])Var(E[Y∣θ]) 会变得越来越小,理想情况下趋近于零。然而,随机项 E[Var(Y∣θ)]\mathbb{E}[\mathrm{Var}(Y \mid \boldsymbol{\theta})]E[Var(Y∣θ)] 不会消失。它会收敛到系统真实的内在随机性。我们的无知可以被治愈,但宇宙的骰子仍在不停地滚动。

数字时代的不确定性:模型与模拟

这种分解不仅仅是一个理论上的好奇心;它是现代计算科学中不确定性量化的引擎。对于从经济到生态系统的复杂系统,我们构建计算机模拟,或称“数字孪生”,作为我们理解的实验室。这些模型是我们写下游戏规则的最佳尝试。

为了分离这两种不确定性,我们可以采用一种巧妙的计算策略,通常称为嵌套循环或双层模拟:

  1. ​​外层循环(认知循环):​​ 我们从承认自己的无知开始。我们不知道我们模型的真实参数 θ\boldsymbol{\theta}θ。因此,我们从一个代表我们当前知识状态的分布中抽取一个可能的 θ\boldsymbol{\theta}θ 值。可以把这想象成从神秘骰子可能被加载的多种方式中选择一种。

  2. ​​内层循环(随机循环):​​ 现在,固定这组参数 θ\boldsymbol{\theta}θ,我们多次运行我们的随机模拟。每次运行都有不同的随机种子,就像在骰子物理属性保持不变的情况下多次掷骰子一样。这个内层循环的结果分布告诉我们这个特定版本世界中的随机不确定性。

通过重复整个过程——在外层循环中选择一个新的可能 θ\boldsymbol{\theta}θ,并在内层循环中运行新的一批模拟——我们可以估计方差分解的两项。内层循环内部的平均分布估计了随机不确定性。每个内层循环的平均值的分布则告诉我们关于认知不确定性的信息。这项强大的技术使我们能够看到总不确定性中有多少是由于我们的无知(我们或许可以修复),又有多少是由于内在的机遇(我们必须学会管理)。

无知的多种形态:深入认知不upercertainty

认知不确定性本身并非铁板一块。它有几种不同的形态,每一种都代表着一种不同类型的知识差距。一项试图预测清洁空气政策效益的健康影响评估提供了一个完美的例证。

  • ​​参数不确定性:​​ 这是最常见的形态,即我们对模型中具体数值的不确定性。例如,我们可能有一个将空气污染与哮喘联系起来的模型,但我们不确定量化这种联系的系数 β\betaβ 的确切值。这是一种经典的认知不确定性,体现在流行病学研究的置信区间中。

  • ​​模型(或结构)不确定性:​​ 这是一种更深层次的无知。它不是关于我们方程中的数字,而是关于方程本身。污染和哮喘之间的关系是线性的吗?还是存在一个“安全”阈值,低于该阈值就没有影响?在这些不同的数学形式之间进行选择是模型不确定性的问题。我们不确定因果关系的基本结构。

  • ​​情景不确定性:​​ 这是关于我们系统未来运行的外部环境的不确定性。一项清洁空气政策的有效性将取决于未来的社会选择:人们采用电动汽车的速度有多快?这项政策会被严格执行吗?这些因素不属于核心生物物理模型的一部分,而是外部驱动因素。这种不确定性通常非常深刻,以至于我们甚至不尝试分配概率,而是分析几个不同的、貌似合理的未来“情景”。

当概率不足时:模糊性与深度不确定性

随机不确定性与认知不确定性之间的精妙划分给了我们一束强大的火炬,照亮未知。但当我们冒险进入科学和伦理的前沿时,我们发现即使这束火炬也难以触及一些阴影。

思考围绕人类生殖系编辑的深刻伦理问题。在这里,我们遇到了两个更具挑战性的概念:

  • ​​模糊性(Ambiguity):​​ 当我们对一个结果的意义或价值存在分歧时,就会产生模糊性,即使我们能够完美地量化其概率。科学家或许能够估计由CRISPR引起的基因变化的概率,但利益相关者可能对该变化构成“伤害”、“中性特征”还是“增强”存在根本分歧。这不是一个概率问题;这是一个根植于价值观和伦理的规范性问题。更多的数据无法解决价值观的辩论。

  • ​​深度不确定性(Deep Uncertainty):​​ 这是最深刻的无知状态。当专家们甚至无法就支配一个系统的基本模型、关键变量或因果关系达成一致时,就会出现这种情况。对于生殖系编辑,其可能的多代效应就属于这一类别。我们缺乏关于此类变化如何在数百年间通过人类基因库级联传递的共识模型。面对深度不upercertainty,标准的风险-收益分析会失效。

我们的旅程始于一个简单的骰子,最终抵达了可知与可量化之物的边缘。区分随机不确定性和认知不确定性是我们在这片迷雾中航行的第一步,也是最关键的一步。它为清晰思考我们未知之事提供了一个框架。它告诉我们何时应寻求更多知识,何时应接受机遇的不可简化性。这证明了科学的力量,它不仅能找到答案,更能优美而精确地刻画我们所提问题的本质。

应用与跨学科联系

自然规律的存在本身已是一件奇妙的事,但更奇妙的或许是我们能够认识它们。然而,我们的知识总是不完整的,如同广袤黑暗中一根摇曳的烛火。真正了不起的成就不仅在于利用我们所知,更在于理解并根据我们无知的本质采取行动。我们所划分的随机不确定性(内在的、不可简化的骰子掷动)和认知不确定性(我们自身知识的差距)之间的区别,绝非仅仅是哲学上的细微差别。它是我们拥有的最强大的工具之一,是一面透镜,为从构建模拟现实的机器到驾驭我们时代最深刻的伦理困境等一系列令人惊叹的人类事业带来清晰的视野。让我们踏上一段旅程,穿越其中一些领域,看看这个简单而优美的理念是如何发挥作用的。

工程未来:数字孪生与预测模型

想象一下,你想为一个喷气发动机、一个发电厂,甚至一整座城市构建一个“数字孪生”——一个存在于计算机内部、与其现实世界对应物镜像的完美模拟。这样的工具对于预测性能、预见故障和优化运营将无比强大。但要构建一个可靠的孪生体,你必须首先诚实地面对你所不知道的。

考虑一个简单的热系统,比如我们想在计算机中模拟其温度的处理器芯片。我们的模型将包含描述热流的方程,但这些方程含有物理参数,如热导率 (kkk) 和热容 (CCC)。我们可能对它们的值有所了解,但我们并不确切知道。我们对 kkk 或 CCC 真实值的不确定性是​​认知性的​​;原则上,我们可以通过对材料进行更仔细的实验来减少它。但这并不是唯一的不确定性。真实系统不断受到微小的、随机的热波动影响,我们的温度传感器本身也有固有的电子噪声。这些并非源于知识的缺乏;它们是物理学基本的一部分。这是​​随机​​不确定性。

构建数字孪生的工程师必须完全不同地对待这两种不确定性。参数 (k,Ck, Ck,C) 中的认知不确定性通过从数据中估计它们来处理——这是一个学习的过程。而来自随机噪声的随机不确定性,则通过构建一个随机模型来处理——该模型明确承认其预测将永远带有一定程度的随机模糊性,很像卡尔曼滤波器在嘈杂世界中导航。全方差定律为此提供了一个优美的数学框架,巧妙地将总不确定性分解为一部分来自我们的无知,另一部分来自自然的骰子。

同样的原则在我们追求可持续未来的过程中也至关重要。当我们模拟一个风力发电场的输出时,我们面临着类似的挑战。发电量剧烈波动。这种波动是因为我们的天气模型很差(认知不确定性),还是因为风本身固有的混沌和不可预测的湍流特性(随机不确定性)?答案可以通过观察模型的误差或残差来找到。如果误差显示出系统性模式——例如,如果我们的模型在阴天总是出错——那说明我们的知识存在缺陷。这是一个我们可以通过改进模型来修复的认知问题。但如果误差是真正随机的,没有可辨别的模式,我们很可能已经触及了随机不确定性的基石。我们已经捕捉到了风的可预测部分,剩下的是它狂野的、随机的核心。

这种方法的复杂性在安全关键领域达到了顶峰。在水文地质学中,模拟地下水流动的工程师必须考虑到他们对地球结构的不完整知识,这是一个巨大而复杂的导水系数场 (K(x)K(x)K(x)),这是一种认知不确定性。这种不确定性通过复杂的流体动力学偏微分方程进行传播。但是,测量水位的传感器的噪声是随机的,只是简单地在最后加到模型的预测上。在设计核反应堆时,核心材料物理性质的不确定性被分解为一个代表固有材料变异性(随机)的随机场,以及一组控制该场的“超参数”,我们对这些超参数的知识是不完整的(认知)。传播这些不确定性需要一个宏大的嵌套计算:一个外层循环探索我们的认知无知,而在该循环的每一步,一个内层循环计算随机性的全部概率后果。这种仔细的区分无异于负责任工程的数学化身。

智能机器的崛起:人工智能中的不确定性

当我们构建能够学习和决策的机器时,我们必须赋予它们一种关键的智能形式:知道自己不知道什么的能力。一个对错误预测“99%自信”的机器学习模型不仅是不正确的,而且是危险的。因此,随机不确定性和认知不确定性之间的区别正处于人工智能研究的最前沿。

现代深度学习技术现在明确地对这两个组成部分进行建模。当训练一个图神经网络来预测一个国家电网的电压稳定性时,它可以被设计成对每个节点做出两个预测:最可能的电压,以及对该预测不确定性的估计。这种不确定性被进一步分解。通过使用一种称为异方差损失的技术,网络学会了预测数据本身的固有噪声或变异性——即随机不确定性。同时,通过使用像蒙特卡洛丢弃这样的方法,我们可以探究模型自身的内部困惑,询问如果其内部参数略有不同,其预测会如何变化。这些答案的方差给出了模型认知不确定性的估计——一种衡量其自身自我怀疑的度量。

当我们用人类生成的数据训练人工智能时,这种分解变得更加引人入胜。想象一下训练一个模型来从病理切片中诊断癌症。一个关键问题是,不同的专家病理学家在看同一张切片时,有时会对肿瘤的等级存在分歧。这种分歧仅仅是随机误差吗?不完全是。像层次混合效应模型或优雅的Dawid-Skene模型这样的统计模型让我们看得更深。它们可以将专家标签的总变异性分解为三个部分:案例的真实难度、每个个体评分者的系统性偏见(例如,一位医生总是比另一位更保守),以及最后一个纯粹的、不可简化的随机噪声成分。从模型的角度来看,系统性偏见是一种认知不确定性——缺乏关于是哪位专家在对切片进行评分的知识。残余的随机性是随机不确定性。一个理解这种区别的人工智能不仅可以学会模仿普通专家,还能理解他们分歧的本质,从而成为一个更稳健、更值得信赖的诊断伙伴。

治愈与伤害:医学中的两种不确定性

在任何地方,对不确定性的谨慎处理都没有比在医学中更为关键。每个病人都是一个独特的宇宙,每一次治疗都是一次进入未知的冒险。随机不确定性和认知不确定性的概念为思考这一点提供了强大的框架,从开发新药到医患之间亲密交谈的空间。

在模型引导的药物研发(MIDD)中,药理学家构建复杂的模型来预测新药在人体内的行为。一个核心工具是层次模型,这是一种具有非凡美感和力量的统计结构。在层次结构的顶端是群体水平的参数——整个群体的平均药物清除率(CLpopCL_{\text{pop}}CLpop​)或分布容积(VpopV_{\text{pop}}Vpop​)。我们对这些平均值的不确定性是​​认知性的​​。我们通过从临床试验中收集数据来减少它。但模型不止于此。它认识到没有两个病人是相同的。在下一层次,它模拟每个个体患者的清除率 CLiCL_iCLi​ 如何偏离群体平均值。这种患者间的变异性是一种真实的生物现象——一种​​随机​​不确定性。最后,在最低层次,模型考虑了每次血药浓度测量中的随机噪声。这种优雅的结构使科学家能够将对群体为真的事实与个体美丽而不可简化的多样性分离开来。

这种区别在临床上具有深远的影响。考虑一位医生向患者咨询一种新药。证据可能表明有1%的严重副作用风险。这1%代表了随机不确定性——即这位特定患者将成为不幸者的内在机会。但也许这种药物的临床试验规模很小,或者包含的具有该患者特定特征的患者很少。医生不确定对于这位患者的真实风险究竟是1%,还是0.5%,或者可能是3%,这是认知不确定性。

一次有道德且有效的对话需要解决这两者。随机不确定性必须清晰地传达,以便患者可以根据自己的价值观和目标权衡概率性的风险和收益。但认知不确定性也必须被披露。医生必须说:“这是证据所显示的,但这是该证据的局限性。”这种承认知识不完整的做法不是失败;它是一个真正伙伴关系的开始。它为更丰富的讨论打开了大门:我们是否应该做更多测试来减少认知不upercertainty?我们是否应该寻求第二意见?或者我们是否应该谨慎行事,知道我们是在不完美的信息基础上行动?

正义、政策与人类境况

这个理念——将无知与机遇分开——的涟漪效应延伸到我们社会的结构中,塑造着我们的法律和我们最关键的政策辩论。

在一些法律体系中,一个名为“机会丧失”原则的迷人学说已经演变出来,用于处理医疗事故案件,其中医生的疏忽可能降低了患者的生存概率。假设一名患者在及时诊断的情况下有36%的生存机会,但由于疏忽延误,这个机会下降到22%。传统法律在这里遇到了困难:因为机会从未超过50%,人们无法证明患者“本会”存活。然而,“机会丧失”原则做出了一个辉煌的概念性飞跃。它承认患者的命运受到​​随机​​不确定性的影响;生存是一次掷骰子。疏忽造成的伤害不是死亡本身,而是失去的机会——有利结果机会减少了14%。于是,法院的挑战变成了​​认知​​不确定性的问题:它必须权衡科学证据,以决定是否“更有可能”确实失去了机会。一旦这个认知障碍被清除,法律体系就可以判给与失去机会成比例的损害赔偿,从而正式承认随机性在人类生活中的作用。

这把我们带到了我们科学能力和伦理视野的最前沿:使用像CRISPR这样的技术进行生殖系基因编辑的领域。在这里,随机不确定性和认知不确定性之间的区别是负责任政策的最重要指南。一次编辑可能导致已知的、随机的脱靶突变的风险是一种随机风险。我们可以量化它,研究它,并决定一个可接受的风险阈值。这是一个风险管理问题。但是,编辑生殖系可能在几十年或几代人之后,通过我们尚未理解的生物学途径,引发不可预见的灾难性发育后果的风险,是一种深刻的认知不确定性。这是一个真正的“未知的未知”。

将这两者混为一谈是一个严重的错误。20世纪优生学运动的教训告诉我们,在不完整知识的基础上带着傲慢的确定性行事会带来何等可怕的后果。因此,我们的政策反应必须是双重的。我们通过定量分析和安全标准来管理随机风险。但我们必须以极度审慎和谦卑的态度来面对认知不确定性。这意味着暂停、分阶段试验、激烈的公众辩论,以及在采取不可逆转的步骤之前致力于减少我们的无知的首要承诺。正是通过承认我们知识的边界,通过清晰地将世界的随机性与我们对其理解的差距分离开来,我们才找到了驾驭未来的智慧。