玻尔百科在一个由智能机器定义的时代，从穿梭于我们街道的自动驾驶汽车到诊断疾病的人工智能，信任问题已变得至关重要。我们依赖这些复杂系统来执行关键任务，但我们如何能确定它们不仅功能正常，而且从根本上是安全的？这个问题揭示了系统设计中一个常被忽视的关键知识鸿沟：一个工作可靠的系统与一个运行安全的系统之间存在着深刻的差异。本文为安全保证这一学科提供了权威指南，该学科是构建信任的结构化科学。我们的旅程始于第一章“原则与机制”，在其中我们将解构安全工程的核心概念，从构建安全性的逻辑论证到用于验证现代人工智能的数学技术。随后，“应用与跨学科联系”一章将展示这些原则如何付诸实践，探讨其在医学、自治系统乃至公共政策等不同领域中的重要作用。读完本文，您将不仅理解什么是安全性，还将明白在塑造我们世界的最关键技术中，安全性是如何被系统性地论证、验证和维护的。
让我们从一个思想实验开始。想象一家工厂里有一台最先进的机器人手臂。它的硬件故障率惊人地低，其软件也没有任何程序错误。它连续一百万次以完美的精度执行其编程任务——焊接汽车底盘。这个系统可靠吗？根据任何合理的定义，是的。它以始终如一的稳定性执行其指定功能。
现在，让我们加入一个转折。该机器人的视觉系统中存在一个系统性漏洞：在某些罕见的光照条件下，其传感器会产生有偏差的测量，从而误判底盘的位置。控制器作为完美可靠的设备，忠实地基于这个有缺陷的数据执行其无瑕疵的程序。结果呢？机器人手臂以完美的精度挥向一个有工人占据的空间。在那一刻，该系统既是完美可靠的——它完全按照指令行事——同时也是灾难性地不安全的。
这个故事阐明了该领域中最重要的一个概念：安全性与可靠性不同。可靠性是正确服务的持续性；它衡量的是系统执行其指定功能的能力。而另一方面，安全性是指免于不可接受的伤害风险。 一个系统即使可靠也可能不安全，如果其正确指定的行为在某些条件下是危险的。反之，一个系统可能不可靠但安全，如果其失效模式是良性的——想象一个交通信号灯，在发生故障时，会默认在所有方向上闪烁红灯。
这种区别意义深远。它告诉我们，安全性不是通过构建高质量、高可靠性的系统就能免费获得的涌现属性。它是一个独特且至关重要的属性，必须被明确地设计、分析和论证。
如果安全性必须被明确论证，我们该如何构建这个论证呢？我们不能简单地运行几次测试就宣布成功。对于任何复杂系统，可能出现的情景数量几乎是无限的。相反，我们必须构建一个结构化的、合乎逻辑的、可审计的论证，就像律师在法庭上陈述案件一样。这被称为安全保证案例 (Safety Assurance Case, SAC)。
一个SAC始于一个单一、清晰的顶层声明。对于一个用于分析皮肤图像的人工智能医疗设备，这个声明可能是：“在其预期用途下，该设备呈现出可接受的风险水平。” 这一高层声明随后被系统地分解为一个层次结构，包含更具体的子声明，例如：
这些子声明中的每一个都必须有具体证据支持——设计文档、软件测试结果、临床试验数据、风险分析等等。SAC的真正力量在于其结构。像目标结构符号 (Goal Structuring Notation, GSN) 这样的表示法提供了一种图形化语言来描绘论证过程，使逻辑流程变得透明。GSN迫使工程师明确说明一个声明的背景（例如，“此设备旨在由受过培训的皮肤科医生使用”）、所做的假设（例如，“我们假设图像质量满足最低标准”）以及可能削弱论证的潜在反驳论点（例如，“如果AI遇到一种它未曾训练过的罕见皮肤病怎么办？”）。 这个过程创建了一条可追溯的“认知链”，将抽象的顶层安全声明一直追溯到支持它的原始数据。
在我们能够论证风险已得到控制之前，我们必须首先发现它们。这需要一场系统性且富有创造性地寻找危害的行动。其中两种最悠久且有效的技术是HAZOP和FMEA，它们可以被看作是一对风格互补的侦探。
危险与可操作性研究 (Hazard and Operability Study, HAZOP) 是富有想象力的、自上而下的侦探。它涉及一个多学科团队，审查系统的图表——例如化工厂、控制回路——并对系统的参数应用一组简单的“引导词”。对于一根输送流体的管道，他们会系统地问：如果没有流量怎么办？流量更多？流量更少？流量反向？如果管道输送的是部分预期流体，或者同时还有其他物质呢？对于现代的信息物理系统 (Cyber-Physical System, CPS)，他们可能会问：如果传感器数据晚到？损坏？陈旧？ 这种结构化头脑风暴有助于发现那些否则可能被忽略的、令人意外且危险的相互作用。
失效模式与影响分析 (Failure Modes and Effects Analysis, FMEA) 是细致的、自下而上的侦探。它从单个组件开始：一个传感器、一个螺栓、一个软件模块、一个网络交换机。对于每一个组件，它都会问：这个组件可能以哪些方式失效？（这些是“失效模式”）。直接的后果（“局部影响”）和最终的系统级后果（“最终影响”）是什么？它们有多严重？它们发生的可能性有多大？我们能在故障发生时检测到它吗？ 这个详尽的过程创建了一个潜在故障的目录，并帮助识别关键的单点故障，从而推动设计走向冗余和容错。
HAZOP帮助我们理解在系统层面什么可能出错，从而定义了我们需要满足的安全要求。FMEA则帮助我们提供证据，证明我们选择的设计对于如何出错——即其组件可能失效的具体方式——是鲁棒的。
并非所有风险都是平等的。一个导致轻微不便的系统故障与一个可能导致灾难的系统故障有本质上的不同。因此，安全工程并非要完全消除风险——这是一个不可能实现的目标——而是要将其管理到可接受的水平。这就需要我们对其进行量化。
不同行业的主要安全标准都将这一思想法典化。针对工业控制的IEC 61508定义了安全完整性等级 (Safety Integrity Levels, SILs)，针对汽车的ISO 26262定义了汽车安全完整性等级 (Automotive Safety Integrity Levels, ASILs)，针对航空的DO-178C定义了设计保证等级 (Design Assurance Levels, DALs)。这些本质上都是风险类别。一个其故障可能导致轻微、可逆伤害的功能可能会被分配一个低等级（如SIL 1或ASIL A），而一个防止多人死亡的功能则需要最高等级（如SIL 4或ASIL D）。
这些等级不仅仅是标签；它们附带着严格的量化目标。对于一个“低需求率”安全功能（仅在紧急情况下激活的功能），SIL 2要求其平均按需失效概率 () 介于和之间。 这意味着它在100次中必须至少工作99次，最好是1000次中工作超过999次。对于像安全阀这样的简单组件，我们甚至可以估算这个值。如果阀门有一个恒定的“危险未检测”故障率（这种故障会阻止其工作但在正常操作中不可见），并且它每隔一个时间间隔进行一次全面测试，那么其在需要时已失效的平均概率的简化公式是：
通过代入组件故障数据和计划的维护间隔，工程师可以计算出他们的设计是否达到了其所需完整性等级的目标，从而为“可接受的安全性”这一声明带来了数学上的严谨性。
经典技术对于我们可以完全描述和预测的系统非常强大。但是，对于自动驾驶汽车中的神经网络——其行为是数百万个学习参数的涌现属性——又该怎么办呢？要证明这样的系统将永远安全，是一项巨大的挑战。
为了解决这个问题，安全工程师转向了形式化验证领域，特别是一种称为可达性分析的技术。想象一个系统的状态——其位置、速度、温度等——作为一个广阔的多维“状态空间”中的一个点。我们可以将这个空间中的某些区域指定为“不安全”的（例如，汽车的位置与行人的位置重叠）。那么，根本的安全性问题就变成了：从一个已知的安全初始条件开始，系统的状态有没有可能进入不安全区域？
可达性分析的目标是计算可达集——系统可能访问到的所有状态的完整集合。如果这个集合与不安全区域没有交集，那么系统就是可证明安全的。这就像在一张地图上将旅行者能去的所有地方都涂上颜色；如果所有涂色区域都没有触及“危险地带”，那么旅行者就是安全的。
但问题在于：对于复杂的非线性系统，精确计算这个可达集的形状通常在计算上是不可行的。因此，我们做出一个聪明而关键的权衡。我们不去计算那个精确而复杂的形状，而是计算一个更简单、更大的形状（比如一个球体或一个盒子），并保证它能包含前者。这被称为过近似。
这种方法可能是保守的。这个更大的、近似的集合可能会与不安全区域重叠，即使真正的可达集并没有，从而导致“假警报”。然而，该方法是可靠的：如果过近似被证明完全在安全区域内，那么我们就有一个铁证如山的保证，即真实的系统也是安全的。我们牺牲了一点精度来换取确定性。这种为了实现可证明的安全性而愿意接受保守边界的做法，是现代验证的基石。[@problem-id:4253602]
复杂性和演化的挑战——无论是对于学习的人工智能系统，还是任何接收软件更新的系统——都导致了一场深刻的哲学转变。第一天认证的安全案例可能在第二天就失效了。安全性不能是一次性的检查；它必须是一个持续的、贯穿整个生命周期的承诺。
这意味着安全保证必须从初始认证延伸到系统的运行生命周期中。这就是持续保证和动态安全案例的世界。系统的性能在现场被持续监控。数据被反馈到复杂的仿真中，通常称为数字孪生，这些仿真与物理系统并行运行，以持续重新评估其真实世界的残余风险，确保它始终低于经认证的最大阈值，。每一次软件更新、每一个观察到的异常、每一次有惊无险的事件，都成为维护和加强安全论证的输入。
这种哲学催生了一种用于构建安全自治系统的优美架构模式，称为运行时保证。假设你有一个用于机器人的高度先进的AI控制器。它非常出色、高效，并能以精妙的方式执行任务，但其复杂性使其无法进行形式化验证。你就这样信任它吗？不。你使用Simplex架构。
你将系统设计为拥有两个截然不同的控制器。第一个是复杂的、未经验证的、高性能的“天才”控制器 ()。第二个是一个简单得多、或许效率较低、但经过形式化验证的“安全”控制器 ()。安全控制器的行为非常简单，以至于我们可以用数学方法证明它总能将系统保持在安全状态内。
一个安全监控器扮演着监护人的角色。它使用一个预测模型，不断地展望未来零点几秒，观察天才控制器将要做什么。如果预测的轨迹远在安全操作范围内，天才控制器就继续掌管。但是，如果监控器预见到天才控制器提议的行动可能会使系统过于接近不安全的边界，它会立即、权威地将控制权切换给那个虽然乏味但可证明安全的控制器，后者随后会采取行动，将系统引导回安全状态。
这个“安全边界”不是一个模糊的概念；它是状态空间中一个数学上精确的区域，通常使用控制理论中的一个概念——控制李雅普诺夫函数来定义。这个函数的作用就像一种“能量”场，较低的值对应于更安全的状态。切换规则经过严格计算，以确保即使存在反应延迟，系统也绝不会进入一个安全控制器无法恢复的状态。 这种架构优雅地提供了两全其美的方案：在安全的情况下实现高性能，在关键时刻保证安全。
这个宏伟的拼图还有最后一块关键的部分。我们所有关于随机故障和复杂行为的仔细分析都假设系统在一个诚实的世界中运行。但如果它正被主动欺骗呢？如果一个恶意行为者欺骗车辆的GPS信号，或向工厂的控制网络注入虚假命令怎么办？
在我们这个互联的世界里，一个系统如果不安防（secure），就不可能真正安全（safe）。然而，处理随机故障和设计错误的安全性（safety）工程与处理防御智能对手的安防性（security）工程，在历史上一直是两个独立的学科。一种现代的、整体的可信性方法需要它们的整合，这种实践被称为协同保证。
关键不在于简单地合并这两个领域，而是在它们各自的论证之间建立一座形式化的、逻辑的桥梁。一个安全案例不能简单地忽略安防威胁或假设它们不存在。相反，它必须对安防控制的有效性做出明确且量化的假设。
例如，一个联网的信息物理系统的安全案例可能会陈述：“我们假设所实施的安防措施（例如，加密消息认证）确保恶意命令被成功注入并被控制器接受的概率小于某个非常小的值。”
这个在安全论证中明确提出的陈述，现在成为了安防团队的一个形式化要求。安防案例随后必须提供证据——渗透测试报告、密码学审计、对安防协议的形式化分析——来证明关于的这个具体声明。然后，通过将随机硬件故障的风险与潜在安防漏洞带来的这个虽小但非零的残余风险相结合，来计算总的系统风险。 这就创建了一个清晰、可追溯且可辩护的论证，考虑到了所有可预见的伤害来源，无论是意外的还是故意的。这是对安全性（safety）和安防性（security）是同一枚硬币——可信性——的两个不可分割的侧面的最终认识。
安全保证的原则，虽然在其抽象中显得优雅，但并不仅限于书本的页面。当它们进入混乱、高风险的现实世界时，其真正的力量和美感才得以展现。它们是支持我们信任新药的无形架构，是我们对自动驾驶汽车充满信心的基石，也是我们要求塑造我们城市的算法保持公平的依据。这是一段穿越安全保证多样化应用的旅程，展示了一种统一的思维方式如何成为一把万能钥匙，解锁药理学、自治系统和公共卫生等迥然不同领域的挑战。
也许没有哪个领域比医学更能生动地说明安全保证的必要性。当一个系统与人体互动时，赌注是生死，我们对安全性的论证也必须相应地严格。
考虑一下美国食品药品监督管理局（FDA）等监管机构面临的挑战。当一种新药被提议时，我们如何确信其安全性和有效性？FDA的答案是统计安全保证的大师级课程。对于药物，标准是“有效性的实质性证据”，这通常需要至少两次独立的、良好对照的临床试验。这里蕴含着深刻的统计智慧。如果单次试验有二十分之一的机率纯粹由于运气而显示出积极效果（即I类错误概率为），那么两次独立试验都因运气显示积极效果的概率则要小得多：，即四百分之一。这种对可重复性的要求是过滤虚假希望的强大过滤器。
对于高风险医疗设备，如植入式心脏除颤器，标准则不同：“安全性和有效性的合理保证”。在这里，FDA通常采取更全面的视角，评估“整体证据”——可能是一项关键性临床研究，但辅以全面的实验室测试、动物研究和工程分析。安全案例不仅是统计上的，更是一个多方面的工程论证。
这种基于风险的思维是整个监管框架的核心。设备根据其潜在危害被分为不同类别。压舌板是I类设备，仅需一般控制。一个为心脏病专家筛选超声心动图的人工智能软件——其错误可能导致治疗延迟——是中度风险的II类设备，需要性能标准和上市后监测等特殊控制。一个维持生命的起搏器是III类设备，需要最严格的上市前批准（PMA）。审查的严格程度总是与风险成正比。
当我们认识到一个设备的风险并非其固有属性，而是由其用途定义时，这一原则变得尤为清晰。一个体外诊断测试，一个分析组织样本的简单试剂盒，看似风险很低。但如果它是一个*伴随诊断*——一种对于为特定药物筛选患者至关重要的测试——其风险状况就会发生变化。想象一个检测遗传标记以确定患者是否有资格使用一种新癌症药物的测试。如果该药物对有该标记的患者非常有效，但对没有该标记的患者有潜在的致命副作用，那么这个测试本身就成了一个生死攸关的守门人。一个假阳性结果可能使患者在毫无益处的情况下暴露于有毒药物。一个假阴性结果则可能剥夺患者接受救命疗法的机会。在这种情况下，这个简单的测试试剂盒被提升为高风险的III类设备，需要与起搏器同等级别的审查。我们看到，安全性不是孤立组件的属性，而是整个系统在其临床背景下的属性。
当我们引入人工智能时，这种系统级思维变得更加关键。传统的医疗设备是静态的；它明天的性能和今天一样。但机器学习模型被设计为可以演进的。我们如何保证一个会变化的东西的安全性？
答案是一项卓越的监管创新：预定的变更控制计划（PCCP）。监管机构不是批准一个固定的算法，而是批准制造商更新算法的流程。PCCP是一份在上市前审查时提交的详细合同，明确规定了允许哪些类型的变更、每次变更的验证和确认协议，以及必须维持的不可协商的性能边界（例如，假阴性率不得超过某个阈值）。通过批准该计划，FDA实际上是在一个预先协商、经过验证的安全范围内授予了“更新许可”。这是从保证静态产品到保证动态学习过程的转变[@problem_d:4420922]。
即使有了经过验证的流程，我们又如何在床边实时信任人工智能的决策呢？想象一个用于管理脓毒症（一种危及生命的疾病）的临床决策支持系统。一个强化学习（RL）智能体可能会建议一种新颖的治疗方案。我们不能简单地听从机器。相反，我们构建一个运行时保证监控器。该监控器使用统计置信区间来衡量人工智能的不确定性。它计算人工智能提议行动价值的“置信下界”（LCB）——一个对其质量的悲观估计。只有当这个悲观的LCB仍然被证明优于基线的保守人类方案时，监控器才会允许人工智能偏离标准方案。随着人工智能对某个行动的不确定性增加（可能因为在特定患者状态下缺乏经验），其LCB会自动降低，使系统天生更加保守。这一“面对不确定性时的悲观原则”创造了一种优美的、自我调节的安全机制，平衡了人工智能的前景与医学所需的审慎。
从人体转向工程系统的世界，我们发现同样的安全保证原则在发挥作用，确保我们周围复杂机器的可靠性。
现代工程中的一个核心工具是*数字孪生*——一个物理系统（如汽车、飞机或发电厂）的高保真、同步的计算复制品。其最关键的角色之一是在运行时安全监控中。
考虑一辆自动驾驶汽车。其数字孪生维持着对车辆状态的精确估计。然而，这种估计绝非完美；孪生体与真实车辆之间总存在同步误差。车辆的安全性可以用一个“屏障函数”来描述，其中意味着车辆处于安全状态（例如，在车道内）。运行时监控器只能看到孪生体的状态，它不能简单地检查是否。为了保证安全，它必须是保守的。它必须在其不确定性范围内考虑最坏的可能性。利用李普希兹连续性的数学性质（该性质限制了屏障函数的变化速度），监控器计算出一个安全裕度。它不是在孪生体状态触及边界时触发纠正措施，而是在安全气泡的边缘触及边界时——即当时。这确保了即使状态信息不完美，真实车辆也能保持安全。
但我们如何信任孪生体本身呢？一个纯粹基于软件的仿真（软件在环，SIL）模拟理想物理学是不够的。现实世界充满了混乱的物理接口：执行器延迟、传感器量化噪声和带宽限制。这些非理想性不仅仅是次要细节；它们可以从根本上改变系统的行为，可能使一个在仿真中看起来可控的系统在现实中变得不可控。为了构建一个真正忠实的代理，工程师使用硬件在环（HIL）仿真，其中物理电子控制单元（ECU）通过真实或仿真的硬件接口连接到数字孪生。这迫使仿真面对与真实设备相同的延迟、饱和和噪声。当这些硬件效应对正确评估系统的可控性、可观测性和可辨识性——这些是稳健安全案例的根本基础——至关重要时，HIL是必不可少的。
为一个复杂系统（如检测电网高阻抗故障的人工智能）构建一个完整的安全案例，通常需要双管齐下的方法。这是统计测试与形式化证明之间优美的二重奏。
首先是统计论证。我们无法测试所有可能的情景，但我们可以测试大量的场景。通过运行数百万个独立同分布的模拟故障场景并观察到零漏报故障，我们无法证明系统是完美的。但我们可以使用二项式模型做出一个强有力的概率性陈述，例如：“我们有99.9%的统计置信度认为，真实漏报故障的概率小于。” 这是在预期操作条件下对可靠性的经验保证。
其次是形式化论证。在这里，我们从测试转向数学证明。使用形式化验证的技术，我们可以证明对于任何可接受的故障输入，任何在有界范围内的微小扰动（例如，来自传感器噪声）都不能导致检测器将其决策从“故障”翻转为“正常”。这是一个确定性的、最坏情况下的保证，提供了深层次的鲁棒性。一个关键人工智能系统的现代安全证书就建立在这两个互补的支柱之上：高可靠性的经验证据和局部鲁棒性的形式化证明。
当我们放大视野，考虑大规模的社会技术系统时，安全保证的原则找到了其最广泛的应用，这里的“系统”不仅包括技术，还包括人群及其社会结构。
设计一个基于人群的癌症筛查项目是一个宏大的安全保证问题。想象一个农村卫生部门决定如何部署乳腺X光检查服务。他们必须权衡各种选择，如固定的中心设施与移动筛查单位。目标是为人群实现净效益最大化。这不仅仅是选择最先进机器的问题。
第一步是应用严格的安全和质量约束。任何违反强制性法规（如美国的乳腺X光检查质量标准法案MQSA）的策略都会立即被排除。一个质量保证程序不充分或提供过量辐射剂量的选项，无论其其他优点如何，都是不可接受的。
一旦不合规的选项被过滤掉，任务就变成了在有效选择中进行优化。在这里，系统级思维是关键。一个中心化设施可能提供略好的图像质量，但如果人们难以到达，其使用率就会很低。一个移动单位，只要完全符合MQSA标准，就可能实现高得多的参与率。通过筛查更大比例的人群，移动策略能检测到显著更多的癌症，从而带来更大的整体公共卫生效益，即使它也相应地产生了更高数量的假阳性。这是作为公共政策的安全保证：一个旨在最大化人群福祉的约束优化问题。
最后，我们来到了安全保证思想最广阔、或许也是最重要的应用领域：对与社会本身互动的系统的治理。考虑一个用于管理交通流量和拥堵收费的城市智能交通系统（ITS）的数字孪生。一个“安全”ITS的定义必须超越仅仅防止碰撞。它还必须是公平的。
在这里，我们必须对两种类型的要求做出关键区分，它们需要根本不同的保证模式。
技术安全：这些是与物理完整性相关的硬性的、不可协商的约束。“任何两辆车不得在同一时间占据同一空间。”“必须防止交通僵局。”这些属性可以也必须用形式化时序逻辑的严谨性来指定，并通过数学验证或可证明正确的控制策略来保证。这是工程学和计算机科学的领域。
社会公平：这些是关于利益与负担公平分配的高层面政策目标。“收费负担不应不成比例地落在低收入社区。”“出行时间的改善应在各社区间共享。”这些目标通常是统计性的，需要权衡，并且其定义本身就是一个公共和政治辩论的问题。它们不能像技术安全属性那样被“证明”正确。它们的保证不是来自数学证明，而是来自一个稳健的治理过程：通过公共仪表板实现透明度，持续监控有偏见的影响，以及拥有审计系统和修订其政策目标的权力的独立社区监督。
这种职责的分离——技术安全依靠形式化验证，社会公平依靠民主治理——是构建可信的社会技术系统的成熟方法的标志。它明确了哪些问题我们可以托付给我们的算法和证明，哪些问题我们必须留给我们集体的人类判断。
从单个临床试验的微观统计到智慧城市的宏观伦理，安全保证的原则提供了一种统一的语言和一套强大的工具。它是一个结构化的、基于证据的学科，用于在复杂和不确定的世界中建立信心，将寄望于最好的艺术转变为工程成功的科学。