玻尔百科在我们这个日益复杂的世界中，我们如何确保我们所依赖的机器是安全的？我们在对待一个简单烹饪锅时的随意态度，在设计一个协作机器人或一辆自动驾驶汽车时是极其不充分的，因为在这些场景下，失效可能是灾难性的。功能安全这一学科弥合了从模糊担忧到量化确定性之间的鸿沟——这是一个将信任工程化到技术中的严谨框架。本文将带领读者全面深入地了解这一关键领域。首先，在“原理与机制”部分，我们将建立危险的基本词汇——定义危害、风险和安全——并探讨安全完整性等级（SIL/ASIL）、容错设计和可靠性数学等核心概念。然后，在“应用与跨学科联系”部分，我们将见证这些原则在汽车、工业控制系统乃至人工智能和核聚变前沿等不同领域的实际应用。准备好从抽象概念走向保护我们现代世界的具体工程实践吧。
我们应如何开始思考安全问题？让我们不从宇宙飞船或核反应堆开始，而是从一个更为平凡的物品：一个简单的烹饪锅。它可能会出什么问题？手柄连接不牢，可能在你刚从炉子上拿起它时断裂，导致沸水溢出。金属可能存在隐藏的缺陷，导致其在压力下破裂。这些都是简单的失效。我们可能会检查手柄或从信誉良好的品牌购买，但大多数时候，我们只是接受了那微小的残余风险。
现在，让我们将规模扩大。你设计的不是一个烹饪锅，而是一个将与人类工人并肩工作的协作机器人的控制系统，或是在拥挤城市中穿梭的自动驾驶摆渡车的制动系统。失效的后果不再是弄脏的地板和轻微的烫伤，而是潜在的灾难性伤害。“寄希望于最好的结果”已不再是一个可选项。我们需要一个严谨、系统的学科来指导我们。这个学科就是功能安全的领域。这是一段从模糊担忧到量化确定性的旅程，是一种将信任工程化到日益普及于我们世界中的机器的方法。
要踏上这段旅程，我们必须首先学习它的语言。在日常对话中，我们交替使用“危害”和“风险”等词语。在工程学中，它们有着精确而独特的含义。
危害 (hazard) 是潜在的伤害来源——一种状态或条件，如果其他情况同时发生，就可能导致事故。想象一下工厂地板上的一滩油。它本身并未造成任何伤害，仅仅是一种状况。只有当有人走过、滑倒并摔伤时，它才变成一场事故。机器人手臂的意外高速运动是一种危害；与人碰撞是随之而来的事故。危害是事故的先决条件。任何安全分析的第一步都是系统地识别一个系统可能呈现的所有危害。
另一方面，风险 (risk) 是对该潜在危险的度量。它不是危害本身，而是两个关键因素的结合：潜在伤害的严重性 (severity) 和该伤害发生的可能性 (likelihood)（或概率）。在工厂一个用警戒线围起来、很少使用的角落里的那滩油，构成的风险非常低。同样一滩油，若在繁忙走道中间，则构成非常高的风险。危害是相同的，但有人遇到它的可能性已发生巨大变化。我们可以将其视为一个函数：。要管理风险，我们必须理解并控制这两个组成部分。
这引出了我们最后一个核心概念：安全 (safety)。如果风险无处不在，那么真正的安全是否可以实现？从绝对意义上说，不行。一个零风险的系统通常是一个什么都不做的系统。一架永不离地的飞机绝对不会坠毁，但它也失去了其存在的意义。因此，在工程学中，我们将安全定义为免于不可接受的风险 (freedom from unacceptable risk)。这是一个深刻的观念转变。它将安全从一个绝对、无法企及的理想，转变为一个实际的、伦理的、工程的挑战。我们的工作不是消除所有风险，而是确定对于一个给定的应用，何种程度的风险是可接受的，然后设计一个能可靠地将风险维持在该阈值之下的系统。这个“可容忍风险”成为我们的目标，是我们整个设计过程的指路明灯。
当我们想到一个系统失效时，我们通常会想象有东西坏了。一根电线断了，一个处理器过热了，一个内存位被偶然的宇宙射线翻转了。这确实是安全故事的很大一部分。这是功能安全 (Functional Safety) 的世界。它是指整体安全中处理由电气和电子系统功能失常行为引起的危害的那一部分[@problem-id:4239836]。
功能安全的核心思想是构建能够检测这些底层故障并将系统转换到安全状态的安全机制。例如，如果一个瞬态硬件故障损坏了自动驾驶汽车激光雷达传感器的数据，安全监控器应能检测到此异常，并指令车辆执行受控停车。汽车的主要功能（驾驶）失效了，但其安全功能（检测失效并停车）正常工作了。功能安全旨在通过安全相关功能在面对内部故障时的正确操作来实现安全。
但是，如果什么都没坏呢？如果每个组件都完全按照其设计运行，而系统仍然做出了危险的举动呢？这是失效的第二个、更微妙的方面，一个在人工智能时代变得至关重要的挑战。这就是预期功能安全 (SOTIF, Safety of the Intended Functionality) 的领域。
SOTIF 致力于解决因系统预期功能的局限性而导致的、在没有故障存在情况下的不合理风险。想象一下一个由最先进的神经网络驱动的自动驾驶摆渡车的感知系统。它遇到了一个在其训练数据中从未见过的、新奇的道路施工布局。在困惑中，它错误地解读了临时车道标记，并规划了一条通往危险区域的路径。没有传感器失效，没有软件崩溃；系统“按设计”执行了。只是设计本身不够稳健，无法处理那个特定的极端情况。同样，汽车上的摄像头系统可能会被太阳强光致盲，不是因为传感器坏了，而是因为其规定的性能极限已经达到。SOTIF 关注的不是物件损坏，而是正确运行的系统所固有的性能边界。管理 SOTIF 要求我们少考虑组件故障，更多地思考如何扩展我们的测试场景、改进训练数据，并理解我们系统将要运行的环境中的“已知的未知”。
仅仅说一个系统必须“安全”是不够的。我们需要具体说明多安全。一个为核反应堆设计安全功能的工程师，需要的置信度远高于一个为咖啡机设计安全功能的工程师。这就是安全完整性等级 (SIL) 和汽车安全完整性等级 (ASIL) 概念发挥作用的地方。
由 IEC 61508（针对通用工业系统）和 ISO 26262（针对汽车）等标准引入的 SIL 和 ASIL，本质上是对安全功能稳健性的“星级评定”。它们提供了一个离散的等级——通常是从 1 到 4（对于 SIL）或从 A 到 D（对于 ASIL）——来规定所需的风险降低水平。一个要求 SIL 4 或 ASIL D 的系统，意味着其失效可能导致最灾难性的后果。
至关重要的是，这些等级不是随意选择的。它们直接源于对特定危害的风险分析。例如，汽车标准通过评估三个参数来确定 ASIL：
一个具有高严重性、高频率暴露度和低可控性的场景（例如，在高速公路上意外偏离车道）将要求最高的完整性等级 ASIL D。这提供了一条从危险的性质到解决方案的严格程度的逻辑、可追溯的路径。
最重要的是，SIL 或 ASIL 不仅仅是一个定性标签；它是一个量化的工程目标。它对应于安全功能可接受的、一个特定的、狭窄的失效概率范围。例如，一个 ASIL D 的安全目标要求，危险的随机硬件失效概率必须低于每小时 ——这是一个极其严苛的目标。
我们如何能够设计一个系统，并自信地宣称它每亿小时才会发生一次危险失效？答案在于优美且出人意料地直观的可靠性数学。
让我们考虑一个很少使用的安全功能，比如紧急停止按钮。这被称为“低需求”系统。其性能由其按需失效概率 (PFD) 来衡量——即在你按下它时它不工作的几率。现在，假设这个系统有一个关键组件，会随着时间随机失效。我们称其恒定的失效率，即“危险率”为 。为确保其正常工作，我们每隔 小时对其进行一次完美的测试，将其恢复到“完好如新”的状态。那么，在该测试间隔内的平均 PFD 是多少？
在测试刚结束的时刻 ()，系统工作完美，所以其失效概率为零。随着时间的推移，它已经失效的几率增加。对于恒定的失效率 ，到时间 时已经失效的概率近似为 （对于较小的 值）。由于需求可能在间隔 内的任何随机时间发生，我们需要这段时间内的平均失效概率。概率从 0 线性增长到 。这个线性增长函数的平均值就是其最终值的一半。
这个简单的推理为我们提供了在整个安全工程中使用的、极其优雅的近似公式： 这个小公式异常强大。它将组件的固有可靠性（）和我们的维护策略（）与安全性能（）直接联系起来。它告诉我们，要提高这个简单系统的安全性，只有两种方法：获得更可靠的组件（降低 ）或更频繁地测试它（降低 ）。
这种量化的严谨性允许一个完整的“可追溯性链条”。我们从一个关于可容忍风险的高层次社会或伦理决策开始（例如，对于致命事件， 每小时）。我们计算我们系统在没有任何安全措施下的风险。两者之比给出了所需的风险降低量，这直接转化为我们安全功能所需的 。然后，我们可以使用上述公式来选择组件和设置测试间隔以达到该目标。从伦理到工程，每一个决策都是环环相扣的。
有了这个框架，我们实际上如何构建这些超高可靠性的系统呢？我们不可能只找到一个保证每亿小时失效次数少于一次的单一组件。相反，我们使用巧妙的架构策略。
书中最古老的技巧之一是冗余 (redundancy)。如果飞机的一个引擎失效，还有其他引擎。如果机器人的主控制器失效，一个热备份可以接管。这就是故障-运行 (fail-operational) 系统的思想。但仅有冗余是不够的。如果系统不知道主控制器已经失效，那么备份控制器就毫无用处。
这就是诊断 (diagnostics) 变得至关重要的地方。我们构建一个子系统，其唯一的工作就是监视主系统的故障。这个“看门狗”的有效性由其诊断覆盖率 (C) 来衡量，定义为它成功检测到的所有危险故障的比例。0.99的覆盖率意味着它能捕捉到99%的危险故障。剩下的1%未被检测到，因此仍然是危险的。
这引出了另一个优美的数学见解。假设我们的主组件有一个危险失效率 。未检测到的危险失效率就是 。为了整个系统足够安全，这个残余失效率必须小于我们的目标，我们称之为 （每小时失效概率）。这给了我们不等式： 重新整理这个公式以求解所需的覆盖率，得到： 这个公式是容错设计的核心。它告诉你，即使你从一个中等不可靠的组件（高 ）开始，如果你足够聪明，设计出一个具有非常高覆盖率 的诊断机制，你仍然可以实现一个极其安全的系统（非常低的 ）。
最后，随着系统变得越来越复杂，我们必须考虑它们是如何组合在一起的。在分析一个顶层危害时，比如自动驾驶汽车的“意外加速”，我们将其分解为来自各个子系统的贡献：推进控制器、传感器融合单元、调度软件[@problem_-id:4242898]。然后我们可以为每个子系统分配一个“风险预算”。然而，我们必须极其小心依赖关系。如果推进控制器和调度软件共享同一个处理器，那么该处理器的硬件故障可能导致两者同时失效。它们不是独立的。
在这种情况下，安全工程师必须采取保守的心态。如果你不能证明两个事件是独立的，你必须假设它们是相关的。这意味着当你汇总它们的风险贡献时，你不能将它们的小概率相乘；你必须将它们相加，这会导致一个高得多的总风险（这被称为并集上限）。这迫使工程师要么设计真正的独立性（例如，使用独立的处理器和电源），要么使每个相关组件的可靠性都大大提高，以满足总和的风险预算。
从抽象的词语到确切的数字，从单一组件到复杂的交互架构，功能安全的原则提供了一个理性且可辩护的框架。它们使我们能够推理、设计并最终信任那些我们赖以保障安全和福祉的系统。
在经历了功能安全基本原理的旅程之后，你可能会有一种类似于学会了国际象棋规则的感觉。你知道棋子如何移动，什么是“将死”，以及总体的目标。但只有当你看到大师们对弈时——在那些由简单规则衍生出的复杂策略、惊人牺牲和优雅组合中——游戏的真正美和深度才会显现出来。在本章中，我们将观看大师们的表演。我们将看到危害、风险和完整性等级这些抽象概念，如何在从工业腹地到人工智能前沿，乃至创造“人造太阳”的边缘等令人惊叹的现代技术景观中活跃起来。
你会发现，功能安全不是一个狭窄、孤立的学科。它是一种统一的语言，一种连接化学工程与计算机架构、汽车设计与医疗机器人、控制理论与核聚变奇特物理学的思维方式。它是构建不会失效的东西的科学——或者更准确地说，是构建能够优雅、可预测且安全地失效的东西的科学。
让我们从一个充满巨大能量和潜在危险的地方开始：一个化工厂。在这里，功能安全的“纵深防御”基本策略以鲜明的形式展现出来。想象一下运行工厂日常运营的系统——优化温度、压力和流速——如同船上勤勉的船员，驾驶船只航行在商业航线上。这就是基本过程控制系统 (BPCS)。现在，想象一个独立的、加固的、时刻警惕的系统，其唯一的工作就是监视冰山。它不关心船的航期或货物；其唯一目的是采取果断行动，比如关闭引擎，以防止灾难。这就是安全仪表系统 (SIS)。
几十年来，这种布置的安全性依赖于一个简单而强大的理念：物理和电气上的独立性。SIS 是它自己的堡垒，有自己的布线、自己的逻辑和自己的电源，与 BPCS 完全分离。但在我们这个现代互联的世界里，当工厂的“数字孪生”可能被用于优化，数据在网络上自由流动时，会发生什么？堡垒的墙壁可能会变得多孔。如果 BPCS 和 SIS 共享一个网络，或一个单一的登录系统，恶意的网络攻击就像一个破坏者，偷走了通往机房和紧急控制室的钥匙。
这不是一个模糊的恐惧；这是一个可量化的风险。通过应用概率法则，安全工程师可以证明，即使是一个微小的“共因”脆弱性——比如共享凭证——也能显著增加同时失效的几率。一次危及 BPCS 的攻击不再是与 SIS 被危及的独立事件。两者同时失效的概率可能会飙升，从而可能抹去一个高安全完整性等级 (SIL) 本应提供的保护。这迫使我们得出一个关键的现代结论：网络安全不仅仅是一个 IT 问题；它是功能安全不可或缺的支柱。
连接性与安全性之间的这种张力引出了另一个引人入胜的问题：我们能信任一个网络来传输一个关键的停机信号吗？传统的答案是坚定的“不”，倾向于使用专用的、硬接线的互锁。但这种观点正在演变。建立在所谓的“黑通道”原则之上的现代安全协议，将网络视为一个不可信的信使。安全消息被包裹在多层保护之中——纠错码、序列号、时间戳和密码认证——以至于它可以在标准以太网的“黑色”混乱中穿行，并以一个可量化的、极低的概率，在不被检测到的情况下被损坏或延迟地到达目的地。在某些情况下，一个设计良好的网络化安全系统，由于更易于监控和诊断，甚至可以提供比一根可能存在更高静默失效潜力的老化物理电线更高的完整性水平。
也许没有哪个领域比汽车工业更明显地被功能安全所改变。随着汽车演变为带轮子的计算机，ISO 26262 的原则已成为其设计的基石。让我们看一看一辆电动汽车 (EV) 的引擎盖下。强大的锂离子电池是能量密度的奇迹，但它也是一个潜在的危害。电池管理系统 (BMS) 是它的守护者。
在这里，我们看到了“安全预算”的理念在实践中的应用。工程师们识别出电池所有可能发生危险失效的方式——过充、过放、过热。对于每一种危害，都定义了一个安全目标，通常是在最高的汽车安全完整性等级 ASIL D。BMS 中的每一个电子元件，从电压传感器到微控制器，都有一个虽小但非零的失效几率。安全工程师的工作就像一个一丝不苟的会计。他们将每个组件潜在失效的“风险贡献”加总起来。为了达到严格的 ASIL D 目标，总风险必须保持在一个极小的阈值以下，大约是每十亿小时运行发生十次失效的量级。这是如何实现的呢？通过诊断。如果一个传感器电路有一定的固有失效率，一个不断检查传感器健康的内置诊断功能可以“覆盖”这些失效的很大一部分，在它们造成伤害之前检测到它们并触发安全状态。安全案例于是变成了一个量化练习：为了满足整个系统的风险预算，我们必须为这个组件设计最低的诊断覆盖率 (C) 是多少？
从单个组件放大到整车，特别是自动驾驶汽车，这些数字变得更加惊人。为了达到 ASIL D 功能（如“防止危险碰撞”）所需的可靠性，没有任何单个组件能够足够完美。解决方案是冗余，这是工程上相当于“皮带加背带”的双重保障。一辆自动驾驶汽车不会只依赖一套“眼睛”；它将有两个独立的安全通道。例如，一个通道可能使用一个经过安全认证的计算机，运行专门的软件来处理来自 LIDAR 传感器的数据，而一个完全独立的通道则使用不同类型的传感器（如雷达）和一个更简单的、硬接线的逻辑控制器。
目标是确保没有任何单一故障能导致灾难。但是，如果一个单一事件——比如一个巨大的电压尖峰或一个同时被两个通道使用的芯片制造过程中的微妙缺陷——可能同时摧毁两个系统呢？这就是“共因失效”的幽灵。为了对抗它，工程师们不仅使用冗余，还使用多样性。两个通道将使用来自不同制造商的不同处理器，运行由不同团队开发的不同软件。通过使用像 -因子模型这样的工具来分析系统，该模型量化了共因失效的残余风险，工程师们可以证明他们冗余、多样的架构满足了 ASIL D 的天文数字般的安全目标。
人工智能和机器学习在关键系统中的兴起，为安全的故事开启了一个深刻的新篇章。如果一个系统没有坏呢？如果没有任何硬件失效，没有任何软件出错，但系统仍然做出了危险的事情呢？
这就是预期功能安全 (SOTIF) 的领域。功能安全 (ISO 26262) 关注的是由功能失常引起的危害。SOTIF (ISO 21448) 关注的是由一个完美运行的系统的固有局限性引起的危害。想象一下一辆自动驾驶汽车的感知系统。它的摄像头和神经网络可能完全按照设计运行，但如果它遇到了前所未有的大雾、刺眼的头灯和一个穿着奇特图案外套的行人的组合，它可能无法识别出这个人。这不是一个故障；这是预期功能的性能局限性。
识别这些“已知的未知”是一项艰巨的任务。我们不可能在真实道路上测试每一种可以想象的情景。这就是数字孪生变得不可或缺的地方。这些高保真实用作想象力的引擎，让工程师能够创造和探索一个巨大的操作场景空间。通过系统地改变天气、光照和交通模式等参数，他们可以寻找那些将人工智能推向极限并导致危险误判的特定“触发条件”，而所有这些都无需将一辆真实汽车置于危险之中。
这导致了我们在如何保障带有学习型组件 (LECs)（如神经网络）的系统方面的一个关键区别。我们必须将可以被证明的与只能被测试的分开。
这种对绝对安全约束进行形式化验证和对性能目标进行经验验证的双重方法，为驾驭我们最关键机器中人工智能的复杂性提供了一个严谨的框架。
我们讨论的原则并不仅限于工厂和汽车。它们在任何高能量和高风险要求高置信度的领域中都产生共鸣。
考虑一个机器人手术助手。当外科医生按下紧急停止按钮时，应该发生什么？天真的答案——“立即切断所有电源”——可能是灾难性的。如果机器人手臂正与脆弱的组织接触，突然停止可能会导致它猛烈晃动或变得无力，造成撕裂。真正的“安全状态”不是零能量状态，而是一种受控的、平缓的停止。设计这个过程需要物理学（模拟组织的弹簧般和阻尼特性）、控制理论（设计一个最小化作用力的减速曲线）和安全工程（以容错、高完整性的方式实现这种受控停止）的美妙结合。
在另一个极端，考虑一个托卡马克聚变反应堆。巨大的环形场线圈使用高温超导体产生巨大的磁场，储存着相当于一道闪电的能量。如果一小段超导体意外地转变为正常的电阻状态——一个称为“失超”的事件——那部分能量会以高热的形式释放出来，可能蒸发线圈。失超保护系统是它的守护者。尽管背景很具未来感，但安全过程是经典的。工程师们计算失超需求的预期频率和灾难性失效的可容忍风险。由此，他们推导出保护系统所需的安全完整性等级 (SIL)——通常是 SIL 3。然后他们设计一个冗余架构，也许为失超检测器采用一个三取二（2-out-of-3）的投票系统，并进行计算以证明其平均按需失效概率满足目标。保护化工厂的逻辑同样保护着一颗人造恒星的心脏。
最后，这些宏大的系统几乎总是依赖于计算机。在运行我们的汽车、工厂和发电厂的处理器硅片深处，安全的原则再次出现。为了在同一个CPU上运行一个关键安全任务和一个非关键任务（如媒体播放器），我们必须保证免于干扰。媒体播放器决不能使安全任务崩溃、占用其处理时间或损坏其内存。在这里，功能安全与计算机体系结构相遇。像可信执行环境 (TEEs) 这样的安全机制，在处理器内部创建隔离的硬件飞地，现在正被用作安全的基础构建块。这类系统的保障案例涉及以堪比 DO-178C 等航空电子标准的严谨性，证明硬件及其监控软件在关键世界和非关键世界之间强制执行了空间（内存）、时间（时序）和 I/O 隔离。
从工厂车间到手术室，从高速公路到聚变反应堆的核心，一条金线贯穿我们最先进技术的设计。这条线就是功能安全的纪律严明、量化且极富创造性的实践。这是一种迫使我们保持谦逊的心态——去预见各种形式的失败。它是一个工具箱，让我们能够构建具有可证明、可量化韧性的系统。随着我们将越来越多的世界委托给复杂的自动化系统，这种思维方式不再是少数工程师的专业领域；它是我们关于我们选择构建的未来的共同对话中必不可少的一部分。