玻尔百科随着自主系统日益融入我们的日常生活，从自动驾驶汽车到与我们并肩工作的机器人，确保其安全已成为一项艰巨的工程挑战。几十年来，安全等同于预防故障；如果一个系统的组件没有损坏，它就是安全的。然而，这种被称为“功能安全”的传统观点已不再足够。我们现在面临一类新的风险：即使每个传感器、计算机和每行代码都按照设计完美执行，系统仍然可能表现出危险行为。我们理解上的这一差距——一个“完美”系统产生不完美结果的问题——是开发可信赖人工智能和自动化中最关键的障碍之一。
本文介绍预期功能安全 (SOTIF)，这是一门为应对这一挑战而发展的现代安全科学。它提供了一个框架，用于理解、分析和减轻那些并非源于故障，而是源于系统设计在与复杂且不可预测的世界交互时所固有的局限性风险。在接下来的章节中，我们将踏上理解这一关键范式转变的旅程。首先，我们将探讨SOTIF的核心“原理与机制”，定义其与功能安全的关系，并介绍运行设计域 (ODD) 等关键概念。之后，我们将审视其“应用与跨学科联系”，探索SOTIF如何为工程师提供一个实用工具包，以利用仿真、数据科学和机器学习来构建和认证未来的安全自主系统。
要真正掌握现代自主系统的安全性，我们必须超越对“失效”一词的传统理解。几个世纪以来，安全工程主要关注防止事物损坏。桥梁倒塌是因为钢梁锈穿。汽车相撞是因为刹车管断裂。逻辑很简单：一个组件未能执行其功能，从而导致危险。这个安全领域专注于预防由故障和功能失常引起的危害，被称为功能安全 (Functional Safety)。这是一门成熟且至关重要的学科，致力于构建能够抵御随机硬件故障或系统性设计错误的稳健系统。想象一下，传感器通信总线上的一个毛刺导致数据流瞬间中断；一个设计良好的功能安全系统会检测到这种异常，并执行安全回退策略，如受控停车。
但是，当没有任何东西损坏时会发生什么？如果每根电线都完好无损，每个芯片都功能正常，每行代码都按预期精确执行，但系统仍然表现出危险行为，那该怎么办？这是一个更微妙，在许多方面也更深刻的挑战。想一想一位技术高超的人类驾驶员。他们也无法完全避免事故。他们可能会被太阳强光短暂致盲，视线可能被浓雾遮挡，或者可能被从停放的汽车后面突然冲出的孩子吓到。他们的眼睛、大脑和四肢都功能正常，但他们的预期功能——安全驾驶——在面对充满挑战的世界时存在固有的局限性。
这就是安全科学新领域的核心，即预期功能安全 (SOTIF)。它解决的风险并非源于功能失常，而是源于系统预期行为的内在局限性。考虑一辆自动驾驶汽车的感知系统。如果它因为其机器学习模型从未见过某种特定的道路施工配置而错误解读，这是一个 SOTIF 问题。如果其摄像头传感器在低角度太阳强光下饱和，这符合其设计规格但导致检测性能不佳，这也是一个 SOTIF 问题。甚至，如果乘客允许冰雪覆盖在传感器上，而系统因缺乏足够稳健的自检功能而继续运行，直到发生一次险些相撞的事故，这也属于 SOTIF 的范畴，被视为“合理可预见的误用”。在所有这些情况下，系统并没有损坏；它只是不足以胜任当前的任务。这一关键区别是现代自主系统安全分析的基石。
为了理解一个功能完美的系统如何导致危险，让我们构建一个简单的感知系统心智模型，这与一个思想实验中所探讨的非常相似。想象一个自动紧急制动系统。一个传感器产生一个连续信号，我们称之为 。系统的规则很简单：如果信号 大于某个阈值 ，意味着检测到障碍物，系统将施加制动。如果 ，系统则假定路径清晰。
现在，假设确实存在一个障碍物。在一个完美的世界里，它会产生一个强烈、清晰的信号。但我们的世界并不完美。信号可能因环境因素而减弱。也许障碍物部分被另一个物体遮挡，或被雨雾所掩盖。我们可以用一个变量“遮挡度” 来表示这种环境挑战。遮挡度越高，信号越弱。因此，信号强度可以建模为 ，其中 是理想条件下的信号强度，而 表示由于遮挡造成的信号损失。
此外，没有任何真实世界的测量是完全干净的；总会有少量的随机电子噪声 。所以计算机最终看到的信号是 。
SOTIF 失效的机制就在于此。在一个大雾天，遮挡度 非常高。信号强度 变得极其微弱。此时，只需要一个小的、负向的随机噪声波动，最终信号 就会降到决策阈值 以下。计算机以完美的保真度遵循其规则，看到 并得出结论：“没有障碍物。” 它不进行制动。碰撞变得不可避免。
系统的任何部分都没有失效。传感器测量了它所测量的。计算机完美无瑕地执行了其逻辑。危险源于一个特定的、具有挑战性的环境条件（高遮挡度）与系统设计中固有的性能局限（固定的阈值 ）的交集。这种“完美失效”的概率不为零；它是一个可计算的风险 ，取决于障碍物出现的频率 ()、不同天气条件的概率分布 () 以及系统自身的设计参数 (, , , )。这个简单的模型完美地说明了，在完全没有故障的情况下，危险可以是系统与其环境交互作用的涌现属性。
如果一个系统无法在所有条件下都做到完美安全，我们如何才能信任它呢？答案是我们必须划定一条界限。我们必须创建一个契约，定义系统预期安全运行的边界。这组特定的条件被称为运行设计域 (ODD)。
一个 ODD 由一组可测量的变量定义。例如，对于一个自动代客泊车系统，其 ODD 可能被规定为：前进速度 ，环境照度 （白天，非夜间），降水量 （非暴雪），等等。
ODD 是制造商的承诺。他们声称安全是在这个特定的范围内。因此，SOTIF 分析专注于确保 ODD 边界内的风险是可接受的。发生在这些边界之外的场景，例如代客泊车系统试图在照度低于 lux 的夜间运行，不属于预期功能的失效，因为该系统从未被设计用于该功能。ODD 为所有安全声明提供了基本背景。
定义了 ODD 之后，我们就拥有了一张系统应当安全运行的世界地图。但这张地图是广阔且多维的。我们不可能测试地图上的每一个点。我们可以测试常见的场景——在晴天驾驶，在光线充足的车库停车——但那些奇怪而罕见的边缘情况呢？就像地图上未知角落里写着的“此处有恶龙”。这些就是能够引发 SOTIF 危险的触发条件：日落时湿滑路面的奇异反光、模仿行人的独特形状的影子，或是被冒着蒸汽的窨井盖部分遮挡的自行车。
这就是“长尾”问题，物理上探索它是不可行的。正是在这里，现代仿真工具和数字孪生变得至关重要。数字孪生是自主系统及其环境的超高保真虚拟副本。在这个数字领域内，工程师可以系统地搜寻“恶龙”。他们可以创造任何可以想象的场景——调高雾气浓度、制造致盲的强光、生成复杂的交通流——所有这些都是为了发现那些能将他们功能完美的系统推向危险边缘的特定触发条件。
这种能力促成了一种强大的、数据驱动的安全工程方法：基于场景的风险评估。工程师可以识别 ODD 内已知的风险场景类别（例如，“白天有强光的弯道坡”)，使用数字孪生估算该场景下发生危险的概率 ()，并将其与该场景在现实世界中发生的频率 () 的数据相结合，以计算总风险的一部分。
然而，最深刻的挑战依然存在：地图上我们尚未探索的部分怎么办？那些“未知-不安全”的区域，那些我们甚至不知道其存在的“恶龙”。这种认知不确定性，即来自我们尚未识别出的场景的风险，正是让安全工程师夜不能寐的原因。我们永远无法消除它，但我们可以管理它。
这是 SOTIF 拼图的最后一块、也是最关键的一块。工程师们在整个 ODD 范围内进行大规模的随机测试，通常是在仿真环境中进行。如果他们运行了，比如说， 个随机测试用例，观察到零次危险事件，他们不会天真地断定风险为零。没有证据不等于没有风险。相反，他们会求助于统计学。例如，他们可以声明：“在 的置信度下，这些未知区域发生危险的真实概率不大于一个非常小的数值 。”一个常见的近似方法，“三分法则”，表明这个上界大约是 ，在本例中即为 。然后，将这个来自未知区域的、被保守限定的风险与来自已知场景的风险相加。如果这个总风险低于预先定义的可接受阈值，我们最终就可以提出一个可信的、基于证据的论证，证明该系统是可接受地安全的。
这段旅程——从区分故障与局限，到建模性能，再到定义运行边界，最后到探索并严格界定未知——正是 SOTIF 的科学与艺术。它代表了安全工程领域的一场哲学转变：接受完美是不可能的，真正的安全不在于消除所有失效，而在于深刻理解并严格管理我们日益智能的创造物所固有的局限性。
现在我们已经探讨了预期功能安全 (SOTIF) 的原理，我们可能会倾向于将其视为一套抽象规则而束之高阁。但这样做将完全错失其要点。SOTIF 不是理论上的奇珍异品；它是一把扳手、一台显微镜，也是为构建我们未来的工程师们准备的指南针。它是一种实用的哲学，正在积极重塑我们设计、测试以及最重要的是，信任那些开始进入我们世界的复杂自主系统的方式。
SOTIF 的原则向外辐射，与一些乍看之下遥远的学科建立了强大的联系：数据科学、仿真技术、网络安全，甚至包括法律和监管认证的形式化语言。让我们通过这些联系，一探 SOTIF 的理念是如何付诸实践的。
想象一下证明一辆自动驾驶汽车是安全的挑战。它必须行驶多少英里？一百万？十亿？一个发人深省的事实是，要从统计学上证明系统对于罕见的灾难性事件是安全的，所需的里程数是如此天文数字，以至于仅通过物理道路测试是无法实现的。我们可能需要等待几十年，甚至几个世纪，才能得到结论。
因此，工程师们转向了一个数字世界——一种高保真仿真，通常被称为“数字孪生”，它作为一个虚拟试验场。但这提出了一个深刻的问题：如果我们无法在混乱的现实世界中完全预测真实系统的行为，我们又如何能信任它的数字副本呢？这就是 SOTIF 提供指南针的地方。我们不是盲目相信仿真，而是为其构建一个形式化的“接受度论证”。这不仅仅是展示仿真“看起来不错”的问题。这是一个基于 SOTIF 原则构建的严谨、科学的论证。工程师必须在其安全论证中创建一个子声明，即数字孪生本身符合其预期用途。这涉及通过有针对性的物理实验来验证仿真，证明孪生模型的预测与现实之间的差异是可理解且有界的。例如，孪生模型对停车距离的预测可能被证明在所有相关条件下都精确到几厘米以内。这需要量化所有不确定性来源——从模型的物理学到所使用的参数——并将这种不确定性传播到最终结果中。
目标是从“仿真显示汽车是安全的”这样的陈述，转向一个更诚实、更有力的陈述：“我们已经将此仿真的准确性验证到了一个指定的程度，并且在运行了考虑所有已知不确定性的、具有统计学意义的大量测试后，危险失效概率的 置信上限低于所需的安全目标。”这种严谨的方法要求工具合格性认证、独立验证和可追溯性，是唯一可辩护的方式，将仿真用作高风险系统的主要安全证据来源。
有了这样一个经过验证的孪生模型，我们现在可以将其用作 SOTIF 实验室。想象一下，一个以前局限于原始、可预测的室内环境中的仓库机器人，现在正准备在室外装卸区工作。运行设计域 (ODD) 的这种变化是一个典型的 SOTIF 挑战。新的现象出现了：雨水使路面湿滑，阵风推动机器人，太阳的强光使传感器致盲。仅仅调整旧仿真的摩擦力或光照水平等参数将是一个危险的错误。SOTIF 思维要求我们认识到环境的物理特性已经发生了根本性变化。数字孪生的动态模型必须更新，以包含这些新的作用力和传感器失效模式。整个安全分析——从危害识别到故障树分析——都必须从第一性原理出发重新审视。受信任的数字孪生允许工程师在物理机器人在雨中转动第一个轮子之前，在安全的仿真环境中探索这些新的“已知的未知”，并发现“未知的未知”。
也许最大的 SOTIF 挑战在于现代自主系统的“大脑”之中：即感知和解释世界的机器学习 (ML) 模型。一个机器学习感知系统——识别行人、交通信号灯和障碍物的部分——它的失效不是因为晶体管烧坏了。它的失效是因为遇到了它没有经过充分训练来应对的情况，一个其性能不足的场景。这正是 SOTIF 危害的定义。
那么，我们如何建立对机器学习模型的信心呢？一个简单的指标，如在测试数据集上的“ 准确率”，从安全的角度来看几乎毫无意义。为什么？因为那个数据集可能不包含那些最重要、罕见、令人困惑且危险的“边缘案例”。这就像为考试学习一样。一个只练习最常见问题的学生可能会得到高分，但会被那个真正考验他们理解力的难题所难倒。SOTIF 要求我们成为寻找那些难题的专家猎手。
为此，工程师们正在开发复杂的 ODD 覆盖度量指标。他们不是平等地对待所有测试场景，而是创建了一个基于风险的世界地图。利用数字孪生，他们可以估算某个特定场景发生的概率（例如，在黄昏的雾中驾驶）以及该场景的内在危险性。测试的目标于是变成了实现高度的风险加权覆盖率。我们有意将测试资源集中在那些对总潜在风险贡献最大的场景上，即使它们很罕见。这种基于风险的方法确保我们不仅仅是在构建一个在大多数时间都能工作的系统，而是一个在最关键时刻不会失效的系统。
这种基于风险的视角为分析提供了一个强大的、统一的框架。我们可以用同一种数学语言来处理不同来源的风险——无论是来自机器学习模型的内在局限性，还是来自恶意的网络安全攻击。考虑一个面临两种危害的系统：其感知系统的随机错误分类，以及可能破坏其训练数据的恶意数据投毒攻击。使用定量的 SOTIF 方法，我们可以将这两种情况都建模为具有相关严重等级的危险率。然后，我们可以精确计算不同的安全措施如何影响总的残余风险。例如，一种数据管理控制措施（如对训练数据进行加密签名）可能会降低数据投毒危害的发生率。相比之下，一个检测异常行为的运行时监视器可能不会改变其发生率，但通过触发安全停车，会显著降低其有效严重性。这种定量的视角使工程师能够就将精力投入何处以实现最大风险降低做出理性的、数据驱动的决策，从而优雅地连接了功能安全、SOTIF 和网络安全等学科。
在所有分析完成、仿真运行完毕、风险计算出来之后，还剩下最后一项任务：让世界相信这个系统是安全的。这不是一次市场营销活动；这是 SOTIF 的最终应用，是工程严谨性与认证的社会和法律要求相遇的地方。
安全的“证明”是什么样子的？SOTif 的思维方式告诉了我们它不是什么。它不是一段展示完美无瑕演示的市场营销视频。它不是来自专家的奇闻轶事。它甚至不是一句简单的“我们行驶了一百万英里没有发生事故”的陈述。原始的里程数，如果没有关于驾驶条件（ODD）的背景信息，没有用以设定结果置信区间的统计分析，就只是一个大数字，而不是证据。
相反，可接受的安全完整性证据是一组结构化的、可审计的工件集合。它是一个包含形式化危害分析结果、数字孪生验证报告、具有记录在案的 ODD 代表性的仿真活动测试结果，以及表明安全目标已在高度置信下达成的定量分析的捆绑包。
这整个工作体系的最终表达形式是保证论证 (assurance case)。一个保证论证是一个宏大、连贯的论证，它将一个顶层声明（例如，“该系统在其 ODD 内运行是可接受地安全的”）与堆积如山的支撑证据联系起来。像目标结构符号 (GSN) 这样的表示法为这种论证提供了一种图形化语法，创建了一张清晰、可追溯的地图，从最高目标，经过用于实现这些目标的策略，一直到具体的解决方案——即构成证据基石的报告、分析和测试数据。
这个保证论证是 SOTIF 哲学的终极体现。它迫使工程师对其假设保持透明，对其推理过程进行明确说明，并对其证据要求严谨。这是他们讲给监管机构——以及他们自己——的故事，用以在他们创造的系统中建立合理的信心。通过这种方式，SOTIF 不仅提供了一种工程设计更安全系统的方法；它还提供了一种沟通信任的语言。