try ai
科普
编辑
分享
反馈
  • 图像相似性度量:从像素到感知

图像相似性度量:从像素到感知

SciencePedia玻尔百科
核心要点
  • 像均方误差(MSE)和峰值信噪比(PSNR)这类简单的基于像素的度量计算效率高,但通常无法捕捉人类对图像质量的感知。
  • 结构相似性指数(SSIM)通过比较局部亮度、对比度和结构,提供了一种更符合感知的度量方法,使其在压缩质量评估等任务中表现更优。
  • 互信息(MI)利用信息论,通过度量统计依赖性而非直接的强度相似性,来对齐来自不同模态的图像(如 CT 和 MRI)。
  • 图像相似性度量的选择高度依赖于具体情境,不同的度量对于图像配准、质量控制或作为人工智能中的损失函数等特定任务而言是最佳的。

引言

如何教会机器“看见”两张图像之间的相似性?这个根本问题是医学诊断、人工智能等领域取得重大进展的基础。虽然人类可以直观地判断两张图片是否相似,但将这种感知转化为定量的、可计算的度量却是一项复杂的挑战。简单地逐像素比较图像的方法常常会失败,其产生的结果不仅与我们的视觉经验相悖,也不适用于复杂的科学任务。本文旨在通过全面梳理图像相似性度量的发展脉络来弥补这一差距。在接下来的章节中,我们将首先探讨这些工具背后的“原理与机制”,剖析像素级比较(如 MSE)、基于模式的方法(如 NCC)、感知驱动的 SSIM 以及信息论驱动的 MI 的逻辑。然后,我们将在“应用与跨学科联系”一章中看到这些概念的实际应用,揭示它们在医学图像配准、质量评估以及现代人工智能系统训练中的关键作用。

原理与机制

我们如何教会机器去看?更具体地说,我们如何教它比较两张图像并告诉我们它们有多相似?这个问题不仅仅是一个学术难题,它还是无数医学奇迹的基石,从追踪肿瘤随时间的变化,到将功能性脑部扫描与结构性扫描对齐。与科学中常见的情况一样,答案并非一个单一、宏大的论断,而是一段层层递进、愈发精妙的思想之旅。我们从最幼稚简单的方法开始,通过直面其失败,我们被迫创造出更深刻的思维方式。

最简单的问题:逐像素比较

想象你有两张照片,你想知道它们是否完全相同。最直接的做法是什么?你可以将一张叠在另一张上面。如果它们相同,就会完美对齐。如果不同,光线就会从不匹配的部分透出。这正是我们第一类度量方法背后的思想。我们可以让计算机将一张图像从另一张中“减去”,逐个像素进行操作,然后看看剩下什么。如果图像完全相同,结果就是一张纯黑色的图像——什么也没剩下。

这张“差异图像”为我们提供了一张显示差异所在位置的地图,但我们通常想要一个单一的数字:一个“相似度分数”。一个自然的方法是,将每个像素点的所有差异值取平方(使所有误差都为正,并更重地惩罚大的误差),然后将它们全部平均。这就得到了​​均方误差(Mean Squared Error, MSE)​​。

MSE(x,x^)=1N∑i=1N(xi−x^i)2\mathrm{MSE}(x, \hat{x}) = \frac{1}{N} \sum_{i=1}^{N} (x_i - \hat{x}_i)^2MSE(x,x^)=N1​i=1∑N​(xi​−x^i​)2

在这里,xxx 是我们的原始图像,x^\hat{x}x^ 是我们用来比较的图像。MSE 是误差平均“能量”的直接度量。MSE 越小,匹配度越高。在信号处理领域,工程师们通常喜欢用分贝(dBdBdB)来描述,这是一种对数标度,对于比较功率比率更为直观。这就引出了​​峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)​​。

PSNR(x,x^)=10log⁡10(L2MSE(x,x^))\mathrm{PSNR}(x, \hat{x}) = 10 \log_{10}\left( \frac{L^2}{\mathrm{MSE}(x, \hat{x})} \right)PSNR(x,x^)=10log10​(MSE(x,x^)L2​)

这里的 LLL 仅仅是最大可能的像素值(对于标准的 8 位图像,这个值是 255255255)。不要被这个公式吓到;PSNR 只是 MSE 的一种伪装。由于对数的存在,较小的 MSE 会得到较大的 PSNR。这两种度量在对一组图像进行质量排序时,总会得出完全相同的顺序。

这种逐像素的方法简单、直接,并有坚实的统计学基础。如果你假设误差是简单的随机噪声,就像收音机的嘶嘶声(特别是加性高斯白噪声),那么从最大似然的角度来看,最小化 MSE 是你能做的“最好”的事情。但正是这种简单性,成了它致命的弱点。机器在盲目追求最小化 MSE 的过程中,看到的不是一幅图画,而是一个数字列表。这可能导致一些相当不智能的结论。

迈向感知的一步:对亮度和对比度的不变性

假设你拍了一张照片,然后又拍了第二张,这张照片与第一张完全相同,只是镜头盖稍微开了一点,使得整体亮度稍高。在我们的眼中,它们显然是同一事物的照片。但对于 MSE 来说,现在每一个像素都不同了!MSE 分数会很大,PSNR 会很低,仿佛在大喊:“这些图像不一样!” 这显然不是我们想要的。我们需要一种能够理解“模式”相同,即使整体亮度和对比度已改变的度量。

这就是​​归一化互相关(Normalized Cross-Correlation, NCC)​​背后的思想。NCC 不再关注原始像素值,而是先问:“对于图像的这个小块,平均亮度是多少?像素与该平均值的偏差有多大?” 它对两张图像都这样做,然后比较这些“偏差的模式”。在数学上,这等同于计算两张图像强度值之间的皮尔逊相关系数。

NCC(A,B)=∑x(A(x)−Aˉ)(B(x)−Bˉ)∑x(A(x)−Aˉ)2∑x(B(x)−Bˉ)2\mathrm{NCC}(A,B) = \frac{\sum_{\mathbf{x}} ( A(\mathbf{x}) - \bar{A} ) ( B(\mathbf{x}) - \bar{B} )}{\sqrt{\sum_{\mathbf{x}} ( A(\mathbf{x}) - \bar{A} )^{2}} \sqrt{\sum_{\mathbf{x}} ( B(\mathbf{x}) - \bar{B} )^{2}}}NCC(A,B)=∑x​(A(x)−Aˉ)2​∑x​(B(x)−Bˉ)2​∑x​(A(x)−Aˉ)(B(x)−Bˉ)​

这种方法的美妙之处在于,它在数学上对亮度和对比度的任何线性变化都具有不变性。如果你将一张图像 AAA 替换为一个新版本 a⋅A+ba \cdot A + ba⋅A+b(其中 aaa 改变对比度, bbb 改变亮度),NCC 分数仍然是完美的 +1+1+1(假设 a>0a>0a>0)。它成功地捕捉到了一个思想,即重要的是相对模式,而不是绝对值。这使得它在诸如在较大图像中寻找模板或对齐在略微不同光照条件下拍摄的两张图像等任务中,成为比 MSE 远为鲁棒的工具。

像人一样思考:结构相似性的突破

我们已经取得了进展。NCC 比 MSE 更智能。但我们离像人一样思考还差得很远。思考这样一个场景,这是图像压缩评估中的一个经典问题。我们有一张原始的高质量图像。我们创建了两个压缩版本。一个版本整体上略显模糊。另一个版本在某些地方很清晰,但在另一些地方却有丑陋、人为的方形“块”。现在,假设我们精心设计了这个思想实验,使得两个压缩图像与原始图像相比,它们的“均方误差”恰好“完全相同”。

由于 PSNR 只是 MSE 的函数,它们的 PSNR 分数也将完全相同。使用 MSE 或 PSNR 的机器会以十足的信心宣称:“这两张图像同样糟糕。” 但把它们展示给任何一个人类,他们会立刻指出那张有块状失真的图像远为扭曲和令人不快。平滑的模糊是一种优雅的退化;而块状伪影则是对图像结构的一种不自然的侵犯。

这一失败揭示了一个深刻的道理:人类视觉系统不关心随机、独立的像素误差,它关心的是“结构”。边缘、纹理、轮廓——这些才是承载意义的东西。在 2000 年代中期,这一洞见引发了图像质量评估的一场革命:​​结构相似性指数(Structural Similarity Index, SSIM)​​。

SSIM 不是逐一比较像素,而是比较像素的局部邻域。对于两张图像中的每一个小块,它会问三个简单直观的问题:

  1. ​​平均亮度(luminance)是否相似?​​ 这是对局部均值(μx\mu_xμx​ 和 μy\mu_yμy​)的比较。
  2. ​​从亮到暗的色调“范围”(contrast)是否相似?​​ 这是对局部标准差或方差(σx2\sigma_x^2σx2​ 和 σy2\sigma_y^2σy2​)的比较。
  3. ​​像素的模式(structure)看起来是否相似?​​ 这通过局部协方差(σxy\sigma_{xy}σxy​)来捕捉,它衡量两个图像块中像素值如何协同变化。

然后,SSIM 将这三个问题的答案组合成该图像块的单个分数。整个图像的最终 SSIM 分数是这些局部分数的平均值。著名的 SSIM 公式看起来有点复杂,但它只是这三个简单思想的数学表达:

SSIM(x,y)=(2μxμy+C1)(2σxy+C2)(μx2+μy2+C1)(σx2+σy2+C2)\mathrm{SSIM}(x,y) = \frac{(2\mu_x \mu_y + C_1)(2\sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1)(\sigma_x^2 + \sigma_y^2 + C_2)}SSIM(x,y)=(μx2​+μy2​+C1​)(σx2​+σy2​+C2​)(2μx​μy​+C1​)(2σxy​+C2​)​

SSIM 将块状伪影“看作”是一次灾难性的失败,因为块引入的人为边缘完全破坏了与原始图像的局部结构相关性。而温和的模糊,虽然降低了局部对比度,但在很大程度上保留了结构。因此,SSIM 会给模糊图像一个高得多的分数,正确地反映了我们自己的感知。这种专注于结构保真度的能力,使其在评估关键解剖细节(如大脑皮层的精细褶皱或血管的清晰轮廓)的保存情况时,比 PSNR 敏感得多。

对齐不同世界:信息的力量

到目前为止,我们所有的度量——MSE、NCC 和 SSIM——都在一个基本假设下运行:我们比较的图像来自同一个“世界”。它们假设图像 A 中的一个亮像素应该对应于图像 B 中的一个亮像素。在比较两张照片或两次 CT 扫描时,这是成立的。但如果我们需要比较来自完全不同世界的图像呢?

思考一下对同一患者头部的 CT 扫描和 MRI 扫描进行对齐的挑战。CT 扫描测量 X 射线衰减,因此骨骼是明亮的白色,软组织是模糊的灰色。而 T1 加权 MRI 扫描则测量磁场中质子的特性;脂肪和白质等软组织是明亮的,而骨骼和水(如脊髓液中)则是暗的。一张图像中的亮点可能是另一张图像中的暗点。一张图像中的中灰点可能对应于另一张图像中最亮的地方。它们强度值之间的关系不仅不同——它还是复杂的、非线性的、非单调的。

对于这个问题,SSD 是无用的。假设线性关系的 NCC 也完全束手无策。即使是依赖局部相关性的 SSIM 也会遇到困难。我们需要一个更抽象、更强大的思想。

这就是我们转向信息论和​​互信息(Mutual Information, MI)​​概念的地方。MI 提出了一个截然不同的问题。它不问:“强度值是否相似?” 它问的是:

“如果我知道 CT 扫描中一个像素的强度值,这能在多大程度上‘减少我对’相应 MRI 扫描中像素强度值的‘不确定性’?”

想想看。如果图像未对齐,知道一个 CT 像素的值对该位置的 MRI 像素一无所知——结构不匹配。不确定性最大,互信息为零。但是,如果图像完美对齐,一种强大的统计关系就会出现。如果 CT 扫描中的一个像素值非常高(表示骨骼),你几乎可以肯定 T1-MRI 中相应像素的值会非常低。如果 CT 扫描中的一个像素值很低(空气),它在 MRI 中也会是暗的。这种强大的统计依赖性——这种可预测性——正是 MI 所度量的。它量化了两张图像“相互”提供给对方多少信息。

MI 的数学之美在于,它对像素值的任何可逆、一对一的变换都具有不变性。无论关系是 y=xy=xy=x, y=−x+by=-x+by=−x+b, 还是 y=x3y=x^3y=x3,只要一张图像中的特定强度始终映射到另一张图像中的特定强度,MI 就能检测到这种依赖性。这使其成为配准不同模态图像无可争议的王者。

从理想理论到混乱现实

有了这三个宏大的思想——像素级差异(MSE)、线性模式匹配(NCC)、结构比较(SSIM)以及统计依赖(MI)——我们拥有了一个强大的工具箱。但现实世界总是比我们理想的理论更混乱。实践者们发现了微妙的失效模式,并发展出更巧妙的改进方法。

  • ​​重叠问题:​​ 在对齐图像时,MI 有时会被愚弄。如果一次对齐恰好造成大面积均匀背景(如患者周围的黑色空气)的重叠,这会产生一个完美但无意义的统计相关性区域。这可能会在相似度分数中产生一个“假峰”,导致算法认为它找到了一个好的匹配,而实际上只是对齐了背景。为了解决这个问题,研究人员开发了​​归一化互信息(Normalized Mutual Information, NMI)​​,它本质上是衡量共享信息占重叠区域总信息含量的百分比,从而使其对这些欺骗性的背景信号不那么敏感。

  • ​​偏置场问题:​​ 医学扫描仪并非完美。有时,由于磁场或射频场的不完善,它们产生的图像一侧会比另一侧略微更亮或更暗。这种平滑、空间变化的“偏置场”违反了我们度量的核心假设,因为强度的关系现在会根据你在图像中的位置而改变。这会降低所有度量的性能,即使是鲁棒的 MI。解决方案通常是在配准开始前,使用像 N4 这样专门设计用于估计和移除这些偏置场的算法对图像进行预处理。

  • ​​终极问题:这重要吗?​​ 最后,我们必须面对所有问题中最重要的一个。我们有一系列令人眼花缭乱的度量,每一种都有其优美的逻辑。但是在这些度量上获得更高的分数,是否真的意味着更好的临床结果?一个去噪算法可能会产生一张具有极高 SSIM 分数的图像,但如果它为了达到这个目的, subtly 模糊掉了一个微小、低对比度的癌变结节呢?图像看起来更好了,但病人的情况却更糟了。较低的 MSE 并不能保证提高计算机检测疾病的能力。

这一认识已将该领域推向两个新前沿。第一个是​​基于任务的评估​​,我们不再仅仅关注图像保真度,而是直接衡量在重要临床任务上的性能——例如,通过使用像曲线下面积(AUROC)这样的度量,来看一个病灶检测算法在处理后的图像上是否表现更好。第二个是开发新的​​感知度量​​,如 LPIPS,它们本身就是深度神经网络,被训练来预测两张图像在人类看来有多相似。

从减去像素到训练神经网络模仿人类感知,这段旅程是科学过程的明证。我们从一个简单的想法开始,测试它直到它失效,然后用它的碎片来构建一个更好、更细致的理解。每个度量不仅仅是一个公式,而是我们如何思考“看”的本质的一个缩影。

应用与跨学科联系

在上一章中,我们深入探究了图像相似性度量的内部工作原理。我们拆解了它们,看到了数学的齿轮和弹簧,并理解了它们的逻辑。我们已经了解了“是什么”和“怎么样”。现在,我们要问更令人兴奋的问题:“为什么”我们应该关心?这些抽象的概念在“哪里”得以体现?

答案是,这些不仅仅是学术上的好奇心。它们是现代科学技术的主力军,是影响我们生活的数字系统中质量的沉默仲裁者,从医学诊断到人工智能的核心。本章就是一次进入那个世界的探索。我们将看到这些源于像素和概率的数学工具,如何被用来对齐现实的视角,从微小的碎片构建宏大的图景,甚至用来教机器如何去看——以及检查它们看得是否正确。

看的艺术:医学成像

也许没有哪个领域比医学更能体现“相似性”挑战的重要性。人体是一个极其复杂的景观,而医学成像设备是我们绘制这片地形的各种地图。但是,当我们有多种用不同语言绘制的地图,并需要它们讲述一个单一、连贯的故事时,会发生什么?这就是“图像配准”的根本问题。

想象一位正在接受癌症治疗监测的患者。在几个月的时间里,他们可能会进行多次扫描:治疗开始时(t0t_0t0​)进行一次磁共振成像(MRI)扫描,之后在一次随访中(t1t_1t1​)再进行一次 MRI 以及正电子发射断层扫描(PET)和计算机断层扫描(CT)。这些“地图”——MRI、PET、CT——各自揭示了不同的信息。MRI 显示了精细的软组织解剖结构。CT 擅长显示骨骼等致密结构。PET 扫描则显示代谢活动——癌细胞可能正在消耗糖分的“热点”。为了获得完整的图像,医生必须融合这些视图。

这时,我们的度量方法就登场了。考虑这个单一临床场景中的三个不同配准任务:

  1. ​​追踪随时间的变化 (MRI t0→t_0 \tot0​→ MRI t1t_1t1​)​​: 这里的目标是观察肿瘤如何变化。它缩小了吗?它移动了吗?患者的头部位置不会完全相同,组织本身也可能发生了形变。简单的刚性对齐是不够的;我们需要一种“可形变”配准,可以局部拉伸和扭曲第一张图像以匹配第二张。由于两张图像都是 MRI(单模态),我们可能会认为像差值平方和(SSD)这样的简单度量就足够了。然而,扫描仪的校准可能会发生漂移,导致两次扫描之间的强度值尺度不同。一个更鲁棒的选择是​​归一化互相关(NCC)​​,它对这些线性的亮度和对比度变化不敏感。它关注的是强度的模式,而不是它们的绝对值。

  2. ​​融合解剖与功能 (PET t1→t_1 \tot1​→ MRI t1t_1t1​)​​: 现在我们必须将低分辨率的 PET 扫描与同一次就诊中的高分辨率 MRI 对齐。这是一个跨模态问题。在 PET 图像中,肿瘤可能是一个明亮的斑点;在 MRI 中,它可能是一个黑暗、有纹理的区域。它们的像素值之间没有简单的关系。一个图像中的高值并不意味着另一个图像中的高值(或低值)。这正是​​互信息(MI)​​的精妙之处。MI 是一个源于信息论的概念,它衡量统计依赖性。它问:“如果我知道 MRI 中一个像素的强度值,这能在多大程度上减少我对相应 PET 扫描中像素强度值的不确定性?” 当图像正确对齐时,这种互信息达到最大化。这就像找到了一块罗塞塔石碑,可以在 PET 的“语言”和 MRI 的“语言”之间进行翻译,而不需要一本逐词对应的字典。对于这项任务,刚性变换通常就足够了,因为在单次就诊期间,患者的头部是一个基本刚性的结构。

  3. ​​融合不同的解剖视图 (CT t1→t_1 \tot1​→ MRI t1t_1t1​)​​: 同样,将 CT 扫描与 MRI 对齐也是一个跨模态问题。骨骼在 CT 上是亮的,在 MRI 上是暗的。MI 再次成为首选的度量,因为它基于统计上的共现来找到最佳对齐,而不是基于一个不存在的直接强度映射。

这个单一的临床例子揭示了一个深刻的原则:没有单一的“最佳”相似性度量。选择取决于图像的物理原理和所要解决问题的性质。无论你是要对齐两张可能存在强度变化的同类型图像,还是要对齐像解剖和功能这样两种完全不同的世界观,都有一种量身定制的数学工具来完成这项工作。

同样的原则也适用于更小的尺度。在数字病理学中,可以通过扫描显微镜下的玻璃载玻片来创建“全玻片图像”,拍摄数千张高倍率的小图片(图块),然后将它们拼接成一个无缝的、千兆像素级的马赛克图像。拼接过程当然就是图像配准。为了确保图块能够完美对齐,采集时会带有一定量的重叠。这提出了一个经典的工程权衡:更多的重叠为配准算法提供了更多的共同特征以进行锁定,从而增加了拼接的鲁棒性。但更多的重叠也意味着需要更多的图块来覆盖相同区域,这增加了总扫描时间。因此,重叠百分比的选择是在追求图像质量和对吞吐量的实际需求之间取得的谨慎平衡。

信息的代价:压缩及其后果

数字病理学中创建的千兆像素图像突显了数字时代的一个普遍挑战:数据存储和传输。原始图像数据是巨大的,我们几乎总是借助压缩来使其易于管理。但压缩并非没有代价。像 JPEG 这样的有损压缩算法是通过丢弃它们认为“不重要”的信息来实现其令人印象深刻的尺寸缩减的。当这些“不重要”的信息正是医生正在寻找的线索时,会发生什么?

考虑一位病理学家检查细胞核以寻找癌症迹象的任务。细胞核内染色质的精细、颗粒状纹理是一个关键的诊断特征。这种纹理由非常微小的细节组成,用信号处理的语言来说,这对应于高频信息。JPEG 压缩算法的工作原理是将图像转换到频域(使用离散余弦变换),并积极地量化——或舍入——对应于高频的系数。

冲突就在于此。压缩算法节省空间的策略是丢弃高频细节。而病理学家的诊断策略恰恰依赖于观察这些细节。一张用 JPEG 压缩的图像,即使是在看似很高的“质量”设置下,乍一看可能没问题,但其关键纹理可能已被 subtly 平滑或抹去。

这就是峰值信噪比(PSNR)和均方误差(MSE)等度量失效的地方。它们衡量的是平均像素级误差。一张纹理被平滑的图像,其像素值平均可能与原始图像非常接近,因此具有“良好”的PSNR。但它在诊断上是无用的。我们需要一种对“结构”损失敏感的度量。这就是​​结构相似性指数(SSIM)​​的目的。通过不仅比较像素值,还比较亮度和对比度的局部模式,SSIM 更有可能检测到纹理的损失。

因此,在临床环境中,不能简单地选择一个压缩级别然后期望一切顺利。需要进行严格的验证研究。必须获取未压缩的图像,创建不同质量级别的压缩版本,然后运行实际的下游分析——例如,一个分割和测量细胞核的算法。通过将压缩图像的测量结果与来自未压缩“金标准”的测量结果进行比较,可以找到压缩开始引入不可接受偏差的点。SSIM 在此过程中可以作为一个强大的质量控制度量,提供一个阈值,低于该阈值,图像的结构完整性(从而也是其诊断效用)被认为是受损的。

教会机器去看:度量在人工智能中的作用

人工智能的兴起为图像相似性度量开辟了一个全新而激动人心的前沿。在这里,它们不仅是被动的测量工具,而且是学习过程中的积极参与者。

作为教师的度量:损失函数

你如何教一个深度神经网络执行像“虚拟染色”这样的任务——将无标签的显微镜图像转换为看起来像传统染色的 H&E 图像?你必须给它一个“损失函数”,这本质上是一个数学公式,用来告诉网络它当前的预测有多么错误。

一种天真的方法是使用 MSE 作为损失函数。网络会试图最小化其生成的图像与真实 H&E 图像像素之间的平均平方差。问题是,这通常会导致模糊的结果。如果网络对一个精细的细节不确定,为了最小化平均误差,最安全的选择是预测平均颜色,也就是灰色。

一个好得多的老师会结合多种视角。例如,我们可以创建一个复合损失函数,L=α⋅MSE+β⋅(1−SSIM)L = \alpha \cdot \mathrm{MSE} + \beta \cdot (1 - \mathrm{SSIM})L=α⋅MSE+β⋅(1−SSIM)。通过包含 (1−SSIM)(1 - \mathrm{SSIM})(1−SSIM) 项,我们告诉网络:“我不仅关心你得到正确的平均像素值。我要求你也保留局部结构。” 这种压力迫使网络生成更清晰、更有纹理、更逼真的图像。损失函数成为了我们对相似性定义的体现。

作为学生的度量:算法的核心

相似性度量也可以是机器学习算法的核心引擎。考虑一下简单而强大的 k-最近邻(KNN)分类器。它的逻辑很直观:要分类一个新对象,找到你以前见过的 'k' 个最相似的对象(它的“邻居”),然后对它们的类别进行多数投票。

KNN 的全部性能都取决于“相似”的定义。如果我们在分类图像块,一个标准的选择是使用欧几里得(L2L_2L2​)距离作为距离度量,这就像在高维像素空间中用尺子测量差异。但如果我们的图像块受到光照变化的影响怎么办?两个包含相同结构但整体亮度不同的图像块,会被欧几里得尺子视为相距很远。

一个更智能的方法是使用感知度量来定义距离。我们可以将两个图像块之间的距离定义为 dSSIM(x,x′)=1−SSIM(x,x′)d_{\mathrm{SSIM}}(x, x') = 1 - \mathrm{SSIM}(x, x')dSSIM​(x,x′)=1−SSIM(x,x′). 因为 SSIM 被设计为对亮度和对比度的变化具有鲁棒性,这个新的距离函数会正确地将这两个图像块视为非常“接近”。对于某些任务,用一个更具感知或语义意义的距离替换简单的几何距离,可以显著提高模型的性能。

作为科学家的度量:探索黑箱

最后,在其最现代的应用之一中,相似性度量正成为我们用来对我们的人工智能模型进行科学研究的工具。我们如何能信任这些复杂的“黑箱”?我们如何能理解它们学到了什么?我们可以设计实验。

对于一个学会了从一组抽象的潜在变量或“旋钮”生成图像的生成模型,我们可以探究每个旋钮的作用。我们可以系统地将一个旋钮调到零,并使用 SSIM 或 PSNR 来测量输出图像变化了多少。如果发生了大的变化,我们就知道那个旋钮控制了图像结构的一个重要方面。

更直接的是,一些新的“可解释人工智能”模型的设计核心就是相似性。一个模型可能会通过声称“图像的这部分看起来与我学到的这个肺炎原型非常相似”来将胸部 X 光片分类为显示肺炎。我们可以检验这个说法。我们可以通过数字编辑图像来移除它指向的证据,使其与原型不那么相似。然后我们可以测量模型的预测置信度是否成比例下降。在这里,相似性分数既是模型的“一个组成部分”,也是我们用来“验证”其解释的工具。我们正在使用相似性的语言与机器进行对话,讨论它为什么做出那个决定。

最后一点现实:从基准到临床

我们已经看到了图像相似性度量非凡的力量和多功能性。人们很容易得出结论,在像 SSIM 这样的度量上获得高分是最终目标。但科学要求我们接受最后一点清醒的现实。计算机上的高分度量并不会自动转化为医院里的有用工具。

在严格的医学诊断世界里,一个新工具必须通过一个验证层级来证明其价值:

  • ​​分析有效性​​:从纯技术角度看,该工具是否能正确、可靠地工作?这就是 SSIM 和 PSNR 等度量发挥作用的地方。它们帮助我们设计一个准确、精确和鲁棒的系统。它们是必不可少的工程基准。
  • ​​临床有效性​​:该工具的输出是否正确对应于患者的实际临床状况?对于一个虚拟染色系统,这并非由 SSIM 来衡量。而是通过进行一项研究,让真正的病理学家阅读虚拟玻片,看他们的诊断是否与传统方法确认的真实诊断相匹配来衡量。
  • ​​临床效用​​:使用该工具是否真的能改善患者的治疗结果?它是否能带来更快的诊断、更有效的治疗或更好的医疗服务?这是最终的考验,只能通过研究该工具在真实临床实践中的影响来回答。

在构建和理解基于图像的系统的复杂过程中,度量是我们不可或缺的向导。它们让我们能够将直观的“相似性”感觉转化为计算机可以理解和优化的语言。但它们只是一个更大故事的一部分。从一个巧妙的数学公式到一个拯救生命的工具,其旅程是漫长的,它提醒我们,这些度量,尽管功能强大,但只是达到目的的手段,而非目的本身。它们是对话的开始,而不是最终的定论。