try ai
科普
编辑
分享
反馈
  • 纹理分析

纹理分析

SciencePedia玻尔百科
关键要点
  • 纹理通过描述空间像素关系的统计方法(如 GLCM)或识别重复基元的结构方法进行量化。
  • 从 GLCM 等矩阵中派生出的特征(例如,对比度、同质性、聚类阴影)将复杂的模式转化为描述粗糙度或不对称性的有意义的数字。
  • 有意义的纹理分析需要有原则地选择尺度,使计算参数与所研究特征的物理尺寸相匹配。
  • 自然图像的普适统计特性解释了为什么包括深度学习在内的分析技术可以在摄影和医学成像等不同领域之间迁移。

引言

纹理是视觉世界的一个基本品质,它是一种信息来源,其丰富程度使我们的大脑能够即时、毫不费力地处理它。即使没有颜色,我们也能通过纹理区分沙子的细粒和砖墙的有序图案。然而,教计算机感知图像的这种“肌理”却是一个巨大的挑战。我们如何将像素复杂的空间排列转化为有意义的、定量的语言?本文通过对纹理分析的全面探索来回答这个问题。

本文的探索分为两个主要部分。首先,“原理与机制”一章将深入探讨定义纹理的核心理论,对比统计方法和结构方法。我们将打开统计工具箱,以理解如灰度共生矩阵 (GLCM) 等强大的方法,这些方法将视觉模式转化为描述性数字。我们还将探讨尺度的关键概念,以确保我们的分析具有物理意义。随后,“应用与跨学科联系”一章将展示这些方法在现实世界中的应用,揭示其在从医学诊断到古人类学等领域的深远影响。首先,让我们思考一个简单的视觉任务,这个任务凸显了纹理的本质。

原理与机制

想象你正在看两张照片。一张是沙滩,另一张是砖墙。即使你将两张照片都转换为灰度图,并调整它们以使其具有完全相同的平均亮度和对比度,你仍然可以瞬间将它们区分开来。为什么?因为你的大脑是无与伦比的纹理分析专家。它毫不费力地处理的不仅仅是存在什么颜色,还有它们在空间中如何排列。沙子是细粒的混乱混合;砖墙是巨大矩形的高度有序图案。因此,纹理就是图像强度的空间排列,是视觉信息的根本肌理。

作为科学家,我们的任务是教会计算机看到这种肌理。我们需要超越简单的亮度直方图,发展一种数学语言来描述这些空间关系。这一探索引出了两种宏大策略,两种思考纹理根本为何物的不同方式。

两大策略:随机性与结构性

第一种也是最主流的观点将纹理视为一个​​统计过程​​的结果。想象一下将一把鹅卵石扔在地上。虽然每颗鹅卵石的确切位置是随机的,但整体图案具有某些一致的统计特性。我们可以做出一个深刻而有力的假设,称为​​局部平稳性​​:在单一纹理的足够小的区域内,生成该图案的底层统计规则是恒定的。一片草坪在统计上看起来与任何其他草坪区域相似。这并不意味着它们完全相同,而是说草叶的分布、它们的方向以及它们与邻居的关系遵循相同的概率规则。这个假设使我们能够分析图像的一个小窗口,并提取表征其中纹理的统计“指纹”。

第二种策略更直接、更直观,将纹理视为一种​​结构现象​​。这种方法最适用于人造或高度规则的图案,如瓷砖地板、编织物或果园里成排的树木。在这里,我们假设纹理是由一个基本的重复元素,即“基元”或​​纹理基元 (texel)​​,根据一组特定的​​放置规则​​排列而成的。纹理基元是砖块;放置规则是砌筑的砂浆图案。这种方法试图将纹理解构为其基本构建块和支配它们组合的语法。

虽然结构方法很优雅,但统计观点已被证明更具通用性,特别是对于自然界和医学中发现的复杂且常常是混乱的纹理。所以,让我们打开统计工具箱,看看我们如何能将纹理的精髓提炼成一组有意义的数字。

统计工具箱:将模式转化为数字

统计纹理分析的目标是创建​​特征​​——即总结纹理的数值描述符。一个特征就是一个数字,例如,对于“条纹状”纹理,这个数字应该很高;对于“平滑”纹理,这个数字应该很低。然而,在我们信任任何这样的数字之前,我们必须确保它是图像的一个稳定、可复现的属性,而不是我们测量过程的产物。严谨的科学要求我们测试我们特征的稳健性,例如,通过使用组内相关系数等统计工具,确保我们测量的是真实的东西,而不是物体边界绘制方式微小变化所带来的影响。有了这个关键的告诫,让我们来探索这些特征是如何诞生的。

灰度共生矩阵:探寻“谁是你的邻居?”

也许纹理工具箱中最著名、最强大的工具是​​灰度共生矩阵 (GLCM)​​。这个想法简单而深刻。一个简单的直方图告诉我们图像中每个灰度级的像素有多少。GLCM 更进一步,提出了一个更有趣的问题:“如果我选择一个灰度级为 iii 的像素,那么在特定距离 ddd 和方向 θ\thetaθ 上的邻居像素,其灰度级为 jjj 的概率是多少?”

想象一下扫描一幅图像并统计这些像素对。结果是一个矩阵,其中每个条目 P(i,j)P(i, j)P(i,j) 存储了在特定偏移量下,找到一个亮度为 iii 的像素与一个亮度为 jjj 的像素相邻的概率。这个矩阵是图像二阶统计量的丰富指纹。平滑的图像其大部分计数将沿矩阵的主对角线分布(i=ji=ji=j),因为相邻像素的亮度往往相同。而粗糙、充满噪声的图像,其计数会散布在整个矩阵中。

从矩阵到意义:对比度、同质性及其他

GLCM 本身作为一个特征来说过于庞大。我们需要将其精髓提炼成几个数字。最直观的特征是:

  • ​​对比度:​​ 通过对相邻强度之间的平方差进行加权求和计算得出,权重为其概率:∑(i−j)2P(i,j)\sum (i-j)^2 P(i,j)∑(i−j)2P(i,j)。它衡量了局部变化的程度。高对比度的纹理有许多亮度差异大的像素对。

  • ​​同质性​​(或逆差矩):计算公式为 ∑P(i,j)1+(i−j)2\sum \frac{P(i,j)}{1+(i-j)^2}∑1+(i−j)2P(i,j)​。它衡量了分布与对角线的接近程度。当相邻像素非常相似时,该值很高。

这两个特征为我们提供了对纹理粗糙度的初步了解。但我们能做的远不止这些。GLCM 中的数值分布有其形状,就像任何统计分布一样,这个形状可以通过其矩来描述。如果对比度与二阶矩(方差)有关,我们也可以考察更高阶的矩。

这引出了更精细的特征,如​​聚类阴影 (Cluster Shade)​​ 和​​聚类突显 (Cluster Prominence)​​。这些本质上是相邻像素值之和(i+ji+ji+j)分布的​​偏度​​(三阶矩)和​​峰度​​(四阶矩)。高的正值聚类阴影告诉我们纹理是不对称的,倾向于亮-亮像素对比暗-暗像素对更显著。高的聚类突显告诉我们纹理有“重尾”——也就是说,非常亮和非常暗的像素对都频繁出现,这表明纹理在某些区域是平滑的,而在另一些区域则有引人注目的显著特征。这些特征使我们能够区分那些可能具有相同整体对比度但在结构特征上不同的纹理。

超越像素对:计算行程和区域

GLCM 关注的是像素对。但其他方法提出了不同的问题。

​​灰度行程矩阵 (GLRLM)​​ 旨在衡量“条纹性”。它不是看像素对,而是在特定方向上扫描图像,并计算连续相同像素的“行程”长度。由此,我们可以计算出诸如​​长行程强调​​等特征,对于具有长而连续条纹的纹理(如木纹),该值会很高;而​​短行程强调​​则对于细粒、零碎的纹理(如沙子)会很高。

​​灰度尺寸区域矩阵 (GLSZM)​​ 则采取了完全不同的方法。它忽略方向,而是识别具有相同灰度级的连通“区域”或“斑点”。这是一种量化斑点状纹理的方法。诸如​​大区域强调​​之类的特征对于具有大片同质区域的图像很高,而​​小区域强调​​对于由许多微小、颗粒状区域组成的图像很高。

房间里的大象:尺度问题

在所有这些方法中,一个反复出现的主题是​​尺度​​的概念。纹理不是一个绝对的属性;它完全取决于你观察它的尺度。砖块的特写揭示了其细腻的沙质纹理,但从远处看,墙壁则具有粗糙的矩形纹理。我们的分析必须注意到尺度。

从像素到物理:了解尺寸的重要性

我们的算法在像素的离散世界中工作,但我们研究的对象存在于物理世界中。连接这两个世界的桥梁是​​像素间距​​ ppp,即每个像素代表的物理尺寸(例如,单位为微米)。这种关系至关重要。如果我们想表征细胞核中物理直径为 sg=2.0 μms_g = 2.0 \, \mu\text{m}sg​=2.0μm 的染色质颗粒,而我们显微镜的像素间距是 p=0.25 μm/pixelp = 0.25 \, \mu\text{m}/\text{pixel}p=0.25μm/pixel,我们应该选择 GLCM 的偏移距离 ddd 来匹配这个物理尺度。理想的偏移量将是 d=sg/p=2.0/0.25=8d = s_g / p = 2.0 / 0.25 = 8d=sg​/p=2.0/0.25=8 像素。选择 d=1d=1d=1 将探测像素间的噪声,而选择 d=50d=50d=50 将考察远大于目标特征的关系。有原则地选择尺度,是将有意义的测量与无意义的数字区分开来的关键。

当像素并非生而平等:各向异性的挑战

在许多现实世界的成像场景中,特别是像 CT 或 MRI 这样的医学扫描,像素网格是​​各向异性​​的。平面内分辨率可能很高(例如,sx=sy=0.6 mms_x = s_y = 0.6 \, \text{mm}sx​=sy​=0.6mm),但切片之间的距离可能要大得多(sz=4.8 mms_z = 4.8 \, \text{mm}sz​=4.8mm)。在这种情况下,z 方向上的“1像素步长”所代表的物理距离是 x 或 y 方向上1像素步长的八倍!

一个天真的 3D 纹理分析如果将所有1像素步长视为相等,那将是存在严重缺陷的,它会将在精细尺度上的平面内纹理信息与粗糙尺度上的切片间相关性混为一谈。这就是我们必须小心的原因。一种有效的方法是​​2.5D 分析​​,即我们独立分析每个 2D 切片,然后对得出的特征进行平均。另一种更强大的方法是在应用真正的 3D 分析之前,首先将体数据​​重采样​​到一个各向同性的网格中(其中 sx=sy=szs_x = s_y = s_zsx​=sy​=sz​),从而创建一个在所有方向上距离都一致的空间。

尺度的交响曲:使用滤波器洞察一切

与其只选择一个尺度,为什么不同时在多个尺度上分析图像呢?这就是​​基于滤波器的纹理分析​​背后的思想。通过将图像与一组滤波器进行卷积,我们可以创建一整套新图像,每个图像都突出了特定尺寸和方向的结构。

​​高斯-拉普拉斯 (LoG)​​ 滤波器就是一个完美的例子。它本质上是一个“斑点检测器”。通过调整其尺度参数 σ\sigmaσ,我们可以使其对特定半径的斑点最为敏感。应用一组具有不同 σ\sigmaσ 值的 LoG 滤波器,使我们能够在一系列尺寸范围内探测纹理的特征。

​​小波变换​​甚至更强大。它们像一个数学棱镜,将图像分解为一组子带,每个子带都包含有关特定尺度范围(频率)和方向的信息。这种多分辨率分析为纹理提供了极其丰富的描述,从其最粗糙的结构到最精细的细节,一次性全部呈现。

统一之美:图像的通用语言

这带给我们最后一个优美的见解。为什么为一种图像开发的方法也适用于另一种图像?为什么一个在数百万张猫狗的互联网照片上预训练的深度学习模型(一种复杂的滤波器组分析器)在分析肿瘤的 CT 扫描时如此有效?

答案在于一个深刻的、统一的原则:“自然”图像的统计特性具有惊人的普遍性。无论是一张照片、一次医学扫描,还是你亲眼所见,这些图像都倾向于是​​分段平滑​​的——由相对均匀的区域被​​锐利边缘​​分隔开来组成。它们的空间频率内容倾向于遵循​​幂律​​(S(ω)∝∣∣ω∣∣−αS(\omega) \propto ||\omega||^{-\alpha}S(ω)∝∣∣ω∣∣−α),这意味着在所有尺度上都存在有意义的结构。

由于这种共同的统计基础,图像的基本构建块——边缘、角点、斑点和波纹——是通用的。一个学会了有效检测照片中定向边缘的卷积滤波器,本质上已经学会了边缘的通用语言。这种学到的知识,即​​归纳偏置​​,是可以在不同领域之间迁移的。检测猫耳朵边界的能力与检测肿瘤边界的能力并无太大不同。它们都只是分段平滑世界中的边缘。正是这种深刻的统一性,使得现代数据驱动的纹理分析如此惊人地强大,揭示了在千差万别的图像表面之下,存在着一种共同而优雅的数学语法。

应用与跨学科联系

在探索了纹理分析的原理和机制之后,我们现在来到了探索中最激动人心的部分:见证这些思想的实际应用。这个看似抽象的量化模式概念在哪些方面触及我们的生活?你可能会惊讶地发现,答案是:无处不在。从我们自己的指尖,到对古代化石的分析,再到环绕我们星球的卫星,纹理分析是一种自然书写、科学学会解读的通用语言。这证明了科学美妙的统一性,同样的基本思想可以启发神经学、材料科学和进化生物学等迥然不同的领域。

生命的纹理:从皮肤到感知

我们与纹理的第一次也是最亲密的接触是通过我们的触觉。当你用手滑过一个表面时,你的大脑进行了一次宏伟的、即时的纹理分析。但你到底感觉到了什么?从某种意义上说,皮肤科医生是应用纹理分析的大师。当临床医生将一种皮肤状况描述为感觉“粗糙”、“油腻”或“天鹅绒般”时,他们正在做一个定性评估,这直接对应于皮肤的微观结构。

例如,干燥皮肤上的“粗糙”纹理不仅仅是一种模糊的感觉;它是一种皮肤细胞交通堵塞的触觉表现。正常情况下,我们的皮肤细胞会无形地脱落,但在某些情况下,这些细胞会粘在一起,形成一个增厚的、不平坦的表面——一种被称为致密性正角化过度的组织学模式——我们的手指感知为粗糙。而在黑棘皮病中看到的一种“天鹅绒般”的质地,则源于皮肤微观上一片优美的、波浪状的景观,一种由称为乳头瘤病的峰谷模式构成,触感光滑柔软。通过这种方式,我们的触觉成为探测我们自己身体组织学的直接探针。

但是大脑是如何理解这些信号的呢?从物理表面到有意识感知的过程是一项神经计算的壮举。神经学家可以通过观察这个过程出错时发生的情况来研究它。想象一下闭着眼睛试图区分不同等级的砂纸。你的大脑初级体感皮层 (SI) 就像一个高保真传感器,解码构成砂纸“感觉”的精细空间和时间振动。这些原始数据随后被发送到更高级的处理中心,如次级体感皮层 (SII),它整合信息以形成对纹理的连贯感知和识别。通过精确测量一个人辨别纹理的能力——例如,通过找到砂纸粒度的恰可察觉差——神经学家可以确定大脑中的病变是影响了初级“传感器”(SI) 还是更高级的“整合器”(SII),这一区分对于诊断至关重要。事实证明,我们的大脑是最初的纹理分析器。

解读表面书写的故事

一旦我们认识到纹理是结构和过程的物理记录,我们就可以开始在意想不到的地方寻找它。一个表面的纹理能讲述数百万年前的故事吗?令人惊讶的是,是的。考虑一下Paranthropus boisei的案例,这是一种古老的人类亲属,因其巨大的牙齿和巨大的下颚而被昵称为“胡桃夹子人”。几十年来,科学家们一直感到困惑。其牙釉质的同位素分析记录了牙齿形成几年间的平均饮食,结果显示其饮食几乎完全是 C4 植物,如柔软的草或莎草。然而,它的头骨似乎是为了碾碎最坚硬的物体而构建的。

这个悖论的答案来自使用一种不同工具观察牙齿表面:牙齿微磨损纹理分析 (DMTA)。通过量化咀嚼面上的微观纹理——凹坑与划痕的密度——古人类学家可以确定这个个体在其生命的最后几天或几周内吃了什么。分析揭示了一种以深坑为主的纹理,这是食用坚硬、易碎食物的明显迹象。故事突然变得清晰起来:Paranthropus boisei 大部分时间可能以柔软的 C4 植物为生,但其强大的头骨是在食物匮乏季节,当没有其他食物时,转而食用坚硬、易碎的“后备食物”以求生存的关键适应。长期同位素纹理和短期微磨损纹理,一度看似矛盾,结合起来讲述了一个关于在古非洲稀树草原上生存的更丰富、更完整的故事。

数字之眼:量化世界

现代科学的力量在于它能够从定性描述转向定量测量。虽然我们的手和眼睛是卓越的纹理分析器,但配备了正确算法的数字计算机能够以远超我们自身能力的精确度和客观性进行观察。

在材料科学中,材料的微观结构与其性能之间的关系至关重要。想象一种由两种不同相的完美交替层组成的材料。我们可以使用像灰度共生矩阵 (GLCM) 这样的工具建立一个数学模型来描述这种模式。从这个矩阵中,我们可以计算出一个单一的数字,一个称为“同质性”的纹理特征,它完美地捕捉了这种结构的本质。我们甚至可以推导出一个精确的公式,显示这个同质性值如何依赖于层的厚度和它们之间的对比度。这是一个理论付诸实践的美好例子:我们将一个视觉模式转化为了一个数字,使我们能够预测随着我们设计其性能,材料的纹理将如何变化。

在医学影像领域,这种定量能力成为生死攸关的问题。考虑一位患有特发性肺纤维化 (IPF) 的病人,这是一种进行性且致命的肺部疾病。传统的肺功能测量,如用力肺活量 (FVC),可能只显示缓慢下降,表明治疗效果良好。然而,对高分辨率 CT 扫描的定量分析可以讲述一个不同、更紧急的故事。通过训练计算机识别纤维化的典型纹理——被称为“网格状阴影”和“蜂窝状阴影”的模式——医生可以直接测量疾病的结构性进展。他们可能会发现,虽然全球肺功能稳定,但实际的疤痕组织数量正在迅速增加。这种基于纹理的洞察力提供了对疾病更敏感、更直接的衡量标准,从而能够做出更明智的临床决策。

同样的原理也适用于细胞层面。在一张数字病理切片上,病理学家可能需要区分黑色素和苏木精染色的细胞核。两者都可能显示为黑点。计算机如何区分它们?解决方案是给计算机不止一种“看”的方式。通过结合光谱信息(源于每种物质吸收光线的物理特性)和纹理信息(黑色素通常表现为细小颗粒,而细胞核更平滑),可以构建一个稳健的系统。一个先进的算法可以结合使用多种特征——光学密度空间中的“颜色”和颗粒度等纹理指标——来可靠地分割图像,这项任务对人类来说既困难又乏味。

前沿:从手工规则到学习表示

纹理分析的应用范围从微观到行星级别。在遥感领域,科学家利用纹理来分割地球表面的卫星图像。一片原始森林的纹理与新生人工林或城市区域的纹理不同。通过将纹理特征与马尔可夫随机场等复杂的分割框架相结合,计算机可以在这些区域周围绘制边界,创建自动化的土地覆盖分类地图。这不仅仅是一项学术练习;它对于监测森林砍伐、管理城市扩张和理解我们不断变化的星球至关重要。

在其历史的大部分时间里,纹理分析都依赖于“手工制作的”特征,即科学家和工程师设计特定的数学规则(如 GLCM)来捕捉模式。但如果机器可以自己学习这些规则呢?这就是深度学习和卷积神经网络 (CNN) 的革命。当一个 CNN 被训练来分类图像时——例如,区分健康细胞和衰老细胞——它会自动学习一个特征层次结构。网络的最开始几层会自发地学会成为简单元素(如边缘、角点,以及,是的,纹理)的检测器。例如,一个衰老的细胞可能会在其细胞核中形成独特的团块状模式,这是一种被称为衰老相关异染色质灶 (SAHF) 的纹理。CNN 可以学会在没有被明确编程的情况下识别这种纹理。识别模式的基本原则依然存在,但特征提取现在是从数据本身中学习的,为自动化生物学和医学发现开辟了新的前沿。

从我们皮肤上天鹅绒的感觉,到肺部疾病的诊断,再到我们世界的自动化测绘,纹理是编织在现实结构中的一根基本线索。通过学习观察和量化它,我们获得了一个强大而多功能的工具,一个持续揭示连接我们所有人的复杂、美丽且常常隐藏的模式的工具。