try ai
科普
编辑
分享
反馈
  • 瓦格纳-费歇尔算法

瓦格纳-费歇尔算法

SciencePedia玻尔百科
核心要点
  • 瓦格纳-费歇尔算法利用动态规划来高效计算将一个字符串转变为另一个所需的最少编辑次数(插入、删除、替换)。
  • 其核心框架通过加权成本具有高度适应性,使其能够模拟生物信息学、语言学和软件工程等领域中与上下文相关的错误。
  • 编辑距离是一种真正的数学度量,满足三角不等式,这为拼写检查等任务提供了强大的搜索优化能力,例如使用 BK-树。

引言

我们如何衡量两条信息之间的差异?无论是比较 DNA 序列、一份文件的两个草稿,还是一个拼写错误与词典中的条目,量化序列之间的“距离”是计算机科学乃至更广阔领域的一个基本问题。简单地判断两个字符串是否相同很容易,但要确定它们有多“接近”则需要一种更复杂的方法。编辑距离的概念巧妙地解决了这一挑战,而计算它的经典方法就是瓦格纳-费歇尔算法。

本文将全面探讨这一强大的算法。在“原理与机制”部分,我们将深入研究算法的核心逻辑,理解它如何利用动态规划系统地找到最高效的转换路径。我们还将探讨其数学特性、通过加权成本实现的适应性,以及使其能够应用于海量数据集的高级优化。随后的“应用与跨学科联系”部分将展示该算法惊人的通用性,追溯其从生物信息学中的遗传密码到软件架构乃至人类语言研究等领域的影响。读完本文,您不仅将理解该算法的工作原理,还将领会到它作为贯穿不同科学领域的统一概念所扮演的角色。

原理与机制

单词“kitten”和“sitting”有多大区别?乍一看,这似乎是诗人或语言学家的问题。但对计算机科学家而言,这是一个转换的谜题。将“kitten”变形为“sitting”需要多少次微小的调整——插入一个字母、删除一个字母或替换一个字母?这个简单的问题开启了计算机科学、生物信息学乃至拼写检查领域一个优美而强大的概念:​​编辑距离​​。我们用来解决这个难题的方法,即​​瓦格纳-费歇尔算法​​,是​​动态规划​​这一技巧的精湛展示。

可能性的网格:动态规划的妙用

让我们试着手动将“kitten”转换为“sitting”。

  1. kitten -> sitten (用 's' 替换 'k')
  2. sitten -> sittin (用 'i' 替换 'e')
  3. sittin -> sitting (插入 'g')

这需要三个步骤。这是最少的吗?我们能用两步或一步完成吗?尝试所有可能的编辑序列将导致令人抓狂的组合爆炸。我们需要一种更系统的方法。

这就是动态规划的精妙之处。我们不试图一次性解决整个问题,而是将其分解为一系列更小的、重叠的子问题。想象一个网格。源词(比如长度为 mmm 的 SSS)沿垂直轴排列,目标词(长度为 nnn 的 TTT)沿水平轴排列。这个网格中的每个单元格 (i,j)(i, j)(i,j) 将存放一个子问题的答案:“将 SSS 的前 iii 个字符转换为 TTT 的前 jjj 个字符的最小编辑距离是多少?”

我们称这个距离为 D(i,j)D(i,j)D(i,j)。我们的最终目标是找到 D(m,n)D(m,n)D(m,n),即网格右下角的值。

我们如何填充单元格 (i,j)(i,j)(i,j)?我们只能从三个可能的前置状态到达这个单元格,对应于三种编辑操作:

  1. ​​删除​​:我们可能已经将 SSS 的前 i−1i-1i−1 个字符转换为 TTT 的前 jjj 个字符(成本为 D(i−1,j)D(i-1,j)D(i−1,j)),然后简单地删除 SSS 的第 iii 个字符。这会增加 1 的成本。总成本:D(i−1,j)+1D(i-1, j) + 1D(i−1,j)+1。
  2. ​​插入​​:我们可能已经将 SSS 的前 iii 个字符转换为 TTT 的前 j−1j-1j−1 个字符(成本为 D(i,j−1)D(i,j-1)D(i,j−1)),然后插入 TTT 的第 jjj 个字符。这会增加 1 的成本。总成本:D(i,j−1)+1D(i, j-1) + 1D(i,j−1)+1。
  3. ​​替换/匹配​​:我们可能已经将 SSS 的前 i−1i-1i−1 个字符转换为 TTT 的前 j−1j-1j−1 个字符(成本为 D(i−1,j−1)D(i-1, j-1)D(i−1,j−1)),然后处理最后的字符 S[i]S[i]S[i] 和 T[j]T[j]T[j]。如果它们相同,就是匹配,成本为 0。如果它们不同,就是替换,成本为 1。总成本:D(i−1,j−1)+cost(S[i],T[j])D(i-1, j-1) + \text{cost}(S[i], T[j])D(i−1,j−1)+cost(S[i],T[j])。

因为我们想要最小编辑距离,所以 D(i,j)D(i,j)D(i,j) 的值就是这三种可能性的最小值。这就得到了著名的瓦格纳-费歇尔递归关系:

D(i,j)=min⁡{D(i−1,j)+1D(i,j−1)+1D(i−1,j−1)+I(S[i]≠T[j])D(i,j) = \min \begin{cases} D(i-1,j) + 1 \\ D(i,j-1) + 1 \\ D(i-1,j-1) + \mathbb{I}(S[i] \neq T[j]) \end{cases}D(i,j)=min⎩⎨⎧​D(i−1,j)+1D(i,j−1)+1D(i−1,j−1)+I(S[i]=T[j])​

其中 I(⋅)\mathbb{I}(\cdot)I(⋅) 是一个指示函数,当条件为真(不匹配)时为 1,否则(匹配)为 0。我们通过填充第一行和第一列来启动这个过程,这代表与空字符串之间的转换。一个长度为 iii 的字符串与空字符串的距离就是 iii 次删除,所以 D(i,0)=iD(i,0)=iD(i,0)=i。类似地,D(0,j)=jD(0,j)=jD(0,j)=j。

从这些简单的边界条件开始,并应用递归关系,我们可以逐个单元格地填充整个网格,直到在 D(m,n)D(m,n)D(m,n) 处得到我们的答案。这个过程有条不紊且详尽无遗;它对每个必要的子问题都只精确地求解一次。我们需要计算的单元格总数是 m×nm \times nm×n。这意味着算法的运行时间与 m×nm \times nm×n 成正比,我们记作 Θ(mn)\Theta(mn)Θ(mn)。有趣的是,因为算法必须填充整个网格才能保证最终答案是正确的,所以在最好情况(例如,字符串相同)和最坏情况(例如,字符串完全不同)下,这个运行时间是相同的。

一种真正的距离度量

通过这种方式计算出的编辑距离有一个惊人的特性,即它的行为就像现实世界中的距离。它满足一个至关重要的几何规则,称为​​三角不等式​​。对于任意三个字符串 s1s_1s1​、s2s_2s2​ 和 s3s_3s3​,以下不等式恒成立:

d(s1,s3)≤d(s1,s2)+d(s2,s3)d(s_1, s_3) \le d(s_1, s_2) + d(s_2, s_3)d(s1​,s3​)≤d(s1​,s2​)+d(s2​,s3​)

这对于物理旅行来说只是常识:从家到图书馆的最短路径总是小于或等于从家到咖啡店,再从咖啡店到图书馆的距离。编辑距离遵守这一规则的事实意义深远。它证实了这是一个数学上合理的​​度量​​(metric),一种真正的分离程度的衡量。这不仅仅是学术上的好奇心;正是这个特性,为我们即将看到的极其高效的搜索算法开启了大门。

自定义成本:从键盘到语音学

瓦格纳-费歇尔框架的优美之处在于其灵活性。标准算法假设每次编辑操作——插入、删除或替换——的成本都是统一的 1。但如果某些“错误”比其他错误更易于理解或更可能发生呢?我们可以通过引入​​加权成本​​来轻松地调整算法。

想想打字错误。如果你想按 'n' 键但手指稍有偏移,在 QWERTY 键盘上意外地把 'h' 打成 'm' 是一个很容易犯的错误。但是把 'q' 错打成 'p' 则极不可能。我们可以创建一个成本模型,其中替换成本与键盘上按键的物理距离成正比。将 "mind" 转换为 "hand" 可能涉及用 'h' 替换 'm'。在键盘上,这两个键很近,所以我们可以给它分配一个较低的成本,比如 132\frac{\sqrt{13}}{2}213​​,而将 'i' 替换为 'a' 的成本会高得多。

这个想法远远超出了键盘布局的范畴。在生物信息学中,某些基因突变比其他突变更有可能发生。在语音识别或历史语言学中,我们可以考虑语音上的相似性。例如,将 'f' 转换为 'ph' 应该非常廉价,也许成本只有 0.20.20.2,而将 'i' 变为 'y' 的成本可能是 0.30.30.3。我们甚至可以使插入和删除的成本依赖于字符本身。例如,在英语中,'e' 是一个非常常见的字母,而 'q' 则很罕见。一个模型可以认为删除一个常见字母的“严重性”低于删除一个罕见字母,从而分配类似 cdel(c)=1−f(c)c_{\text{del}}(c) = 1 - f(c)cdel​(c)=1−f(c) 的成本,其中 f(c)f(c)f(c) 是该字符在语言中的频率。

在所有这些情况下,基本的动态规划逻辑保持不变。我们仍然是在网格中寻找成本最低的路径。我们所做的只是改变了每一步的“通行费”。正是这种适应性使得该算法在现实世界的应用中如此强大。

从暴力到优雅搜索:巧妙的优化

虽然基本的 Θ(mn)\Theta(mn)Θ(mn) 算法很稳健,但对于长字符串(如整个基因组),它可能会很慢并且消耗大量内存。幸运的是,存在几种巧妙的优化方法。

一个简单而有效的优化是减少内存使用。要计算网格第 iii 行的值,我们只需要第 i−1i-1i−1 行的值以及第 iii 行紧邻左侧的单元格。我们不需要记住网格的全部历史。这意味着我们可以只存储两行数据,将空间复杂度从 Θ(mn)\Theta(mn)Θ(mn) 降低到更易于管理的 Θ(min⁡(m,n))\Theta(\min(m, n))Θ(min(m,n)),而运行时间不变。

对于比较我们预期会非常相似的字符串(比如同一文档的两个草稿),网格上的最优路径将紧贴主对角线。计算远离这条对角线的单元格是浪费的。​​带状比对​​(Banded alignment)利用了这一点,只计算主对角线周围一个狭窄“带”或“走廊”内的单元格。如果真实的编辑距离很小,其路径保证会落在这个带内,我们就能更快地找到答案。

然而,最优雅的优化将我们带回了三角不等式。对于像拼写检查这样的任务,我们需要在词典中找到所有与拼写错误的单词“接近”的单词。将拼写错误的单词与每个词典条目进行测试速度很慢。​​BK-树​​(Burkhard-Keller Tree)以一种能显著加快此搜索速度的方式组织词典。当搜索与查询词距离最多为 2 的单词时,三角不等式允许我们剪掉整棵树的分支,而无需查看它们。它告诉我们,如果一个节点的单词已经离我们的查询词太远,那么它的所有子节点在一个可计算的范围内也会太远。这就是一个真正度量发挥作用的力量。

挑战极限:并行化与分治法

进步的步伐并未就此停止。现代计算依赖于并行化,即同时做很多事情。仔细观察动态规划网格,会发现一个绝佳的并行结构。单元格 (i,j)(i,j)(i,j) 的计算只依赖于其上方、左侧和左上方的邻居。这意味着沿同一条​​反对角线​​(其中 i+ji+ji+j 为常数)的所有单元格可以同时计算,因为它们彼此独立。这种“波前”计算非常适合图形处理器(GPU)的大规模并行架构,使我们能够以惊人的速度解决巨大的问题。

更先进的技术,如 ​​Hirschberg 算法​​,将动态规划与​​分治​​策略相结合。该算法巧妙地在不计算整个网格的情况下找到最优路径的中点,然后递归地并行解决由此产生的两个子问题。在像 PRAM 这样的抽象模型上分析这类并行算法的性能,为我们提供了关于计算基本极限的深刻见解。

从一个关于“kitten”和“sitting”的简单问题出发,我们穿越了一片充满强大思想的风景:问题的系统性分解、数学度量的优雅、加权模型的适应性,以及高性能计算的前沿。瓦格纳-费歇尔算法不仅是一个工具;它是一种思维方式——是计算原理之美与统一性的证明。

应用与跨学科联系

在我们体验了瓦格纳-费歇尔算法的精巧机制之后,您可能会有一种满足感:“原来是这样工作的!” 但科学中一个伟大思想的真正魅力不仅在于其内在逻辑,还在于其外在影响力。这个简单的“编辑距离”概念能带我们走多远?在浩瀚的知识版图中,我们还能在何处发现它的回响?答案是,出人意料地遥远。该算法不仅是修正拼写错误的工具,它还是一个衡量差异的透镜,一个用于比较各种序列的通用翻译器。让我们来探索其中一些意想不到而又强大的联系。

生命的语言:阅读 DNA 之书

编辑距离最自然、最深刻的应用或许在于计算生物学领域。毕竟,DNA 链不就是用 A、C、G、T 四个字母写成的长字符串吗?进化本身可以被看作是一个编辑者,亿万年来对生命之书进行插入、删除和替换。瓦格纳-费歇尔算法为我们提供了一种量化这一编辑过程结果的方法。

当我们比较一个突变基因序列与其健康对应物时,它们之间的编辑距离不仅仅是一个抽象的数字。它代表了区分两者的最小点突变数量——正是生物学家研究的那些插入、删除和替换。这为遗传分化提供了一个定量度量,构成了进化生物学和临床遗传学的基石。

但生物信息学中的应用不止于这种高层次的比较。它们还延伸到管理庞大生物数据库的繁杂实际工作中。想象一位研究人员手动转录一个序列登录号——一个遗传序列的唯一 ID。很容易将 'O' 错认为 '0',或将 'I' 错认为 '1'。一个简单的数据库查询会失败。然而,我们可以设计一个更宽容的“模糊”搜索系统。通过使用加权编辑距离,我们可以为视觉上易混淆的字符之间的替换分配较小的成本(例如,c(O,0)=0.5c(O,0) = 0.5c(O,0)=0.5),而为完全不相关的字符分配较大的成本(例如,c(A,X)=1c(A,X) = 1c(A,X)=1)。然后,该算法可以通过识别数据库中与有缺陷的查询具有最小加权距离的条目来找到预期的登录号,从而容忍人类转录中的常见错误。

更进一步,我们甚至可以将这个经典算法与现代机器学习的前沿联系起来。我们能直接从分子的 DNA 序列预测其功能,比如它的结合亲和力吗?这是药物发现中的一个核心问题。我们可以通过使用核函数来定义两个 DNA 序列之间的“相似性”概念来解决这个问题。构建这样一个函数的强大方法是使用公式 k(x,y)=exp⁡(−γ d(x,y))k(x,y) = \exp(-\gamma \, d(x,y))k(x,y)=exp(−γd(x,y)),其中 d(x,y)d(x,y)d(x,y) 是编辑距离。这个“编辑距离核函数”本质上是说,如果两个序列的编辑距离很小,那么它们就非常相似。然后我们可以将这个核函数输入到强大的机器学习模型中,如核岭回归,来进行预测。这里存在深层次的理论问题——这种方法只有在距离度量具有一种称为条件负定性的特殊属性时才能保证有效,而这一点对于 Levenshtein 距离尚未被证明。然而,对于一个特定的数据集,我们可以数值检验我们的核函数是否表现良好,从而为从原始 DNA 文本预测生物功能打开了大门。

代码与行动的蓝图

“序列”的概念远比一串字符更具普遍性。它可以是一系列动作、操作或状态。通过接受这种泛化,我们可以使用编辑距离来分析从软件架构到人类行为的各种事物。

我们中的许多人每天都与 git 这样的版本控制系统打交道。当你让 git 显示一个文件的两个版本之间的差异时,它本质上是在解决一个编辑距离问题。输出的“补丁”或“差异文件”是将旧文件转换为新文件所需的最少编辑的紧凑表示。同样的原理可以用来压缩整个版本历史。我们可以不完整地存储文件的每个版本,而是存储第一个版本,然后是一系列补丁。存储完整文件还是补丁的决策可以通过计算编辑距离来优化;如果距离很小,补丁的效率会高得多。

我们可以在更高的抽象层次上应用这种思维。考虑一个软件程序的整个架构,由其调用图——即哪个函数调用哪些其他函数的映射——来表示。通过将这个图序列化为一系列标记,我们可以比较软件的两个不同版本。这两个序列之间的加权编辑距离为我们提供了一个衡量架构漂移的强大指标。我们甚至可以为跨越模块边界的“替换”分配更高的成本,这反映了软件工程中“自包含模块内的更改比影响其公共接口的更改破坏性更小”的原则。

这种视角甚至可以转向我们自身。想象一个用户在浏览网站或应用程序。他们的旅程是一系列事件:(主页, 点击)、(产品页, 滑动)、(结账页, 点击)。我们可以定义一条“黄金路径”——理想的、最高效的用户流程。通过使用加权编辑距离将实际用户的流程与这条黄金路径进行比较,我们可以量化用户摩擦或导航困惑。将预期的 点击 替换为意外的 返回 按钮按下会增加距离,从而突显出用户界面设计中可能存在困惑的点。同样的逻辑可以模拟和比较其他领域的轨迹,例如个人的职业道路,通过将一系列职位头衔视为一个字符串,并根据职位是否属于同一职业“家族”来定义替换成本。

从字符到连续统

到目前为止,我们的序列都由离散的符号组成。但如果我们的数据是连续的,比如一系列随时间变化的测量值呢?动态规划比对的基本思想仍然适用。

考虑地球物理学家在地震后试图对齐来自两个不同传感器的地震信号。每个传感器记录了一系列事件时间,如 [0,3,6,10,15][0, 3, 6, 10, 15][0,3,6,10,15] 和 [1,5,9,14][1, 5, 9, 14][1,5,9,14]。这些不是来自字母表的字符,而是数轴上的点。我们仍然可以使用瓦格纳-费歇尔框架来找到最佳比对。我们只需重新定义成本。插入或删除可能有一个固定的惩罚,代表一个错过的事件。两个时间戳 aia_iai​ 和 bjb_jbj​ 之间的“替换”成本可以自然地定义为绝对时间偏移 ∣ai−bj∣|a_i - b_j|∣ai​−bj​∣。算法像之前一样进行,填充一个网格以找到成本最低的比对,这现在代表了匹配两个传感器之间地震事件的最佳方式,同时考虑了时间偏移和漏检。这架起了字符串比较的离散世界与信号处理和时间序列分析的连续世界之间的桥梁。

什么是“相似性”?拼写法 vs. 语义学

我们的探索最终导向一个迷人的、近乎哲学性的问题,这个问题被现代自然语言处理(NLP)清晰地凸显出来。瓦格纳-费歇尔算法为我们提供了一种衡量一种相似性的强大方式。但这是唯一的一种吗?

想象一下,给你一个词列表:“cat”、“cut”、“dog”、“dig”、“ship”、“shop”。你会如何将它们分组?使用编辑距离,“cat”和“cut”非常接近(距离为 1)。“ship”和“shop”也很接近(距离为 1)。“dog”和“dig”也很接近(距离为 1)。这是一个基于拼写法——即单词如何拼写——的完全合理的聚类。

但如果我们关心的是意义呢?猫和狗都是动物,所以在某种意义上,它们彼此之间的相似性比猫和单词“cut”更大。现代人工智能使用一种称为词嵌入的技术,其中每个词由高维空间中的一个向量表示。在这个空间中,意义相似的词的向量指向相似的方向。它们之间的“距离”可以通过其向量之间的夹角(余弦距离)来衡量。

如果我们在同一组词上使用这两种不同的距离度量进行聚类,我们会得到两种完全不同的分类体系。一种根据单词的外观分组,另一种根据它们的含义分组。这不是矛盾,而是一种启示。它表明“相似性”不是一个单一的、整体的概念。瓦格纳-费歇尔算法提供了一个不可或缺的工具,用于衡量一个维度上的相似性——结构、句法或拼写。通过这样做,它通过对比,阐明了其他类型的相似性究竟是什么。

从生命的代码到计算机的代码,从地球的震动到人类语言的节奏,寻找网格上最廉价路径的简单思想产生了共鸣。它证明了计算思维的统一力量,在一个纷繁多样的世界中揭示了共同的结构。