try ai
科普
编辑
分享
反馈
  • 张量网络:一种用于物理学和机器学习的可视化语言

张量网络:一种用于物理学和机器学习的可视化语言

SciencePedia玻尔百科
核心要点
  • 张量网络是一种图语言,它将张量表示为节点,将其指标表示为线(腿),从而简化了复杂的多重线性代数。
  • 张量缩并的基本操作对应于连接节点之间的腿,从而直观地表示对共享指标的求和。
  • 矩阵乘积态(MPS)是一种特殊的链状张量网络,非常适合高效地模拟遵守纠缠面积定律的一维量子系统。
  • 张量网络形式体系提供了一个统一的框架,其应用横跨量子物理学、统计力学和机器学习。

引言

在从量子物理到机器学习的许多前沿科学领域,研究人员都面临着一个共同的敌人:压倒性的复杂性。描述由许多相互作用部分组成的系统,通常会导致方程中出现数量惊人的变量和指标,这个问题非常严重,以至于被称为“指数暴政”。这种复杂性不仅使计算变得困难,也掩盖了其底层的物理结构。是否有一种方法,可以将这些骇人的方程转化为简单直观的图像,从而揭示其中隐藏的联系呢?

本文介绍的张量网络,就是一个能做到这一点的强大图形框架。通过将复杂的数学对象表示为简单的节点,并将其相互作用表示为连接线,张量网络为驾驭复杂性提供了一套可视化和计算的工具集。这种方法已经彻底改变了科学家和工程师应对其领域中一些最棘手问题的方式。

您将开启一段分为两部分的旅程。首先,在​​“原理与机制”​​中,您将学习这种可视化语言的基本语法——如何绘制张量、连接它们,以及解释生成的图。然后,在​​“应用与跨学科联系”​​中,您将看到这种语言的实际应用,探索它如何为量子多体物理、统计力学乃至人工智能中的问题提供优雅的解决方案。准备好去发现,绘制图示这一简单的行为如何能够开启对宇宙更深层次的理解。

原理与机制

你是否曾试图在一个冗长复杂的物理方程中追踪指标?那些下标和上标似乎像兔子一样成倍增长,从一个变量跳到另一个变量,求和符号则横跨整行。简直一团糟!你花在记录指标上的时间比理解物理本身还要多。你会想:“一定有更好的办法!”

的确有。事实证明,一套简单的图示——一种图语言——能够如利刃般切开这种复杂性。这就是​​张量网络​​的世界。它是一种将骇人的代数表达式转化为简单直观图像的方法。曾经如丛林般杂乱的指标变成了一幅干净、优美的图画,其中的连接本身就在讲述故事。让我们来学习这门奇妙新语言的语法吧。

一图胜千言

张量网络的第一条规则非常简单:我们不再用一个带着一堆指标的字母来表示张量,而是用一个形状——圆形、方形,任何你喜欢的形状——我们称之为​​节点​​。张量的每个指标都由一条从节点伸出的线来表示,我们称之为​​腿​​或​​边​​。腿的数量告诉你张量的​​阶​​。

就这么简单:

  • 一个​​标量​​,比如数字5,只是一个没有任何指标的数。所以,它是一个没有腿的节点。它只是一个点。
  • 一个​​向量​​,比如 viv_ivi​,有一个指标 iii。所以,我们把它画成一个带有一条腿伸出的节点。
  • 一个​​矩阵​​,比如 MijM_{ij}Mij​,有两个指标 iii 和 jjj。你猜对了:它是一个有两条腿的节点。
  • 一个​​三阶张量​​,比如 AijkA_{ijk}Aijk​,是一个有三条腿的节点。

以此类推。每个指标可以取的值的数量(比如说,从1到ddd)被称为那条腿的​​维度​​。现在,只需把它们看作是信息的管道。那些没有连接到任何东西的腿被称为​​开腿​​或​​自由指标​​。它们代表了整个网络所描述的最终张量的指标。整个网络所代表的张量的阶就是这些开腿的数量。

两个基本动作:连接与创建

有了我们新的形状和腿的字母表,我们只需要两个“动词”就能执行几乎所有的线性代数运算。

第一个,也是最重要的动词是​​缩并​​。在代数中,缩并是指同一个指标出现在两个不同的张量上,这意味着你必须对该指标所有可能的值进行求和。例如,在表达式 ∑kA...k...B...k...\sum_k A_{...k...} B_{...k...}∑k​A...k...​B...k...​ 中,指标 kkk 被缩并了。在我们的图语言中,缩并就是简单地​​连接​​对应于共享指标的​​腿​​。就是这么简单!

让我们见证奇迹。考虑两个向量 uuu 和 vvv 的内积(或点积),代数上是 s=∑iuivis = \sum_i u_i v_is=∑i​ui​vi​。

  • 我们从两个向量 uiu_iui​ 和 viv_ivi​ 开始。这是两个节点,每个节点都有一条腿。
  • 求和是针对同时出现在两者中的指标 iii。那么我们该怎么做呢?我们把 uuu 的腿连接到 vvv 的腿。
  • 还剩下什么?两条腿都在连接中被“用掉”了。没有剩下的开腿。一个没有开腿的网络代表一个标量。而内积正是一个标量:一个单独的数字! 这个图优美地展示了两个向量如何结合成一个标量。

第二个动词是​​外积​​,它基本上是缩并的相反操作。如果我们有一个像 Tijk=uivjwkT_{ijk} = u_i v_j w_kTijk​=ui​vj​wk​ 这样的表达式呢?注意这里没有重复的指标,因此没有求和。在我们的语言中,这意味着没有连接!要画出它,我们只需把 uuu、vvv 和 www 的节点并排放在一起。uuu 的腿(指标 iii)、vvv 的腿(指标 jjj)和 www 的腿(指标 kkk)都保持开放。最终的网络有三条开腿,告诉我们我们创建了一个三阶张量 TTT。 所以,缩并通过消耗腿来降低阶数,而外积通过组合腿来增加阶数。

构造网络:从链到环

现在我们有了基本的语法,我们可以开始构造更复杂的“句子”,看看它们如何揭示复杂运算中隐藏的结构。

让我们看看表达式 α=xTMy\alpha = x^T M yα=xTMy,用指标表示法写成 α=∑i,jxiMijyj\alpha = \sum_{i,j} x_i M_{ij} y_jα=∑i,j​xi​Mij​yj​。我们有两个向量(xix_ixi​, yjy_jyj​)和一个矩阵(MijM_{ij}Mij​)。

  • 我们画三个节点:一个给 xxx,带有一条腿(代表指标 iii);一个给 MMM,带有两条腿(代表 iii 和 jjj);一个给 yyy,带有一条腿(代表 jjj)。
  • 对 iii 的求和告诉我们,要把 xxx 的腿连接到 MMM 的“i”腿上。
  • 对 jjj 的求和告诉我们,要把 MMM 的“j”腿连接到 yyy 的腿上。
  • 我们得到了什么?矩阵 MMM 的节点像一座桥,一端连接着 xxx,另一端连接着 yyy。所有的腿都连接起来了;没有开腿。结果再次是一个标量 α\alphaα。是不是很巧妙?

我们还可以形成迷人的闭合结构。考虑三个矩阵乘积的迹:S=tr(ABC)S = \text{tr}(ABC)S=tr(ABC)。用指标表示法,这是一个优美对称的式子:S=∑i,j,kAijBjkCkiS = \sum_{i,j,k} A_{ij} B_{jk} C_{ki}S=∑i,j,k​Aij​Bjk​Cki​。

  • 我们有三个节点,分别代表我们的三个矩阵 AAA、BBB 和 CCC,每个都有两条腿。
  • 项 AijBjkA_{ij} B_{jk}Aij​Bjk​ 意味着我们把 AAA 的第二条腿(指标 jjj)连接到 BBB 的第一条腿(指标 jjj)。
  • 项 BjkCkiB_{jk} C_{ki}Bjk​Cki​ 意味着我们把 BBB 的第二条腿(指标 kkk)连接到 CCC 的第一条腿(指标 kkk)。
  • 最后一步:项 CkiC_{ki}Cki​ 和迹运算将 CCC 的最后一条腿(指标 iii)一直连回到 AAA 的第一条腿(指标 iii)。 结果是一个闭合的环!一个由三个节点组成的三角形,所有的腿都在内部连接。没有开腿剩下,这正确地告诉我们矩阵乘积的迹是一个标量。这个图以代数无法比拟的方式展示了迹运算的循环性质。

这种将张量连接成一条线的想法非常强大。以奇异值分解(SVD)为例,它指出任何矩阵 MMM 都可以分解为其他三个矩阵的乘积,M=USVTM = U S V^TM=USVT。用指标表示法,这可以写成 Mab=∑cUacSccVbcM_{ab} = \sum_c U_{ac} S_{cc} V_{bc}Mab​=∑c​Uac​Scc​Vbc​。右侧的图是一条链:UUU 的节点连接到 SSS 的节点,后者又连接到 VVV 的节点。整个链有两条开腿——一条在 UUU 端,一条在 VVV 端——对应于原始矩阵 MMM 的指标 aaa 和 bbb。这个图向我们展示了复杂的张量 MMM 可以被看作是由一系列更简单的张量链构建而成的。 这个想法是我们最后一个主题的关键。

链的物理学:矩阵乘积态

正是在这里,我们这个小小的绘画游戏变成了现代物理学中的一个革命性工具。想象一下,要描述100个相互作用的电子的量子态。每个电子可以是自旋向上或自旋向下,因此要描述整个系统,你需要一个包含 21002^{100}2100 个复数的列表——即一个有100个指标的张量!这个数字比可见宇宙中的原子数量还要多。把它写下来是不可能的,更不用说用它进行任何计算了。

​​矩阵乘积态(MPS)​​应运而生。这个绝妙的想法,受到我们刚才看到的SVD的启发,是这样说的:“如果这个大得不可思议的张量并非只是数字的随机集合呢?如果对于大多数物理系统,它具有一种隐藏的结构,比如一条链呢?”一个MPS将这个巨大的100阶张量表示为由100个小得多的张量组成的链。

图示和你预想的完全一样。我们有一条由100个节点组成的线。

  • 每个节点代表一个粒子(一个电子)。
  • 每个节点都有一条开腿,称为​​物理指标​​,它从链中“指向外面”。这条腿代表该特定粒子的状态(例如,自旋向上或向下)。因为有100个粒子,我们就有100条开腿,正确地代表了我们的100阶态。
  • 每个节点通过其他的腿与链中的邻居相连,这些腿称为​​虚拟指标​​或​​键指标​​。这些内部连接携带了关于粒子间纠缠和关联的信息。

对于有末端的链——我们称之为​​开放边界条件(OBC)​​——最两端的两个张量是特殊的。它们只有一个邻居,所以它们是更简单的二阶张量(一个物理腿,一个虚拟腿)。链中间的张量有两个邻居,所以它们是三阶张量(一个物理腿,两个虚拟腿)。

但如果我们的粒子排列成一个环,而不是一条线呢?这被称为​​周期性边界条件(PBC)​​。物理上的改变是深刻的,但在我们的图示中的改变却简单得可笑:我们只需再加一个连接。我们将链中的最后一个张量连接回第一个,将链变成一个闭合的环,一条项链。 现在每个张量都一样了,都是一个连接到两个邻居的三阶节点。

这才是张量网络的真正魅力所在。它们不仅仅是简化了混乱的代数。它们提供了一种新的思维方式,其中网络的几何结构——它的形状、连接方式,无论是一条线、一个环,还是更复杂的树——都反映了它所描述的系统的深层物理结构。粒子间的纠缠在图中变成了切实的连接。通过学习绘画,我们学会了理解自然。

应用与跨学科联系

既然我们已经学会了张量网络的语言,我们就可以开始一次盛大的巡礼。我们将看到这些简单的图示——这些由节点和腿组成的集合——不仅仅是一种奇特的符号,更是一种深刻的工具,它统一了广阔且看似不相关的科学领域。前一章给了我们语法;本章则关乎其诗意。我们将看到张量网络如何让我们驾驭量子世界的狂野复杂性,如何计算统计系统中的无限可能性,甚至如何构建能够学习的机器。这是一个关于在压倒性的复杂性面前,通过绘画的力量找到简洁与结构的故事。

量子世界:驯服多体巨兽

想象一下,要描述一个仅有几百个量子粒子的系统,比如一个小分子中的电子。每个粒子可以处于几种状态,但整个系统可以处于所有这些状态的任意组合中。可能性的数量,即所谓的希尔伯特空间的大小,是指数级增长的。对于300个每个都可能处于两种状态之一的粒子,描述其系统量子态所需的系数数量是 23002^{300}2300——这个数字比已知宇宙中的原子数量还要多!这就是“指数暴政”,在很长一段时间里,它使得对有趣的量子系统进行直接、精确的模拟成为一个不可能实现的梦想。

但在这里,大自然给了我们一个绝妙的提示。事实证明,大多数物理相关系统的基态——它们在低温下弛豫进入的状态——并不是这个大得不可思议的空间中的任意状态。它们占据了其中一个非常特殊、微小的角落。这种“特殊性”的秘密在于一种名为​​纠缠​​的属性。虽然量子粒子可以诡异地关联在一起,但这种纠缠通常是局域的;一个粒子主要关心它的直接邻居。

这正是张量网络取得其最著名成功的地方。一种特定类型的张量网络,​​矩阵乘积态(MPS)​​,被证明是描述这些物理相关状态的完美语言。你可以把MPS想象成将你的量子粒子沿着一维线串起来,每个粒子由一个张量表示。每个张量仅通过网络的“腿”与其左右邻居相连。这些连接腿的“通道”数量或“粗细”被称为​​键维数​​,χ\chiχ。神奇的事实是,对于一大类一维系统,你可以用一个非常小且可控的键维数获得对真实量子态极其精确的近似。

为什么这种方法如此有效?答案在于一个深刻的物理原理,即​​纠缠面积定律​​。对于许多具有能隙(意味着创造一个激发需要有限的能量)的一维系统,系统一部分与其余部分之间的纠缠量并不随该部分的大小而增长。相反,它会饱和到一个恒定值,该值仅由两部分之间边界的“面积”决定——而对于一维链来说,这个边界只是一个点!。恒定的纠缠量意味着你只需要一个恒定的键维数来描述它。物理定律(面积定律)和数学结构(MPS)之间这种美妙的契合,使得像密度矩阵重整化群(DMRG)这样的算法成为现代物理学和化学中最强大的工具之一。它使我们能够以惊人的精度计算量子材料的性质,将一个指数级困难的问题转化为一个多项式可解的问题。

故事还远未结束。许多物理系统具有对称性,比如粒子数守恒或总自旋守恒。这些不仅仅是美学上的愉悦;它们是计算上的宝藏。在张量网络语言中,对称性意味着每个张量在每个顶点上都必须遵守严格的“守恒定律”。对于像粒子数守恒这样的U(1)\mathrm{U}(1)U(1)对称性,这意味着从腿流入一个张量的“电荷”必须等于流出的电荷。这个规则迫使张量内部的大部分元素都恰好为零,使其具有“块稀疏”结构。这就像把一个巨大而杂乱的图书馆整理成一套套整洁的书架,每个书架都按类型标记。你不再需要翻遍每一本书;你只需去到正确的区域。这种块结构使得计算速度大大加快,内存效率也更高。甚至像保证概率总和为一的量子演化的幺正性这样的基本性质,也有一个极其简单的图形表示,展示了物理约束是如何被直接编织到图的结构之中的。

当然,没有一种工具是万灵药。当我们从一维链转向二维网格时,简单的MPS链开始力不从心。一个区域的“边界”现在是一条线,而不是一个点,纠缠量随着边界的长度而增长。要用一维的MPS来捕捉这一点,你需要的键维数会随着二维系统宽度的增加而指数级增长,我们又回到了指数暴政的困境!。但这并非张量网络思想的失败,而只是一维链的局限。它促使我们发明新的网络形状——比如称为投影纠缠对态(PEPS)的二维张量网格——这些形状天然适合描述更高维度的物理。语言在不断进化以迎接挑战。

统计宇宙:用图画计算构型

现在让我们从电子的量子之舞转向经典的统计力学世界。在这里,一个核心任务是计算​​配分函数​​ ZZZ,这个量编码了系统的所有热力学性质,如其能量和热容。要找到 ZZZ,必须对整个系统的每一种可能构型对一项(玻尔兹曼权重)进行求和——这又是一项看似在计算上毫无希望的任务。

考虑一个方形网格上的简单模型,其中每个格点都与其邻居相互作用。我们可以用一个单独的张量来表示每个格点上的局域相互作用。张量的腿指向其邻居:上、下、左、右。为了构建整个网格的配分函数,我们只需在每个格点上放置一个这样的张量,并连接相邻张量的腿。结果是一个巨大的、封闭的张量网络。配分函数,这个天文数字般复杂的和,就是将整个网络缩并后得到的那个单一数值!。

网络的拓扑结构直接反映了物理问题的拓扑结构。如果我们的网格位于一个甜甜圈(环面)的表面,那么张量网络也会环绕并自身连接起来。这在网络中引入了一个环路。正如我们在量子世界中瞥见的那样,环路会使缩并比开放链在计算上更具挑战性,但原理保持不变:局域相互作用的物理学直接转化为局域张量缩并的图示。这个强大的思想推广了著名的“转移矩阵”方法,并为我们提供了一种系统性的方法来近似任意维度下复杂相互作用系统的性质。

学习机器:能自我微分的网络

我们的最后一站是现代计算机科学的前沿:机器学习。其核心是,训练一个像深度神经网络这样的复杂模型是一个优化问题。我们定义一个“代价函数”来衡量模型预测的错误程度,并且我们希望调整模型的数百万个参数来最小化这个代价。高效实现这一目标的关键是计算代价函数的梯度——即代价相对于每一个参数的变化情况。

许多机器学习模型可以表示为巨大的张量缩并。那么,我们的图语言能帮助我们计算梯度吗?答案是肯定的,而且结果异常优雅。想象你有一个代表标量代价函数的闭合张量网络。要计算关于网络中某个张量 TTT 的梯度,其图形规则简单得惊人:只需将张量 TTT 从图中移除!余下的图是一个开放网络,其“悬空的腿”就对应于你所求的梯度张量的指标。整个反向传播过程,即深度学习的引擎,可以被理解为在整个网络上系统地应用这一“拔掉”规则的过程。

这种洞见是双向的。张量网络不仅能为理解和分析现有机器学习模型提供强大的语言,它们本身也可以作为一类新的模型。通过设计具有特定结构的网络,比如低键维数的MPS,我们可以构建出具有理想属性的模型,例如数据效率更高或更不容易过拟合,这些属性已经“内建”于其中。

一条共同的线索

从量子粒子的纠缠,到磁体的热力学,再到算法的优化,我们发现同样的故事正在用同一种语言讲述。张量网络的力量在于它们能够捕捉局域性和结构的本质。它们教导我们,复杂的全局行为往往源于简单的局域规则,而图语言是表达和操纵这些规则最自然的方式。它们是计算的工具,是直觉的向导,也是物理科学与计算科学之间美妙的、内在统一性的证明。