try ai
科普
编辑
分享
反馈
  • 人工突触:构建类脑计算

人工突触:构建类脑计算

SciencePedia玻尔百科
核心要点
  • 人工突触模拟了关键的生物学特性,如可塑性(长时程增强/长时程抑制)、时间动态特性和随机性,以实现类脑学习和计算。
  • 忆阻器件,包括RRAM、PCM和FeFETs,作为物理构建单元,充当可变电阻器,能够非易失性地存储突触权重。
  • 通过实现存内计算,人工突触阵列克服了冯·诺依曼瓶颈,有望在人工智能的能效方面实现数量级的提升。
  • 类脑学习规则,如脉冲时间依赖可塑性(STDP),可以直接在硬件中实现,使系统能够从经验中学习和适应。
  • 人工突触的开发是一项高度跨学科的工作,需要材料科学、物理学、电路理论和计算机科学之间的协同设计,以克服硬件的非理想特性。

引言

现代人工智能取得了令人难以置信的成就,但其能源成本也高得惊人。为我们的人工智能模型提供动力的数据中心消耗着巨额电力,这与仅用20瓦功率就能进行复杂计算的人类大脑形成了鲜明对比。这种巨大的效率差距源于一个根本性的架构差异:传统计算机在独立的处理单元和存储单元之间不断地穿梭数据,在此过程中浪费了巨大的能量。为了构建真正智能且可持续的系统,我们必须从根本上重新思考计算。

本文探讨了这一新范式的关键:人工突触。它致力于解决构建一种电子元件的挑战,该元件不仅能连接处理单元,还能以其生物对应物般的效率和优雅进行学习、记忆和计算。通过模仿大脑的基本构建模块,我们可以创造出直接在内存中进行计算的机器,从而消除成本高昂的数据瓶颈。

本次探索分为两个部分。首先,在“原理与机制”部分,我们将深入研究人工突触必须复制的核心生物物理特性,并考察提供物理基底的非凡忆阻器件。随后,“应用与跨学科联系”部分将揭示这些组件如何实现革命性的效率提升,实现类脑学习规则,并催生一个物理学与算法相结合的协同设计新时代。

原理与机制

要构建一个人工大脑,我们必须首先理解其最基本的组成部分:突触。但突触到底是什么?它远不止是连接两个神经元的简单导线,它是一个动态的、微观的计算机——一个能够记忆、计算和适应的设备。如果我们要用硅来模仿其卓越的能力,就必须首先欣赏其操作中精妙的复杂性。我们的挑战是捕捉其本质。

突触的“愿望清单”

想象一下,我们正在为人工突触绘制蓝图。我们必须包含哪些特征才能忠实于其生物学对应物?我们可以编制一份“愿望清单”,列出我们的硬件必须复制的基本生物物理自由度。

首要的是​​可塑性​​,即改变连接强度或​​权重​​的能力。这是学习和记忆的物理基础。当突触增强时,我们称之为​​长时程增强 (LTP)​​;当它减弱时,则称为​​长时程抑制 (LTD)​​。我们的人工突触必须能够响应神经活动来调节其连接强度。

其次,我们需要捕捉突触的时间动态特性。当一个信号到达时,其响应不是瞬时的“开”或“关”。相反,它会产生一个​​突触后电位​​——一种平滑、短暂的波形,在毫秒级别内上升和下降。这个信号的精确形状对于随时间整合信息至关重要。我们的设备必须能够生成具有这些特征性生物动力学的信号。

第三,我们必须拥抱随机性。突触传递是一个​​随机​​过程。突触前神经元的放电并不能保证突触后神经元会产生响应。神经递质以称为​​量子​​的离散包形式释放,每次事件释放的量子数量是一场概率游戏。这种概率性不仅仅是噪声;许多理论认为它是学习和稳健计算的关键特征。

最后,我们的突触必须具有短时程记忆。它对一个脉冲的响应取决于其近期的活动历史。这种​​短时程可塑性 (STP)​​可以导致突触在一系列快速脉冲中暂时变强(​​易化​​)或变弱(​​抑制​​)。这是在毫秒到秒的时间尺度上发生的另一层动态计算。

这份愿望清单——可塑性、时间动态特性、随机性和短时程记忆——构成了神经形态工程师面临的巨大挑战。我们的任务是找到能够优雅而高效地体现这些特征的物理原理和材料。

带记忆的电阻:构建模块

从核心上讲,突触权重可以被认为是信号从一个神经元传递到另一个神经元的“难易程度”。在电子学中,与此完美对应的概念是​​电导​​,即电阻的倒数。强突触具有高电导;弱突触具有低电导。因此,人工突触本质上是一个可变电阻器,或者更准确地说,是一个可变导体。

但电阻器如何能拥有记忆呢?答案在于一类迷人的器件,统称为​​忆阻器​​,或称记忆电阻。忆阻器的电导 GGG 不是一个固定属性,而是依赖于一个内部​​状态变量​​ xxx。这个状态变量又会根据施加在其上的电压 V(t)V(t)V(t) 或通过它的电流 i(t)i(t)i(t) 的历史而改变。我们可以正式地写为 i(t)=G(x(t))V(t)i(t) = G(x(t))V(t)i(t)=G(x(t))V(t) 和 dxdt=f(x(t),V(t))\frac{dx}{dt} = f(x(t), V(t))dtdx​=f(x(t),V(t))。其神奇之处在于,当电压被移除时,状态 xxx(以及电导 GGG)得以保持。这个设备记住了。

自然界和人类的智慧已经找到了几种构建这些带记忆电阻器的方法,每种方法都利用了不同的物理机制:

  • ​​阻变随机存取存储器 (RRAM):​​ 想象一下在两个金属触点之间有一个微小的绝缘间隙。通过施加一个强电场,你可以从绝缘材料中拉出离子,从而构建一个纳米级的导电细丝——一条由原子构成的导线——来桥接这个间隙。此时,该器件处于低电阻状态。施加一个反向电场,你就可以溶解或断开这条细丝,使其回到高电阻状态。这是一种纳米尺度的电化学过程,一个可逆的创建和破坏导线的过程。

  • ​​相变存储器 (PCM):​​ 这项技术类似于可重写DVD的工作原理。该器件使用一种特殊材料(一种硫族化合物玻璃),它可以存在于两种状态:一种是无序的非晶态(高电阻),另一种是有序的多晶态(低电阻)。通过施加一个短暂而强烈的电流脉冲,你可以熔化该材料。如果它迅速冷却,就会凝固成非晶态。如果你用一个更长、更低的脉冲更温和地加热它,它就有时间排列成晶态。通过仔细控制加热过程,你甚至可以创造出部分晶态,从而实现一系列的电导值。

  • ​​铁电场效应晶体管 (FeFETs):​​ 这种方法特别优雅。它使用一个晶体管——所有现代电子学的核心部件——但有一个巧妙的转折。栅极绝缘层,通常只是用来阻断电流,被替换为一种​​铁电​​材料。在这些材料中,正电荷和负电荷可以被永久分离,形成一个内建的电偶极子,或称​​极化​​。外部电场可以翻转这种极化,并且——至关重要的是——即使在外部电场消失后,极化仍然存在。这种剩余极化就像一个持久的、非易失性的栅极电压,调节其下方晶体管沟道的电导。通过施加仅部分翻转铁电材料内部微观畴区的脉冲,可以实现一个近乎连续的极化状态范围,从而实现对突触权重的优美模拟控制。

这些并非唯一的选择。其他成熟技术,如构成闪存基础的​​浮栅晶体管​​,也可以使用。在这种技术中,电荷被注入到一个微小的、电隔离的“浮动”金属栅极上,在那里可以被困住数年。捕获电荷的数量决定了晶体管的电导。通过将两个这样的晶体管排列成一个差分对,甚至可以创造一个与它们各自存储电流之比的对数成正比的有符号突触权重,这种设计能够优雅地线性化突触输出。

学习的规则

拥有一个电导可调的设备只是成功的一半。我们如何让它像真正的突触一样学习?我们必须将生物学习规则转化为电压和电流的语言。

一个基本的学习规则是​​赫布可塑性​​:“一起发放的神经元连接在一起。”这意味着突触权重应该根据突触前神经元和突触后神经元活动的关联性而改变。一个简单的建模方法是将LTP和LTD映射到由编程脉冲驱动的电导变化。

考虑一个简单的模型,其中正电压脉冲引起增强(LTP),负电压脉冲引起抑制(LTD)。器件的物理特性常常施加一个非常有用的约束:更新的大小取决于当前状态。对于增强,变化率可能与当前权重 www 离其最大值(111)的距离成正比:dwdt=kp(1−w)\frac{dw}{dt} = k_p (1 - w)dtdw​=kp​(1−w)。对于抑制,它可能与离其最小值(000)的距离成正比:dwdt=−kdw\frac{dw}{dt} = -k_d wdtdw​=−kd​w。这被称为​​乘法更新规则​​。

这种状态依赖性带来了深远的影响。如果一个突触非常强(接近 w=1w=1w=1),就很难进一步增强它,但很容易抑制它。如果它非常弱(接近 w=0w=0w=0),就很容易增强但很难抑制。这提供了一种自然的、自动的增益控制,防止突触权重饱和在其极限值。在一场由随机增强和抑制信号组成的平衡风暴下,突触不会漂移,而是会自动稳定到一个平均权重 w∗=kpkp+kdw^* = \frac{k_p}{k_p + k_d}w∗=kp​+kd​kp​​,从而创造一个稳定而又可塑的记忆。

一个更复杂的规则是​​脉冲时间依赖可塑性 (STDP)​​,其中脉冲的精确时间决定了突触的变化。如果一个突触前脉冲在突触后脉冲之前到达(Δt=tpost−tpre>0\Delta t = t_{\text{post}} - t_{\text{pre}} > 0Δt=tpost​−tpre​>0),突触就会增强。这种“前因后果”的因果关系会得到LTP的奖励。如果顺序颠倒(“后因前果”,Δt0\Delta t 0Δt0),突触就会减弱(LTD)。

这可以在硬件中以非凡的优雅方式实现。第一个脉冲(前或后)的到来可以触发电路中一个衰减的电压信号,称为​​资格迹​​。第二个脉冲的到来随后“采样”这个迹。该迹在那一刻的电压决定了发送到忆阻器件的编程脉冲的幅度和极性。一个大的正 Δt\Delta tΔt 可能会被映射到一个小的正电压,引起少量的增强。一个大的负 Δt\Delta tΔt 可能会被映射到一个小的负电压,引起少量的抑制。通过这种方式,STDP的抽象规则被直接转化为突触器件的物理响应。

网络的交响乐

单个突触只是一件乐器。一个大脑是一个交响乐团。这些元素如何在一个大型网络中协同工作?两个关键因素是速度和能量。

自然界使用两种类型的突触:化学突触和电突触。化学突触是最常见的类型,涉及神经递质释放、跨越突触间隙的扩散和受体结合的复杂级联反应。这个过程虽然允许丰富的计算,但相对较慢。分子跨越 20 nm20\,\mathrm{nm}20nm 间隙的扩散大约需要 0.4 μs0.4\,\mu\mathrm{s}0.4μs,但随后的受体动力学可能会给延迟增加数十微秒。

电突触,或称​​间隙连接​​,则不同。它们是直接的物理连接——允许电流从一个神经元流向下一个神经元的通道。在电子学术语中,这只是一个连接两个电容器(神经元膜)的电阻器(或导体)。通信延迟由RC时间常数决定,对于典型的器件参数,这可能在 0.1 μs0.1\,\mu\mathrm{s}0.1μs 或更短——比化学突触快两个数量级!我们的电子人工突触,作为直接的导电连接,是这些超快速电突触的类似物,这也解释了为什么神经形态系统能够以远超其生物对应物的速度运行。

此外,信号的形状也很重要。突触后电位具有特征性的上升和衰减时间,这使得神经元能够整合传入的信号。这一点也可以通过简单且节能的模拟电路来模拟。一个称为运算跨导放大器(OTA)的标准构建模块给电容器充电,从而创建了一个一阶低通滤波器。通过组合两个这样的级联——一个用于快速上升,一个用于较慢衰减——我们可以精确地设计出一种电导波形,模仿像AMPA这样的生物受体的动力学,其时间常数(τr,τd\tau_r, \tau_dτr​,τd​)通过调节纳安培范围内的偏置电流来调整。

构建大脑的混乱现实

原理是美好的,但物理世界是混乱的。制造数十亿个相同的纳米级器件是我们这个时代最伟大的工程挑战之一。

一个主要障碍是忆阻器件固有的​​非线性和不对称性​​。正脉冲引起的电导变化通常与负脉冲的非常不同。此外,变化的幅度严重依赖于器件的当前状态。这使得精确、对称和线性的权重更新——许多机器学习算法中的常见假设——变得极其困难。工程师们已经设计出巧妙的解决方案。​​闭环编程方案​​使用反馈来不断测量器件状态并动态调整编程脉冲,以达到目标变化。另一种策略是使用​​差分对​​,其中单个突触权重存储为两个器件电导之差(w=G1−G2w = G_1 - G_2w=G1​−G2​),从而平均掉一些非理想特性。

另一个更深层次的挑战是​​器件变异性​​。没有两个晶体管是完全相同的。变异来自两个来源。​​随机失配​​是由于原子尺度的随机性,如晶体管沟道中掺杂原子的确切数量和位置。这是一个统计学游戏;随着器件面积的增加,变异会减小。另一方面,​​系统失配​​来自整个硅片上的逐渐变化——制造过程中薄膜厚度或温度的梯度。彼此靠近的器件比晶片两端的器件更相似。这个问题在3D堆叠芯片中被加剧,其中来自互连(硅通孔)的机械应力和层间的热梯度引入了新的、复杂的系统变异源。管理这种变异性对于构建可靠的大规模系统至关重要。

最后,还有一个永远存在的问题:能量。神经形态计算的主要目标之一是大幅降低人工智能的功耗。在这里,存储技术的选择至关重要。一个​​易失性​​突触,比如存储在电容器上的突触,写入速度快且容易,但它会泄漏电荷,需要持续的、耗能的​​刷新​​操作来维持其状态。而一个​​非易失性​​突触,比如忆阻器,初始写入能量较高,但一旦写入,它可以在零功耗的情况下保持其状态多年,这得益于一个高能垒,防止热波动抹去记忆。对于长期存储,写入非易失性器件的一次性成本可能远低于其生命周期内刷新易失性器件的累积能源账单。这种静态功耗和动态能量之间的根本性权衡指导着所有大规模神经形态系统的设计。

从生物突触到硅突触的旅程,是科学统一力量的证明——它连接了神经科学、固态物理学、电路理论和统计学。通过理解和拥抱这些基本原理,无论是生物学中优雅的计算规则,还是我们硬件中混乱的物理现实,我们都可以开始设计出不仅能计算,还能以真正类脑的方式学习、适应和记忆的机器。

应用与跨学科联系

在深入了解了人工突触复杂的原理和机制之后,我们可能感觉自己像一个终于明白每一根齿轮和弹簧用途的钟表匠。但手表不仅仅是它的零件;它真正的魔力在于报时。同样,人工突触真正的奇迹,在于我们退后一步,看到它能做什么。我们能用这些微小的、受大脑启发的组件构建出怎样宏伟的设计?这条探索之路又将我们引向何方?

我们发现自己正处在一个非凡的十字路口,物理学、材料科学、神经科学和计算机科学在此交汇。人工突触的应用不仅仅是工程上的新奇事物;它们代表了对计算本身的根本性反思,并为我们审视自己心智的运作方式提供了一个新的视角。

追求效率:重塑计算的能源预算

构建人工突触最直接、最深刻的动机之一是人脑惊人的能效。你的大脑在执行那些足以让超级计算机汗颜的感知、学习和创造力壮举时,仅消耗约20瓦的功率——比一盏昏暗的灯泡还少。相比之下,为我们数字世界提供动力的数据中心消耗的电量堪比整个国家的用电量。为何存在如此巨大的差距?

答案在于架构上的根本差异。基于冯·诺依曼架构的传统计算机建立在一个代价高昂的分离之上:数据存储在内存中,必须不断地来回穿梭到一个中央处理单元(CPU)进行处理。这个“冯·诺依曼瓶颈”就像一个图书管理员,每次计算都必须跑到书架上取一本书。来回奔波——为连接内存和处理器的长导线充电和放电——正是大部分能量消耗的地方。

由人工突触构建的神经形态系统提供了一种激进的替代方案:存内计算。通过将忆阻突触排列成密集的交叉阵列,存储和计算都发生在同一个地方。突触权重(内存)是器件的物理状态,而计算(输入电压乘以突触电导)是欧姆定律的直接结果。图书管理员不用跑了;书本自己就能思考。

这种架构上的转变有望带来巨大的效率提升。当我们分析单次突触更新的能量成本时,我们发现游戏规则完全改变了。不同于从数字内存中读取、在专用单元中执行算术运算、再将结果写回的昂贵序列,忆阻器中的更新是一个直接的物理过程。虽然编程单个忆阻器的能量可以与数字操作相媲美,但真正的威力来自于大规模并行性和数据移动的减少。在一个交叉阵列中,一整排的突触可以同时更新,从而极大地降低了每个突触的开销能耗。

但大脑效率的秘密不止于此。大部分时间里,它的大部分神经元都是沉默的。这种“稀疏、事件驱动”的活动是我们能够效仿的另一个关键原则。数字芯片即使在空闲时也会因漏电流而消耗静态功率。然而,神经形态系统可以被设计成仅在“脉冲”——一个事件——发生时才消耗显著功率。通过精心设计低漏电的器件,并以非常低的占空比(意味着它们只在极短的几分之一秒内处于电活动状态)来操作它们,静态功率成本几乎可以完全被“分摊”掉。系统在无事可做时真正进入睡眠状态,并能瞬间唤醒以处理信息,就像大脑一样。这种事件驱动的特性不仅仅是一个功能;它是构建能够扩展到大脑复杂性而无需发电厂来运行的计算系统的基石。

像大脑一样学习:从简单规则到智能行为

除了效率,人工突触还使我们能够实现受大脑自身卓越可塑性启发的学习规则。这些系统不是由人类编程,而是可以从经验中学习和适应。

这些规则中最著名的是脉冲时间依赖可塑性(STDP),它是“一起发放的神经元连接在一起”这句话的完美体现。在STDP中,突触前和突触后脉冲的精确时间决定了突触强度的变化。如果突触前神经元在突触后神经元之前不久发放,为其发放做出了贡献,那么突触就会增强。如果它在之后不久发放,它就会减弱。这个简单的局部规则让神经元网络能够学习世界中的时间相关性。值得注意的是,当我们构建一个遵循STDP规则的人工突触时,我们发现它产生的累积权重变化在数学上可以与经典机器学习算法(如感知器)的更新规则相关联。这提供了一个深刻的联系,展示了大脑基于脉冲的异步世界如何能够实现与传统人工智能基于速率的同步世界相同的计算目标。

然而,像STDP这样的简单赫布规则可能不稳定;如果不加控制,它们可能导致突触的失控增强或减弱。大脑采用了一系列稳态机制来确保稳定性。其中一种机制被Bienenstock-Cooper-Munro(BCM)理论所捕捉,该理论认为增强与抑制的阈值不是固定的。相反,它会根据突触后活动的近期历史上下滑动。如果一个神经元过于活跃,其增强阈值就会上升,使其突触更难增强。如果它一直很安静,阈值就会降低。我们可以设计出能够内在地捕捉这种自我调节行为的人工突触,其中器件自身的动力学创建了一个稳态反馈回路,确保网络在没有外部干预的情况下保持在健康、可塑的状态。

也许最激动人心的前沿是构建能够从奖励和惩罚中自主学习的系统,这是强化学习的基础。这需要一个“三因子”学习规则:突触的变化取决于突触前活动、突触后活动,以及一个代表奖励或意外的第三个全局信号(一种“神经调质”,如多巴胺)。人工突触为此提供了一个优美的物理基底。突触前和突触后脉冲的相关性可以在器件中产生一个临时的、易失性的状态,称为“资格迹”。这个迹是一个潜在因果联系的幽灵,一个记忆,表明“这个突触可能对最近的结果负责”。如果一个全局奖励信号在这个迹仍然活跃时到达,它会触发第二个过程,将这个易失性的迹转化为突触权重的永久性变化。突触学会了。这种在硬件中实现的机制是构建能够学习导航和掌握复杂环境的自主智能体的关键一步。

协同设计的交响乐:物理与算法的交汇

与人工突触打交道的经验教会我们一个至关重要的教训:在神经形态工程中,算法无法与硬件分离。我们不是在为一个完美的、抽象的机器编程;我们是在与真实器件丰富而时而固执的物理特性打交道。

例如,一个真实的忆阻器并不是一个完美的线性学习元件。它对编程脉冲的响应通常是高度非线性的,并且它表现出饱和现象——当其状态接近其最小或最大电导极限时,改变其状态变得越来越难。如果我们应用一个具有固定更新步长的幼稚学习算法,学习过程将在这些边界附近停滞不前。

解决方案不是诅咒物理学,而是拥抱它。这引出了协同设计的理念。通过对器件的非线性窗口函数进行建模,我们可以设计一个更智能、自适应的学习策略。算法可以动态调整编程脉冲的大小,在器件处于响应较差的状态时施加更强的脉冲,在它高度响应时施加更温和的脉冲。这种“逆窗口补偿”有效地线性化了学习动态,使得在固定策略会失败的情况下也能实现平滑、快速的收敛。这是一场物理学家表征器件与理论家设计算法之间的交响乐,他们共同努力,从不完美的物质中引导出智能行为。

扩展工具箱:新模型与新材料

构建人工突触的旅程也是一个发现之旅,推动着神经科学和材料科学的边界。我们开始构建能够融入更多大脑复杂性的系统。例如,大脑不仅仅是神经元的网络。其他细胞,如星形胶质细胞,在调节突触活动和可塑性中扮演着至关重要的角色。我们现在可以设计忆阻系统,其中一个内部状态变量充当突触,而第二个、较慢的状态变量充当“星形胶质细胞样门控”,控制第一个变量的学习率。这为直接在硬件中实现更复杂的元学习和注意力机制打开了大门。

这项探索也引导我们去建模和理解记忆本身。我们的记忆不是刻在石头上的;它们是演变的。一个记忆首先以脆弱的、短时程的形式存储(早期可塑性),随后被巩固成稳固的、长时程的结构形式。这个双时间尺度的过程可以直接在混合信号CMOS-忆阻器电路中模拟,其中一个易失性的基于电容器的电路持有快速的迹,而一个非易失性元件,如浮栅晶体管,存储缓慢的、巩固的迹。这样的模型甚至可以帮助我们测试关于记忆如何维持的理论。通过对排练驱动的再巩固过程进行建模,我们可以看到记忆迹的周期性再激活如何驱动其从快速系统向慢速系统的转移,从而保护它免于衰减并显著延长其寿命。

最后,如果没有材料科学领域的并行革命,这一切都不可能实现。寻找完美的人工突触是发现和工程化新型功能材料的主要驱动力。该领域正在超越传统的金属氧化物,探索奇异的替代品。例如,像单层α-In2Se3\alpha\text{-In}_2\text{Se}_3α-In2​Se3​这样的二维铁电材料提供了一个迷人的平台。在这些材料中,突触权重可以被编码在单个原子层的连续、可切换的电极化中。施加电压脉冲会翻转局部极化,为突触增强和抑制提供了直接的物理模拟。在原子尺度上设计这些特性的能力,指向了超密集、超高效突触器件的未来。

从节约能源到揭开记忆的奥秘,人工突触远不止是一个简单的电子元件。它是一个焦点,一个不同科学领域为了一个共同目标而联合起来的地方:理解智能的本质,并构建新一代能够以我们刚刚开始想象的方式学习、适应和思考的机器。