try ai
科普
编辑
分享
反馈
  • 神经拟态系统

神经拟态系统

SciencePedia玻尔百科
核心要点
  • 神经拟态系统通过内存与计算共置来模拟大脑的结构,克服了传统计算机中限制性能的冯·诺依曼瓶颈。
  • 它们异步且事件驱动地运行,仅在有新信息时才使用“脉冲”进行计算,从而在能效上实现巨大提升。
  • 学习通过基于硅的突触可塑性实现,这使得系统能通过响应活动来增强或减弱连接,从而进行自适应。
  • 除了高能效的人工智能,神经拟态平台还可作为强大的科学工具,用于模拟大脑功能、检验认知理论以及解决复杂的优化问题。

引言

在追求更强大、更高效计算的道路上,研究人员越来越多地将目光投向已知的最复杂的计算设备:人脑。这催生了神经拟态系统,一种革命性的计算范式,它摒弃了传统架构,直接模拟大脑的结构和功能。几十年来,计算机设计一直由冯·诺依曼架构主导,其内存和处理的分离造成了根本性的“瓶颈”,限制了性能并消耗了大量能源。神经拟态工程通过构建思维方式不同的芯片来直面这个问题——这些芯片不是与全局时钟同步运行,而是通过一系列异步的、类似大脑的事件级联来工作。

本文将对这些受大脑启发的系统进行全面探索。我们将在“原理与机制”部分首先揭示其基本概念,审视内存与计算共置、使用脉冲通信以及体现生物学习规则如何使其实现惊人的能效。随后,“应用与跨学科联系”部分将揭示这项技术的深远影响,从为边缘设备设计超低功耗人工智能,到创造用于探索心智奥秘、模拟物理系统和推动计算本身前沿的新型科学仪器。

原理与机制

要真正领会神经拟态系统所代表的革命,我们必须首先审视我们日常使用的计算机。七十多年来,主流范式一直是​​冯·诺依曼架构​​。这是一个极其简单的理念:一个中央处理器(CPU)执行计算,一个独立的存储单元存储指令和数据。CPU获取一条指令,然后获取所需的数据,执行操作,并将结果写回内存。这个过程在全局时钟稳定的一“滴答”一“滴答”声中周而复始。

但这个优雅的设计有一个隐藏的缺陷,一个被称为​​冯·诺依曼瓶颈​​的根本性交通堵塞。内存和计算的物理分离意味着数据必须在一条相对狭窄的数据总线上不断来回穿梭。随着我们的处理器变得快得惊人,这个数据传输瓶颈已成为性能的主要限制因素,更关键的是,它是一个巨大的能源消耗者。在许多现代芯片中,用于移动数据的能量远远超过了用于实际计算的能量!

有没有另一种方式呢?毕竟,大自然构建了一台非凡的计算机,它遵循着完全不同的原则:人脑。大脑是大规模并行的,拥有数十亿个简单的处理单元(神经元)以复杂的网络互连。至关重要的是,它的内存(突触连接的强度)与其处理器(神经元)在物理上交织在一起。没有分离,没有瓶颈。这种​​内存与计算共置​​的原则是神经拟态工程的第一个基石。

一种不同的时钟:时间中的事件

大脑也说一种不同的语言。传统计算机是同步的,与全局时钟步调一致。在每一个时钟周期,系统的每个部分都会更新其状态,无论它是否有新信息。这就像一个管弦乐队,每个乐手在每个节拍上都演奏一个音符,即使这个音符是休止符。

相比之下,神经拟态系统在很大程度上是​​异步且事件驱动的​​。它们遵循“仅在必要时计算”的原则。通信通过称为​​脉冲​​的离散、标准化的事件进行——即短暂的电活动脉冲。一个硅神经元保持静默,消耗极少的功率,直到其输入累积到某个阈值。只有到那时,它才会发放一个脉冲,这个事件随后被传输到其他神经元。计算以这些事件的级联形式在网络中流动,更像是一场链式反应,而不是由一个全局节拍器所支配。

这种基于事件的范式具有深远的影响。想象一下听一首音乐。是每秒一百万次地不断询问“现在的音量是多少?现在呢?现在呢?”更有效率?还是在音符实际被演奏时才被通知会更好?后者就是事件驱动的方法。它自然地将计算资源集中在需要它们的时间和地点。

但是一个脉冲携带什么信息呢?最简单的解释是​​速率编码​​,即神经元的放电速率——每秒的脉冲数——编码了刺激的强度。更亮的光使视网膜神经元更频繁地放电。这很直观,但也丢弃了大量信息。一种更丰富的语言见于​​时间编码​​,其中脉冲的精确时间携带意义。想想声音的音量(速率)与歌曲复杂的节奏和旋律(时间)之间的差异。大脑两者都使用,而神经拟态系统则力求驾驭时间的力量。神经元放电的瞬时概率,即其​​条件强度​​,可以在亚毫秒的时间尺度上被调制,以编码世界的动态特征,例如声波的相位,而这种方式是简单地在长窗口内计算脉冲完全无法捕捉的。

硅脑的构建模块

要构建一个用脉冲思考的计算机,我们需要设计出大脑基本组件的硅模拟物:神经元和突触。

神经元:从生物学到硅

生物神经元是生物物理工程的奇迹。它的膜电位 V(t)V(t)V(t) 源于流经特殊蛋白质通道的离子电流的精妙平衡。在静息状态下,离子泵不知疲倦地工作,以维持钾离子(K+\mathrm{K}^+K+)和钠离子(Na+\mathrm{Na}^+Na+)等离子的浓度梯度。每种离子都“想要”朝着一个能平衡两种竞争力量的方向流动:一种是驱动它从高浓度流向低浓度的扩散力,另一种是来自膜电压的电力。对于给定离子,这两种力完美抵消时的电压是其​​能斯特电位​​。当多种离子可以穿过膜时,静息电位会稳定在一个由​​Goldman-Hodgkin-Katz方程​​描述的值,该方程本质上是能斯特电位的加权平均值,权重由每种离子的相对渗透性决定。

著名的​​Hodgkin-Huxley模型​​用一组卓越的微分方程捕捉了这种动态相互作用,描述了钠和钾离子的电压依赖性电导如何创造出动作电位(即脉冲)的标志性形状。该模型是生物物理保真度的黄金标准,使研究人员能够模拟通道突变或药物的精确影响,这在计算精神病学等领域是至关重要的工具。

然而,Hodgkin-Huxley模型的复杂性使其对于大型网络来说计算成本高昂。神经拟态工程师通常采用一种“足够好”的哲学,采用简化的模型。最常见的是​​漏积分放电(LIF)​​神经元。LIF模型将神经元视为一个简单的RC电路,它会“泄漏”电荷并“整合”传入的脉冲电流。当其电压达到阈值时,它会发放一个脉冲并重置。它的计算成本低,但缺乏真实神经元丰富的动态特性。像优雅的​​Izhikevich模型​​这样的中间模型,仅用两个方程就能重现一系列生物学上真实的放电模式——从规则放电到复杂的簇状放电——在保真度和效率之间提供了强大的折衷。模型的选择始终是在你想要解释什么和你有多少资源之间进行权衡。

突触与路由器:网络即计算机

在大脑中,计算不仅发生在神经元中,也发生在它们之间的连接中。在神经拟态芯片中,​​突触​​是存储连接强度(即​​权重​​ wjw_jwj​)的元件。它们就是内存。当一个脉冲到达时,突触将此权重应用于信号,然后信号再传递给下一个神经元。这些突触在物理上就位于其神经元电路旁边——这是内存与计算共置的终极体现。

为了将脉冲从一个神经元传递到许多其他神经元,芯片使用专门的​​路由器​​。这些组件构成一个片上网络,将事件包——携带发送神经元地址的小型数字消息——穿梭到它们的目的地。该网络异步运行,在消息生成时即进行传递,从而实现了大规模、灵活的并行性,这是类脑计算的标志。

惊人的能源优势

这种独特的架构——内存共置、事件驱动处理和稀疏活动——在能效方面带来了惊人的优势。

让我们再回到冯·诺依曼瓶颈。从外部存储器中获取一个32位字所耗费的能量可能是一次浮点运算的数百甚至数千倍。神经拟态系统通过在本地执行大部分操作,使用存储在突触处的权重,大幅削减了这一成本。

此外,功耗与活动成正比。一个时钟同步的SIMD处理器,如GPU,仅分发其全局时钟信号就会消耗大量功率,即使其许多处理通道处于空闲状态。在一个事件驱动的系统中,没有全局时钟需要供给。一个神经元及其突触静静地待着,只消耗极少量的泄漏功率,直到一个脉冲到达。对于信息稀疏的任务——而大多数真实世界的感官数据都是稀疏的——这是一个颠覆性的改变。想象一个拥有一百万个神经元的网络,每个神经元平均每秒仅放电一次。用于计算的总动态功耗可能微乎其微,通常只有几毫瓦,甚至远小于芯片的静态泄漏功耗。

当这两个因素结合起来时,收益可能是天文数字。一项比较神经拟态设计与传统设计处理大型突触工作负载的假设但现实的分析表明,仅仅通过利用稀疏性和本地数据访问,神经拟态方法在数据移动和时钟能耗方面可能比传统方法高出​​60多万倍​​的能效。

学会学习:硅中的可塑性

一个不能学习的大脑仅仅是一个自动机。神经拟态系统真正的力量,就像大脑一样,在于它们能够根据经验进行自适应和自我重塑。这个过程被称为​​突触可塑性​​。

最被充分理解的形式是​​长时程增强(LTP)​​,即突触连接的持续性增强,和​​长时程抑制(LTD)​​,即持续性减弱。这些不是短暂的变化;它们可以持续数小时、数天或一生,构成了学习和记忆的物理基础。它们与​​短期可塑性​​不同,后者涉及突触效能的短暂、持续数秒的变化,通常由突触前机制引起。

一个优美统一的理论解释了单个分子如何仲裁这种双向可塑性。关键在于突触后神经元中钙离子([Ca2+]post[Ca^{2+}]_{\mathrm{post}}[Ca2+]post​)的浓度,它充当了关键的第二信使。

  • 一次巨大而短暂的 [Ca2+]post[Ca^{2+}]_{\mathrm{post}}[Ca2+]post​ 峰值(由强烈、高频的活动触发)会激活像CaMKII这样的蛋白激酶。这会启动一个生物化学级联反应,导致更多的AMPA受体被插入到突触中,使其对未来的信号更加敏感。这就是​​LTP​​。
  • 一次较为温和但持续时间较长的 [Ca2+]post[Ca^{2+}]_{\mathrm{post}}[Ca2+]post​ 升高(由低频活动触发)会激活像钙调神经磷酸酶这样的蛋白磷酸酶。这些酶会逆转该过程,导致AMPA受体从突触中被移除。这就是​​LTD​​。

这是一个极其优雅的机制:钙信号的幅度和持续时间决定了学习的方向。

大脑的学习规则甚至更为复杂。诱导LTP或LTD的阈值不是固定的;它可以根据近期的活动历史上下滑动。这种“可塑性的可塑性”,即​​元可塑性​​,作为一种稳态机制,防止权重饱和在最大值或最小值,并使网络保持在敏感的学习状态。此外,记忆通过​​巩固​​过程从一个脆弱、不稳定的状态转变为一个稳固、长期的状态,这可能涉及完全独立的分子机制以及信息在不同时间尺度上运行的不同记忆变量之间的转移。在神经拟态设计中体现这些多时间尺度的学习规则是最激动人心的前沿之一。

两个世界的故事:模拟与数字

我们如何物理地构建这些硅脑?工程师们采取了两条截然不同的路径,每条都有其自身的哲学和权衡。

​​模拟​​方法旨在直接模仿大脑的物理过程。在这些芯片中,神经元膜电位的连续时间动态不是通过模拟实现的,而是通过电容器的充放电物理体现的。来自传入脉冲的电流根据基尔霍夫定律在节点处进行物理求和。这种方式可以非常紧凑和节能。然而,模拟电路不可避免地会受到物理世界的弊病影响:热噪声和器件失配。就像没有两个真实的神经元是完全相同的一样,也没有两个模拟硅神经元会是相同的。这种可变性虽然有时有用,但对精度和可复现性构成了挑战。

另一方面,​​数字​​方法则拥抱传统计算机设计的精度和可预测性。在这里,神经元模型的微分方程通过固定时间步长进行数值求解,所有状态变量都由有限精度的数字表示。这使得系统的行为完全可复现,且不易受噪声影响。然而,它失去了物理计算的天然效率,并引入了其自身的产物,如时间和电压上的量化误差。

神经拟态计算的未来可能在于两种世界的巧妙融合,创造出混合系统,既利用模拟计算在其擅长之处的效率,又利用数字逻辑在其需要之处的精度。这场构建思维机器的探索仍在继续,它是物理学、计算机科学、工程学和神经科学的宏伟综合。

应用与跨学科联系

在深入了解了神经拟态系统的基本原理之后,我们现在来到了探索中最激动人心的部分:看它们如何实际应用。这些受大脑启发的机器擅长做什么?我们将发现,答案远比仅仅创造更快或更高效的人工智能更为深刻和多样。我们将看到,这些系统不仅是工程工具,也是科学仪器,为我们探索自身心智的奥秘,乃至计算本身的本质提供了新途径。我们的旅程将从硅芯片制造的复杂挑战,到计算精神病学的前沿,从优化的物理学到生物计算的未来。

设计非传统计算机

在神经拟态芯片发挥任何实际作用之前,它必须被构建和编程,而这正是第一组迷人挑战的所在。与遵循全局时钟节拍的传统计算机不同,神经拟态系统在一个异步事件的世界中运行。计算不是被强制纳入离散的时间步长;它是有机地流动的,由数据本身驱动。

想象一个连接到事件相机的神经拟态视觉系统。该相机不会每秒发送30次完整帧;它仅在单个像素检测到亮度变化时,才发送一个微小的信息包——一个“事件”。神经拟态芯片中的卷积层不会一次性处理整个图像。相反,它接收这些事件的稀疏流。每个事件触发一次微小的、局部的计算:其影响在一小块网络中荡漾开来,根据预定义的核函数更新少数“神经元”的状态。只有当其中一个神经元整合了足够的输入以跨越阈值时,才会产生一个输出事件,这个过程完全按照其自身的节奏发生,由输入数据的模式决定。这是事件驱动范式的最纯粹形式:除非有新信息需要处理,否则不进行任何工作。

然而,这一优雅的原则带来了一个巨大的工程难题。如何将一个抽象的神经网络——一个由神经元和突触组成的图——“编译”到一个物理芯片上,这个芯片的核心数量有限,互连网络也有限?这就是映射问题。芯片上的每个物理核心只能容纳一定数量的神经元及其输出突触。此外,在核心之间路由脉冲事件的片上网络(NoC)的带宽也是有限的。如果太多的神经元被放置在一个核心上,或者如果两个核心之间的通信流量超过了连接它们的链路的容量,系统就会失败。工程师必须找到一个有效的神经元到核心的布局方案,以及相应的通过NoC的脉冲路由方案,以满足所有这些物理约束。这是一场复杂的优化之舞,一个看似良好的布局可能会因为它在某条关键通信链路上造成的交通拥堵而变得不可行。

即使是设计和调试这些系统也需要一种新的思维方式。神经拟态硬件的模拟器不能是简单的、按时间步进的程序。它们必须是并行离散事件模拟器(PDES),能够忠实地模拟数百万个异步事件,每个事件在穿过片上网络时都有其自身的可变延迟。芯片的性能——其处理信息的实时能力——最终受到通信物理现实的限制:序列化一个数据包所需的时间、它通过每个路由器时的延迟,以及由网络争用引起的不可预测的抖动。构建这些类脑机器迫使我们面对并解决并行计算和计算机体系结构中一些最深层的问题。

人工智能的新引擎

虽然神经拟态系统不仅仅是人工智能加速器,但它们彻底改变人工智能的潜力是不可否认的,这主要通过极高的能效实现。这种效率并非魔术;它直接源于事件驱动的原则,我们可以设计我们的人工智能算法来最大限度地利用它。关键在于稀疏性。

在典型的深度神经网络中,大部分工作涉及将大的权重矩阵与激活向量相乘。在神经拟态系统中,类似的操作是一个脉冲事件触发一系列突触操作。如果一个权重为零,该连接实际上就不存在了,也就不需要进行任何操作。因此,一次推理的能量成本与网络中非零权重的数量,即其“零范数” ∥W∥0\|W\|_0∥W∥0​ 成正比。连接越少,消耗的能量就越少。

我们如何获得稀疏网络?我们可以在训练过程中鼓励它们。一种流行的技术是在训练目标中增加一个与权重绝对值之和(即L1范数 ∥W∥1\|W\|_1∥W∥1​)成正比的惩罚项。这种正则化有一个优美的数学特性:它鼓励那些值很小的权重变得恰好为零,这个过程称为软阈值化。通过调整这个惩罚的强度,我们可以用少量模型精度换取高度的稀疏性。这个在软件训练阶段纯粹的数学选择,会产生一个直接的物理后果:它产生一个在神经拟态硬件上运行时能耗显著降低的模型。

能效的提升可能是惊人的。对于某些任务,特别是那些天生稀疏且事件驱动的任务,如处理来自生物传感器的信号,神经拟态实现可以比传统GPU节能几个数量级。这一优势源于多种因素的融合:避免不必要工作的事件驱动计算、使用较低精度数字(例如,8位整数而非32位浮点数)的能力,以及随之而来的内存占用减少。

这种极致的效率为在功耗受限的边缘设备(从智能传感器到可穿戴医疗监护仪)上部署复杂的人工智能打开了大门。此外,这些设备不必孤立运行。它们可以参与像联邦学习这样的现代分布式智能范式。在这种方法中,一个集体模型在许多设备上进行训练,而无需集中处理原始的、私有的数据。每个神经拟态边缘设备可以从其本地数据中学习,然后将其更新后的模型贡献给一个全局平均模型。这使得由一群超低功耗、受大脑启发的处理器驱动的、保护隐私的协作式人工智能成为可能。

从硅到科学:模拟大脑、心智与物质

也许神经拟态计算最深远的应用在于人工智能之外,即作为探索自然世界的科学仪器。因为这些系统受大脑结构和动态的启发,它们为检验关于大脑本身的理论提供了一个前所未有的平台。

以计算精神病学领域为例,该领域旨在将精神障碍理解为大脑计算过程的功能失调。例如,关于成瘾的一个主流理论涉及大脑强化学习系统的缺陷,特别是神经递质多巴胺如何传递奖励信号并为过去的行为分配功劳。借助神经拟态系统,我们可以超越抽象的模拟。我们可以构建一个脉冲神经网络,它实现一个生物学上合理的学习规则,例如带有突触资格迹的三因子规则,这被认为是大脑中此类学习的基础。然后我们可以在硬件上运行这个模型,使用一个广播信号来模仿多巴胺的全局释放,并参数化地改变这个信号——削弱其幅度或增加其延迟——以模拟病理状况并研究其对行为的影响。硬件变成了一个可配置的“湿件”,用于检验关于精神疾病算法根源的假设。

在更宏大的尺度上,神经拟态系统提供了一种与*贝叶斯大脑假说*等认知理论互动的方式。该假说认为,大脑从根本上说是一个推理引擎,它不断地对世界做出预测,并根据感官证据更新其内部模型,所有这些都遵循贝叶斯概率的原则。底层的计算通常涉及在复杂图模型上的迭代消息传递算法。神经拟态芯片的异步、事件驱动的通信结构为这些算法提供了一个惊人自然的基底。这类方法,特别是在有环路的图上(大脑的连接肯定有环路)的收敛性,是一个深刻的数学问题。然而,事实证明,对于一大类模型,只要异步更新是“公平的”——即系统的任何部分都不会被饿死更新——它们就保证会收敛。这个理论条件可以在神经拟态硬件上通过局部的、基于残差的调度来优雅地实现,即只有当存在显著的“误差”或“意外”时才触发更新。这是一个高层认知理论、一个深刻的数学结果和一种实用的硬件实现的美妙融合。

与科学的联系并不止于大脑。它延伸到物理学和计算机科学。许多最困难的组合优化问题——从物流和调度到药物发现——都可以映射为寻找一个物理系统(如伊辛模型)的最低能量状态。可以构建一个循环神经网络,如Hopfield网络,其能量函数对应于优化问题的成本函数。当在神经拟态硬件上实现时,网络的自然动态——其神经元放电并相互影响——充当一个物理松弛过程,驱动系统朝向一个低能量状态,这代表了问题的一个良好解。这是一种范式转变:计算不是一连串的逻辑指令,而是一个物理系统寻找自身平衡的自然演化过程。

更广阔的视野:材料内计算

最后,必须将神经拟态硅置于其适当的背景中。它只是理解和利用物质内计算的宏伟旅程中的一步。今天,我们至少可以在受大脑启发的计算谱系上识别出三种不同的模式。

  • ​​神经拟态硅计算:​​ 这是我们一直在探索的世界。基底是硅,学习规则是算法性的,被明确地设计到CMOS电路中。能量主要通过电容器充放电的电气过程耗散,这个过程的物理学由 E≈CV2E \approx C V^2E≈CV2 描述。它是可控的、可扩展的,并建立在成熟的技术基础之上。

  • ​​生物混合计算:​​ 在这里,活的神经元被培养在微电极阵列上。基底是生物组织,学习是生物物理过程(如脉冲时间依赖可塑性,STDP)的内在、涌现属性。能量不是由墙上插座提供,而是通过新陈代谢,由ATP驱动的离子泵消耗,以维持生命和信号传递所必需的电化学梯度。

  • ​​类器官计算:​​ 这将生物学方法推得更远,使用由干细胞生长的自组织3D大脑类器官。这种基底拥有更复杂的、类似组织的结构。与生物混合系统一样,学习和能量耗散由生物物理学和生物化学的基本规则支配。

这些方法代表了一种根本性的权衡。硅为我们提供了完全的控制和精度,但“智能”必须完全由我们自己设计。相比之下,生物模式则让我们得以一窥其中学习和适应是基底本身涌现属性的系统。它们更难控制、探测和理解,但它们迫使我们直面关于生命、智能及其物理体现之间关系的最深层问题。

从硅芯片的实际工程到关于思想本质的哲学问题,神经拟态系统领域是一个丰富而统一的学科。它提醒我们,构建智能机器的探索,同时也是,或许更重要的,是理解宇宙及我们在其中位置的探索。