try ai
科普
编辑
分享
反馈
  • 模拟神经形态电路

模拟神经形态电路

SciencePedia玻尔百科
关键要点
  • 模拟神经形态电路通过利用晶体管的自然物理特性直接执行计算、模拟神经动力学,从而实现了卓越的能效。
  • 大脑的核心功能,包括脉冲神经元行为和如脉冲时间依赖可塑性(STDP)等学习规则,都可以用紧凑的模拟电路实现。
  • 这种方法接纳了模拟硬件固有的不完美性,如器件失配和噪声,以数字系统的高精度换取效率上的巨大提升。
  • 应用范围从构建高效的事件驱动传感器(如DVS)到创建用于推进计算神经科学研究的加速物理模拟器。

引言

数十年来,数字计算机一直占据着至高无上的地位,其力量根植于比特和字节的精确、确定性逻辑。然而,随着我们推动人工智能的边界,我们面临着日益严重的能源危机,这与人脑毫不费力的效率形成了鲜明对比。大脑的计算不是通过完美的逻辑,而是通过数十亿神经元混乱、并行和物理的相互作用。模拟神经形态计算正是基于这一观察而产生,它代表了一种范式转变:我们不再强迫物质遵循逻辑,而是利用物质中固有的逻辑。这种方法旨在构建模仿大脑形象的电路,有望将认知任务的功率效率提高几个数量级。

本文深入探讨了模拟神经形态电路的迷人世界,旨在解决在硅上构建类脑智能的挑战。它弥合了神经科学的抽象模型与晶体管的物理现实之间的鸿沟。在接下来的章节中,您将对这项革命性技术有深刻的理解。旅程始于“原理与机制”,我们将探讨如何塑造硅的基本物理特性,以创造能够学习的人工神经元和突触。随后,“应用与跨学科联系”部分将揭示这些构建模块如何组装成强大的系统,用于人工智能、科学模拟和高级传感,从而连接工程学、神经科学和计算机科学等领域。

原理与机制

要真正领略模拟神经形态电路的世界,我们必须首先调整我们对“计算”含义的看法。我们是数字时代的孩子,在比特和逻辑门的福音中长大,在这里,每个操作都是预先编写的脚本中一个精确、确定性的步骤。数字计算机就像一位一丝不苟的音乐家,阅读乐谱并完全按照书面要求演奏每个音符。这是一个由符号和规则组成的世界,其精确性和力量令人赞叹。

但自然的计算方式不同。你的大脑不是靠1和0运行的。它是一片电化学活动的嘈杂声,一个潮湿、混乱且异常强大的物理系统。模拟神经形态电路正是试图本着这种精神构建计算机。它不像一个独奏音乐家,而更像一整个交响乐团。没有单个“程序计数器”逐步执行指令。相反,计算是从无数物理组件的集体、同步相互作用中涌现出的交响乐,每个组件都遵循电学和物理学的基本定律。信息不是存储在抽象的符号中,而是编码在机器本身的连续、物理状态中——电压、电流和物质的构型中。我们的目标是选择合适的乐器(晶体管、电容器、忆阻器),并将它们以某种方式连接起来,使得它们自然的物理演化——它们的“即兴演奏”——能够产生我们想要的计算。这是一个深刻的视角转变:我们不是在强迫物质遵循逻辑,而是在驾驭物质固有的逻辑。

硅神经元:一个会放电的漏桶

大脑的核心是神经元。因此,我们的第一个问题是:我们如何在硅中构建一个神经元?让我们从生物蓝图开始。经典的典范模型是 Hodgkin-Huxley 模型,这是生物物理学的一项杰作。它用一个初看起来相当吓人的方程描述了神经元膜上的电压 VVV:

CmdVdt=−gˉNam3h(V−ENa)−gˉKn4(V−EK)−gL(V−EL)+IextC_m \frac{dV}{dt} = -\bar{g}_{\text{Na}}m^3h(V-E_{\text{Na}}) - \bar{g}_{\text{K}} n^4(V-E_{\text{K}}) - g_L(V-E_L) + I_{\text{ext}}Cm​dtdV​=−gˉ​Na​m3h(V−ENa​)−gˉ​K​n4(V−EK​)−gL​(V−EL​)+Iext​

但不要被这些符号吓到!这只是一个关于电荷守恒的极其详尽的陈述。左边的项 CmdVdtC_m \frac{dV}{dt}Cm​dtdV​ 是流入细胞膜这个电容器的电流。它告诉我们膜电压如何变化。右边的项是引起这种变化的电流。你有流经特定离子通道的电流——钠(Na\text{Na}Na)、钾(K\text{K}K)和一个普通的“漏”(LLL)——再加上任何注入的外部电流(IextI_{\text{ext}}Iext​)。每个离子电流就像一个小电阻,遵循欧姆定律的一个变体,由膜电压 VVV 和该离子的特定​​反转电位​​(如 ENaE_{\text{Na}}ENa​)之间的差异驱动。像 m3hm^3hm3h 和 n4n^4n4 这样的项是“门控变量”,它们只是这些通道开放或关闭的概率,并且它们也随电压变化。这是一场奇妙复杂而美丽的舞蹈。

对于工程而言,我们通常不需要每一个细节。我们可以用更简单的模型来捕捉其精髓。最基本的是​​漏积分放电(LIF)​​神经元。想象一个底部有小孔的桶——这就是我们的“漏”神经元。突触输入就像注入的水流,不断填充这个桶。水位就是神经元的膜电位 VmV_mVm​。随着水的注入,水位上升。但同时,水也通过小孔漏出,试图将水位拉回。如果流入的水足够强,能将桶装满到边缘(​​阈值电压​​),桶就会翻倒,产生一个“脉冲”——溅起一朵水花——并立即重置为空,准备重新开始填充。

一个更复杂且在生物物理学上更现实的版本,在硅中找到了一个美丽的归宿,那就是​​指数积分放电(EIF)​​模型。其控制方程如下所示:

CmdVmdt=−gL(Vm−EL)+gLΔTexp⁡(Vm−VTΔT)+Is(t)C_m \frac{dV_m}{dt} = - g_L (V_m - E_L) + g_L \Delta_T \exp\left(\frac{V_m - V_T}{\Delta_T}\right) + I_s(t)Cm​dtdVm​​=−gL​(Vm​−EL​)+gL​ΔT​exp(ΔT​Vm​−VT​​)+Is​(t)

这又是我们的漏桶。我们有漏电项 −gL(Vm−EL)- g_L (V_m - E_L)−gL​(Vm​−EL​) 将电压拉向静息电位 ELE_LEL​,还有突触输入电流 Is(t)I_s(t)Is​(t) 将其填满。但请看那个新的中间项!它是一个指数函数。当电压 VmV_mVm​ 很低时,这个项不起作用。但是当 VmV_mVm​ 接近一个“软”阈值 VTV_TVT​ 时,这个项会爆炸式增长,迅速将电压向上推高以启动脉冲。这就像桶在翻倒前变得异常摇晃,使得最后的翻倒动作尖锐而果断。

这正是模拟设计魔力闪耀的地方。那个指数项 exp⁡(… )\exp(\dots)exp(…) 可能看起来是一个难以计算的函数。但对于在其“亚阈值”区域工作的晶体管来说,它的电流-电压关系就是指数的!它自然地遵循 ID∝exp⁡(κVG/UT)I_D \propto \exp(\kappa V_G / U_T)ID​∝exp(κVG​/UT​) 这条定律。所以,要构建一个EIF神经元,我们不需要一个复杂的数字电路来计算指数。我们只需要一个微小的晶体管,以正确的方式偏置。器件的物理特性就是这个函数。我们让硅为我们做数学运算,这效率高得惊人。

硅突触与记忆的物理学

神经元是社会性生物;它们由其连接定义。这些连接被称为​​突触​​,它们的强度或​​权重​​是学习和记忆的基础。在我们的模拟电路中,突触的工作是接收一个突触前脉冲,并在突触后神经元中产生一个电流,该电流的大小由突触权重决定。

但我们如何实现学习?我们如何根据活动来改变那个权重?许多学习规则中的一个关键思想是​​资格迹​​。可以把它看作是最近一次脉冲的短期记忆。当一个神经元发放脉冲时,它会触发一个过程,产生一个信号,然后这个信号会随着时间的推移而衰减,就像钟声渐逝的回响。

再一次,模拟电路提供了一种极其简单的方法来构建它。考虑一个简单的电路,它有一个电容器 CCC 和一个从其上消耗电荷的恒流源 IτI_{\tau}Iτ​。电容器上的电压 Vx(t)V_x(t)Vx​(t) 将随时间线性衰减。但现在,让我们将这个线性衰减的电压输入到一个亚阈值晶体管的栅极。因为晶体管的电流是其栅极电压的指数函数,所以线性衰减的电压会产生一个完美的指数衰减电流。这个美丽衰减的时间常数 τ\tauτ 由一个简单的公式给出:

τ=CUTκIτ\tau = \frac{C U_T}{\kappa I_{\tau}}τ=κIτ​CUT​​

其中 UTU_TUT​ 是热电压(一个与温度相关的基本物理常数),κ\kappaκ 是一个晶体管参数。请注意,时间常数 τ\tauτ 与偏置电流 IτI_{\tau}Iτ​ 成反比。这意味着我们只需通过调节一个控制微小电流的旋钮,就可以电子化地调谐我们突触的“记忆”,范围从毫秒到秒!

硅中学习:迹之舞

有了会发放脉冲的神经元和会记忆的突触,我们现在可以编排学习。最著名的学习原则之一是​​Hebb可塑性​​,通常概括为“共同放电的神经元会连接在一起”。这意味着如果一个突触前神经元在突触后神经元之前反复放电并促使其放电,那么它们之间的连接就应该被加强。这是一个正反馈机制。一个将这种时间依赖性形式化的关键学习规则是​​脉冲时间依赖可塑性(STDP)​​。

想象一下,我们有上一节提到的资格迹:一个由突触前脉冲触发的衰减“前迹”xpre(t)x_{\text{pre}}(t)xpre​(t),和一个由突触后脉冲触发的“后迹”xpost(t)x_{\text{post}}(t)xpost​(t)。一个STDP电路可以被构建来执行以下操作:

  • ​​增强(加强):​​ 当突触后神经元放电时,电路会立即采样前迹的当前值。如果突触前脉冲是最近发生的,迹的值会很高,电路就会增加突触权重。
  • ​​抑制(减弱):​​ 当突触前神经元放电时,电路会采样后迹。如果突触后神经元最近放电过,迹的值会很高,电路就会减小权重。

结果是权重更新 Δw\Delta wΔw 取决于时间差 Δt=tpost−tpre\Delta t = t_{\text{post}} - t_{\text{pre}}Δt=tpost​−tpre​。在许多模拟实现中,这个规则自然地变成了​​乘性的​​,意味着权重的变化也与当前权重 www 成正比。完整的规则优雅地捕捉了STDP的核心:

Δw={w[A+exp⁡(−Δtτ+)]for Δt>0−w[A−exp⁡(Δtτ−)]for Δt0\Delta w = \begin{cases} w \left[A_{+} \exp\left(- \frac{\Delta t}{\tau_{+}}\right)\right] &\text{for } \Delta t > 0 \\ - w \left[A_{-} \exp\left(\frac{\Delta t}{\tau_{-}}\right)\right] &\text{for } \Delta t 0 \end{cases}Δw=⎩⎨⎧​w[A+​exp(−τ+​Δt​)]−w[A−​exp(τ−​Δt​)]​for Δt>0for Δt0​

这就是Hebb学习的实际体现。但正反馈若不受抑制,是不稳定的。它可能导致所有突触要么增长到最大强度,要么缩小到零。自然需要一个调节器,一种称为​​稳态可塑性​​的负反馈形式。这种可塑性不关心相关性;它致力于将神经元的整体活动保持在一个稳定的目标范围内。如果一个神经元放电过多,稳态规则会下调其输入突触;如果它太安静,规则会将其上调。快速、基于相关的Hebb学习与缓慢、调节性的稳态学习之间的相互作用,创造了一个稳定而又适应性强的网络。所有这些都可以通过在突触处直接计算电流乘积和差值的局部模拟电路来实现——这是计算与存储的原位集成的一个美丽范例。

不完美之美

在数字世界里,不完美是敌人。噪声、器件间差异和漂移都是需要被无情清除的缺陷。但在模拟世界里,它们是物理基底的基本特征。忽视它们就等于错失了重点。

即使设计上完全相同,也没有两个晶体管是完美一致的。这被称为​​器件失配​​。在原子尺度上,赋予晶体管特性的掺杂原子是随机分布的。这意味着每个晶体管都有自己独特的个性,自己稍微不同的阈值电压。这种变化不仅仅是噪声;它是一种统计分布。对于随机的局部变化,“大数定律”适用:相对失配随着器件面积的增大而减小,这种关系被​​Pelgrom模型​​优美地捕捉,该模型指出失配的标准差与 1/WL1/\sqrt{WL}1/WL​ 成比例,其中 WWW 和 LLL 是晶体管的宽度和长度。

除此之外,还有时间噪声、存储值的缓慢漂移以及一些存储器件固有的概率性质。这听起来像是计算的噩梦,但真的是这样吗?大脑本身就是一个充满噪声、可变和随机的系统。这种固有的随机性可以成为一个特性,帮助学习算法进行探索并避免陷入困境。

这就引出了一个重大的权衡。数字计算为你提供高精度——16、32甚至64位——但它在能源上付出了高昂的代价,为了在独立的存储和处理单元之间来回穿梭数据以及执行每一次逻辑切换而消耗电力。模拟神经形态计算则做出了不同的取舍。通过让晶体管的物理特性直接进行计算,它实现了令人难以置信的​​能效​​——比数字计算低几个数量级。它付出的代价是精度。器件固有的噪声和失配将模拟电路的有效精度限制在约6到8位。

但对于许多现实世界的问题,比如在人群中识别人脸或理解语音,输入数据本身就是混乱的,高精度是多余的。大脑的“足够好”的计算策略通常是正确的。模拟神经形态电路是我们试图在硅中体现这种哲学的尝试,拥抱物理计算的美丽、混乱和高效的现实。

应用与跨学科联系

我们花了一些时间探索模拟神经形态电路的原理和机制,了解了硅中晶体管的物理特性如何被引导来模仿神经元和突触的动力学。但是,一堆原理就像一盒制作精美的齿轮和杠杆;真正的魔力发生在你开始将它们组装成一台机器的时候。我们能用这些人工大脑组件做些什么呢?这条探索之路将通向何方?事实证明,其应用和大脑本身一样丰富多彩,涵盖了从实际工程和人工智能到基础科学探究的广泛领域。

人工大脑的构建模块

让我们从头开始。如果我们想构建一个大脑,我们需要构建它最基本的部分:神经元和突触。但我们不是要逐个原子地构建一个完美的复制品。那就像试图用真实的羽毛和骨头造一只鸟来理解飞行一样愚蠢。相反,我们是艺术家和工程师,捕捉计算的精髓。

神经元的精髓是什么?在最简单的描绘中,它是一个集成输入信号并在超过阈值时发放一个脉冲——一个“尖峰”——的设备。这就是著名的漏积分放电(LIF)模型。你会如何构建这样的东西?你可能会想象一个复杂的数字程序,但模拟方法简单得惊人。“积分”部分只是一个电容器,一个储存电荷的桶。输入信号是填充这个桶的电流。“漏”部分只是一个电阻器,是桶上的一个小孔,让电荷随时间泄漏掉。当电容器上的电压(水位)达到一个阈值时,一个简单的比较器电路会触发一个脉冲并重置电容器。就是这样。神经科学家为描述LIF神经元膜电位而写下的微分方程,与基尔霍夫定律为这个简单RC电路所规定的方程完全相同。硅的物理特性直接模拟了神经元模型的物理特性。

当然,我们可以做得更复杂。真实的神经元展现出令人惊叹的各种放电模式——簇放、颤振、适应。更复杂的数学描述,如Izhikevich模型,捕捉了这种丰富性。我们的模拟电路能跟上吗?当然能。例如,Izhikevich模型包含一个二次项,一个依赖于自身平方的电压(v2v^2v2)。这实现起来可能看起来很棘手。但只要一点巧思,它就变得简单了。我们可以使用一个跨导放大器来创建一个与膜电压成比例的电流,然后用这个电流来控制另一个同样由膜电压驱动的放大器的增益。结果呢?输出电流与电压的平方成正比,这正是模型所要求的。一个巧妙的电路技巧使我们能够实现一个非平凡的数学函数,使我们的硅神经元能够表现得更像它们的生物学对应物。

那么突触,即神经元之间的连接呢?一根简单的电线是不够的。突触是动态的;它们的强度随时间变化。这是所有学习和记忆的基础。其中最简单的形式之一是短期可塑性,即突触的效能可以根据最近的活动暂时增加(易化)或减少(抑制)。Tsodyks-Markram模型用一对优美的耦合微分方程捕捉了这一点。再一次,看起来像是数学抽象的东西直接映射到了电路的物理世界。每个一阶微分方程都可以实现为一个简单的RC电路,使我们能够在硅中构建具有这些关键动态特性的突触,为更复杂的学习规则奠定基础。

当我们构建这些组件时,我们总是面临着经典的工程权衡。为了获得一个生物学上合理的突触时间常数,比如说,10 ms10\,\mathrm{ms}10ms,我们需要电容和电阻(或漏电流)的特定组合。一个更大的电容器可能会给我们一个更干净的信号,但它占用了我们硅芯片上宝贵的面积。我们突触电路中一个更大的偏置电流可能会加快速度,但它消耗更多的功率,而对于数十亿个突触来说,功率至关重要。因此,神经形态设计师必须成为优化大师,仔细选择组件值以满足性能目标,同时保持在严格的面积和功率预算之内——这是理想模型和物理现实之间的持续平衡行为。

从组件到计算

有了硅神经元和突触的工具箱,我们就可以开始构建能够计算的系统。一个自然的起点是实现机器学习中的模型。考虑感知器,这是神经网络模型的鼻祖之一。它通过调整一组权重来学习分类数据,这些权重可以是正的(兴奋性)或负的(抑制性)。但是,你如何用一个像忆阻器这样的物理设备来实现一个负权重呢,它的电导只能是正的?

解决方案是一个优雅的对称技巧。我们不用一个忆阻器来代表每个权重,而是用两个。一个代表正部分(G+G^+G+),另一个代表负部分(G−G^-G−)。有效权重然后与它们的差值 G+−G−G^+ - G^-G+−G− 成正比。通过编程这两个电导,我们可以表示我们需要的任何正或负权重。这种差分设计是模拟设计中一个反复出现的主题,是在单极世界中处理双极信号的一种优美方式[@problem-id:4065797]。

当我们从单个突触扩展到执行数百万次并行乘法的巨大交叉阵列时,我们再次遇到了物理世界的混乱细节。承载信号的导线本身就有电阻。这意味着当电流流过交叉阵列的一列时,电压会下降——这种效应被称为IR压降。一个突触离读出放大器越远,其信号就越弱。这会毁掉我们的模拟计算机吗?完全不会。我们可以用数学来对抗物理。通过表征这种可预测的衰减,我们可以创建一个补偿方案。我们可以在输入进入阵列之前稍微增强它们,并对输出应用一个修正的、与位置相关的增益。通过找到最佳的缩放因子,我们可以有效地抵消物理误差,从一个非理想的物理基底创建一个近乎理想的计算基底。

除了机器学习,这些电路还是计算神经科学的强大工具。科学家们长期以来一直理论化,大脑在一种“平衡”状态下运作,即一个神经元的兴奋性和抑制性输入很大但大致相互抵消。这种状态被认为能够对新刺激做出快速而敏感的反应。我们可以构建模拟电路来模拟整个相互作用的兴奋性和抑制性神经元群体,这些电路基于像Wilson-Cowan模型这样的框架。通过分析这些电路,我们可以推导出它们的输入-输出增益,并研究它如何依赖于抑制的强度。这使我们能够使用神经形态硬件作为一种快速的物理模拟器来检验关于大脑功能的假设,从而弥合理论模型和生物现实之间的差距。

大脑之于世界的窗口

大脑不是在真空中计算;它通过感官与世界相连。因此,一个真正的神经形态系统不仅应该像大脑一样思考,还应该像大脑一样看和听。这导致了革命性新传感器的发展。

考虑动态视觉传感器(DVS)。与传统相机盲目地一帧一帧捕捉像素(其中大部分并未改变)不同,DVS的灵感来自视网膜。每个像素独立且异步地工作,只有当它检测到其所见亮度的变化时,才会发出一个事件。这效率极高,将数据量减少了几个数量级,并允许微秒级的时间分辨率。

但这个奇妙的设备是一个模拟电路,和所有模拟电路一样,它对环境很敏感。当传感器升温时,偏置其晶体管的亚阈值电流会发生漂移,检测变化的阈值可能会急剧变化。一个在室温下产生稀疏事件流的场景,在40°C时可能会引起一场噪声风暴。解决方案再次不是蛮力,而是类似大脑的优雅。工程师们构建了片上补偿电路。带隙基准提供了一个温度稳定的电压,从中可以导出稳定的偏置电流。一个PTAT(与绝对温度成正比)电路可以产生一个随温度线性增加的电压,精确地抵消对比度检测阈值的温度依赖性。这是硅基稳态调节,一个在变化环境中保持稳定性能的自调节系统。

更广阔的视角

所有这些技术在宏伟的蓝图中处于什么位置?重要的是要理解,“神经形态计算”是一个广泛的教会,有许多不同的架构哲学。一些平台,如SpiNNaker或Loihi,使用数字电路来实时模拟神经模型(a≈1a \approx 1a≈1,其中aaa是生物时间与硬件时间的比率)。另一些平台,如BrainScaleS,则使用我们一直在讨论的模拟电路。由于底层的晶体管物理特性比生物学中的离子通道动力学快得多,这些系统以加速的时间运行,加速因子可达a=1000a=1000a=1000甚至更高。

这种加速是一个深远的优势。一个在生物系统中需要一天的学习过程,可以在不到两分钟内模拟完成。这使得对模型和学习规则的快速探索成为可能。这种速度带来了一个有趣的时间精度权衡。对于一个加速因子为a=1000a=1000a=1000的系统,仅仅10 ns10\,\mathrm{ns}10ns的硬件时间戳分辨率就转化为10 μs10\,\mu\mathrm{s}10μs的有效生物时间分辨率。这远优于典型实时数字模拟器的1 ms1\,\mathrm{ms}1ms分辨率,使得这些模拟系统特别适合研究依赖于精确脉冲时间的现象。类似地,一个可编程高达100 μs100\,\mu\mathrm{s}100μs的硬件突触延迟可以模拟高达100 ms100\,\mathrm{ms}100ms的生物延迟,覆盖了整个相关的生理范围。

最后,将神经形态硅片置于更激进的类脑计算方法的背景下是很有启发性的。研究人员现在正在探索生物混合系统,其中活的神经元在多电极阵列上生长,甚至“类器官计算”,它使用3D大脑类器官作为计算基底。这些方法如何比较?

它们存在于一个迷人的光谱上。神经形态硅使用硅基底,其学习规则是算法性的,被明确地工程化到电路中。它的能量耗散主要由充电电容器的常见CV2CV^2CV2决定。与此形成鲜明对比的是,生物系统使用“湿件”作为其基底。它们的学习机制,如STDP,不是被编程的,而是其生物物理构成的内在、涌现的属性。它们的能量耗散完全不同,由使用ATP为维持生命所必需的电化学梯度提供动力的离子泵的代谢成本所决定。虽然所有不可逆计算最终都受限于Landauer原理的热力学边界(每比特kBTln⁡2k_B T \ln 2kB​Tln2),但实际的能量成本却天差地别。硅方法提供了控制和稳定性,而生物方法则为我们提供了一窥大脑真正自组织复杂性的诱人机会。

从一个漏电的电容器到关于计算与生命的宏大哲学问题,模拟神经形态电路的研究是一段连接的旅程。它将极小尺度——流过硅通道的电子——的物理学与我们所知的最复杂对象——人脑——的涌现动力学联系起来。这是一个工程学与神经科学相遇、计算机科学与热力学相遇的领域,在这里,构建新型计算机的探索迫使我们去追问关于自然本身如何计算的最深层问题。