try ai
科普
编辑
分享
反馈
  • 缓冲区溢出

缓冲区溢出

SciencePedia玻尔百科
关键要点
  • 当程序向调用栈上某个缓冲区已分配空间之外写入数据时,就会发生缓冲区溢出,这会覆盖函数返回地址等关键控制数据。
  • 攻击者利用此漏洞,将原始返回地址替换为指向恶意代码的新地址,从而劫持程序的执行流。
  • 深度防御策略结合了多种缓解措施,包括栈金丝雀、地址空间布局随机化 (ASLR) 以及 NX 位和指针认证等硬件强制措施。
  • 缓冲区溢出的概念是一个资源管理的基本问题,其影响超出了简单的代码范畴,涉及内核安全、网络硬件和并发系统。

引言

缓冲区溢出是计算机安全史上最古老、影响最深远的漏洞之一。它代表了程序与其数据之间信任的根本性瓦解,一个看似微不足道的编码错误——向一个容器中写入超出其容量的数据——就可能被利用来实现对系统的完全控制。这一个缺陷已成为无数安全事件的根源,迫使一代工程师和研究人员重新思考我们如何构建安全的软件。但是,这种数据的“溢出”是如何演变成对计算机的全面劫持的呢?

本文将揭开缓冲区溢出的神秘面纱,带您从机器内存的核心走向支配系统设计的抽象原则。您将对这一关键漏洞获得深刻的概念性理解。在第一部分“原理与机制”中,我们将剖析计算机的调用栈,了解溢出如何破坏它,并探讨不断升级的攻击与防御之间的军备竞赛以及为阻止攻击而设计的分层防御体系。随后,“应用与跨学科联系”部分将揭示,缓冲区溢出不仅是一个程序错误,更是一个在操作系统内核、网络硬件乃至信息论中都能找到回响的普遍原则。

原理与机制

要理解一个看似无害的编程错误如何让攻击者获得对机器的控制权,我们必须首先领会我们的计算机每秒执行数十亿次的优美而复杂的舞蹈。这个舞蹈就是调用函数和从函数返回的过程,其编排由一个至关重要的结构管理:​​调用栈​​。

有序的调用栈世界

想象一个庞大而繁忙的办公室。首席执行官(主程序)需要完成一项任务,于是召集了一位经理(一个函数)。这位经理又可能需要将一个子任务委托给一位专家(另一个函数)。在这个层级结构中,每个人如何记住他们向谁汇报,以及在被调用之前他们在做什么?

他们使用一叠便笺。当首席执行官召集经理时,他们在经理的桌上留下一张便笺:“当你完成后,回到我总体计划的这个点向我汇报。”这张便笺就是​​返回地址​​。然后,经理拥有了自己全新的工作空间,如果他们召集专家,他们会在专家的桌上留下自己的返回地址便笺。当专家完成工作后,他们查看便笺,向经理汇报,然后丢弃便笺。经理接着完成自己的任务,查阅他的便笺,然后向首席执行官汇报。

计算机的调用栈正是以这种方式工作的。它是一块内存区域,对于每个当前正在运行的函数,都会分配一个整洁的信息块,称为​​激活记录​​或​​栈帧​​。这个帧是函数的私有工作空间。在大多数现代系统上,栈从高内存地址向低内存地址增长。

每个栈帧都包含几个关键信息,并以精确的顺序排列。在帧内的最高地址处,存放着至关重要的返回地址。在其下方,我们可能会找到从调用者保存的信息,比如一个指向调用者自身帧的指针(​​保存的基址指针​​)。再往下,在帧的最低地址处,是函数自己的“草稿纸”:它的​​局部变量​​。这些是函数用来完成工作的临时变量,包括我们称之为​​缓冲区​​的数据容器。至关重要的是,每当一个函数被调用时,即使是函数在称为递归的过程中调用自身,都会创建一个全新的、独立的栈帧,其中包含自己的一套局部变量。

泼洒墨水:经典的缓冲区溢出

现在,让我们在这个有序的世界里引入一点混乱。想象一下,其中一个局部变量是一个盒子——一个缓冲区——设计用来存放,比如说,64个字符。一个函数可能会向用户请求一个名字,并计划将其存储在这个盒子里。但是,如果该函数使用了一个有点过于信任的复制例程会怎么样?在像 C 这样的语言中,某些函数会一直复制数据,直到看到一个特殊的“结束”标记,而从不检查盒子是否足够大。

这就是​​缓冲区溢出​​的起源。如果攻击者提供一个例如 80 个字符的输入,该例程开始填充这个 64 字符的盒子。当盒子满了之后,它并不会停止。它会继续写入,“墨水泼洒”到栈帧的相邻区域。由于栈帧的组织方式——局部变量位于比控制数据更低的地址——这种溢出会向上进行,覆盖掉旁边的一切。首先,它可能会破坏其他局部变量,然后可能是一个保存的寄存器,接着是保存的基址指针,最后,是所有目标中最宝贵的那个:返回地址。

那张告诉函数应该返回到哪里的“便笺”已经被涂改,换上了一张由攻击者写的新便笺。

劫持剖析

攻击者并非随意泼洒墨水;他们写入的是一个全新的、恶意的地址。正是在这里,我们计算机的设计本身——即数据和指令共同存在于内存中的​​存储程序概念​​——被反戈一击。攻击者的数据变成了计算机程序计数器的新指令。

要实现这一点,攻击者必须说机器的母语。在许多系统上,这包括理解一种被称为​​小端序​​的特殊约定。当存储像内存地址这样的多字节数字时,计算机会将最低有效字节放在最低的内存地址处。这就像把数字 1234 写成“4, 3, 2, 1”。对于查看原始内存转储的外部观察者来说,这些数字看起来是混乱的。但对机器而言,这是一个完全一致的系统。

例如,如果攻击者想让程序跳转到地址 0x00401234,他们必须在其恶意输入中以相反的顺序提供这些字节:0x34、0x12、0x40、0x00。当调试器显示被破坏栈的十六进制转储时,我们会看到这个“向后”的序列覆盖了原始的返回地址。

完整的载荷是一件恶意的艺术品:一长串填充字符(通常称为“NOP 滑梯”,但这里只是像字符 'A' 这样的填充物)以执行溢出,后面跟着精心制作的、小端序的攻击者选定的地址。当易受攻击的函数完成其工作并执行其 return 指令时,它不会返回到其调用者。它会尽职地从栈中读取被破坏的返回地址,并跳转到一个现在由攻击者控制的位置。机器已被劫持。

更广的攻击面

破坏返回地址是经典的攻击方式,但漏洞的根源更深。真正的目标是系统规则中内置的信任。​​应用程序二进制接口 (ABI)​​ 是一个管理函数如何交互的严格契约。该契约的一部分规定,某些被称为​​被调用者保存的寄存器​​的寄存器,必须在返回给调用者时保持其值不变。为了遵守这一点,被调用函数会在其自己的栈帧开始处保存这些寄存器的原始值,并在返回前恢复它们。

这些保存的寄存器也在栈上,因此也同样脆弱。一个聪明的攻击者可以通过覆盖一个保存的寄存器但保持返回地址不变来发起更微妙的攻击。想象一个调用者函数使用 RBX 寄存器来持有一个指向关键数据结构的指针。然后它调用一个辅助函数。该辅助函数按要求将其调用者的 RBX 值保存在自己的栈上。现在,一个攻击者在辅助函数中溢出一个缓冲区,刚好足以用一个指向其自己恶意数据的指针来覆盖这个保存的 RBX。

辅助函数的返回地址完好无损,因此它完全正常地返回给调用者。然而,调用者相信它的 RBX 寄存器已恢复到其原始值。它继续使用 RBX 作为一个指针,但它不再指向合法的数据结构,而是指向一个由攻击者控制的位置。这种延迟劫持尤其阴险,因为它绕过了只检查返回地址是否被破坏的简单检查。这表明,栈上任何一块被保存的状态都是攻击面的一部分。

军备竞赛:分层防御

缓冲区溢出的发现引发了攻击者与防御者之间长达数十年的军备竞赛。应对之策是一种“深度防御”策略,在系统的每个层面——编译器、操作系统和硬件本身——都增加了保护措施。

煤矿中的金丝雀

编译器引入了一种简单但极其有效的防御方法:​​栈金丝雀​​ (stack canary)。这个名字来源于煤矿中用于检测有毒气体的金丝雀。金丝雀是一个攻击者不知道的秘密随机值,编译器将其放置在栈上,恰好位于局部变量缓冲区和保存的控制数据(如返回地址)之间。

可以把它想象成一个绊索。一个连续的溢出要达到返回地址,必须首先越过金丝雀,从而改变它的值。在函数执行其 return 指令之前,它会先检查金丝雀。如果值已改变,编译器插入的代码就知道栈已经被“破坏”了。它会立即发出警报并终止程序,从而阻止恶意跳转的发生。这种防御要求程序在启用该功能的情况下重新编译,因为它涉及到改变函数本身的代码。

随机化地图

操作系统提供了另一层防御:​​地址空间布局随机化 (ASLR)​​。即使攻击者可以覆盖返回地址,他们应该写入哪个地址呢?过去,程序代码和库在内存中的位置是可预测的。攻击者可以可靠地找到一段有用的代码(一个“小工具”)并跳转到它。

ASLR 通过像一个城市规划师一样,在每次程序启动时都打乱街道地图来挫败这种攻击。栈、可执行文件和所有共享库的基地址都被随机化了。攻击者想要跳转到库中的特定函数,但现在库的起始地址是成千上万甚至数百万种可能性之一。一个猜测的地址极有可能指向一个未映射或无意义的位置,导致程序崩溃而不是被利用。ASLR 本身并不能修复溢出,但通过将确定性的漏洞利用变成一场彩票,它极大地降低了其可靠性。

不可逾越的界线与不可伪造的签名

最深层次的防御涉及操作系统和 CPU 硬件的协同工作。操作系统可以用一个​​不可执行 (NX) 位​​来标记栈的内存页。这告诉 CPU 该区域只包含数据。如果攻击者覆盖返回地址以指向他们注入到栈上的恶意代码,CPU 将拒绝执行它,从而触发一个故障。虽然这阻止了简单的代码注入,但聪明的攻击者开发了​​面向返回的编程 (ROP)​​,它通过将微小的、现有的合法代码片段链接起来,而不是注入新代码,来绕过 NX。

为了对抗这些更高级的攻击,现代硬件引入了近乎铁板一块的保护措施。其中之一是​​影子栈​​ (shadow stack)。CPU 在一个程序无法访问的安全内存区域中维护第二个受保护的栈。这个影子栈只存储返回地址。当一个函数返回时,硬件会将正常、易受攻击的栈上的返回地址与影子栈上原始的副本进行比较。如果它们不匹配,攻击就被挫败了。

一个更优雅的解决方案是​​指针认证码 (PAC)​​。在这里,CPU 使用一个密钥在返回地址被放置到栈上之前为其生成一个加密的“签名”。这个签名与指针一起存储。当函数返回时,CPU 在使用该指针之前会验证签名。攻击者可以覆盖地址,但因为他们不知道密钥,所以无法为其恶意地址伪造一个有效的签名。认证失败,劫持被阻止。这相当于在那张原始的返回地址便笺上盖上一个不可伪造的蜡封,确保函数总是且只向其合法的调用者汇报。

应用与跨学科联系

在了解了缓冲区溢出发生的基本机制之后,您可能会留下这样的印象:这只是一个相当狭隘的技术缺陷——一个简单的、写超出数组末尾的编程错误。但这样看问题就只见树木,不见森林了。缓冲区溢出不仅仅是一个程序错误;它是在边界、信任和有限资源管理本质方面的一堂深刻的课。它的回响可以在计算机操作系统的最深角落、网络中,甚至在信息论和概率论的抽象领域中找到。这是一个普遍的原则,一旦你学会识别它的旋律,你就会无处不闻。

机器的心脏:操作系统内核

计算机中没有比分隔用户程序和操作系统内核的边界更关键的了。这是一道巨大的墙,是保护整个系统稳定性和安全性不受任何单个应用程序影响的屏障。内核是受信任的君主,而用户程序是不可信的臣民。当这种信任模型受到考验时会发生什么?

想象一个内核处理程序,一段在特权监管模式下运行的代码,需要从用户应用程序复制一些数据——比如说,一个文件名或一条网络消息。用户的应用程序提供两样东西:一个指向数据的指针,以及一个数字 lenlenlen,说明数据有多长。内核在自己的栈上有一个小型的临时存储区,一个固定大小的缓冲区,比如 Lmax⁡L_{\max}Lmax​ 字节。直接信任用户并使用提供的长度 lenlenlen 调用像 [copy_from_user](/sciencepedia/feynman/keyword/copy_from_user) 这样的函数是很诱人的。但恶龙就潜伏于此。如果一个恶意的(或仅仅是有缺陷的)程序撒了谎呢?如果它提供的 lenlenlen 值远大于 Lmax⁡L_{\max}Lmax​ 呢?复制操作会盲目地服从,开始写过内核小缓冲区的末尾,践踏其后的一切。这可能是关键数据,或者更糟的是,函数在栈上的返回地址。在退出时,该函数会读取这个被破坏的地址,并跳转到攻击者选择的位置,而不是它原来的地方。这道巨大的墙已经被攻破了。

因此,内核安全的第一个原则是绝对的:​​永远不要信任用户输入​​。内核必须进行验证。在执行复制之前,它必须检查用户提供的长度是否在其目标缓冲区的边界内,即 0≤len≤Lmax⁡0 \le len \le L_{\max}0≤len≤Lmax​。如果检查失败,操作必须被直接拒绝并返回错误,而不是通过截断数据来默默地“修复”。这种“快速失败”原则对于构建能够提供明确反馈而不是在不一致状态下继续运行的健壮系统至关重要。

但猫鼠游戏更加深入。一个真正坚定的对手可以更微妙。如果用户提供一个靠近用户地址空间顶部的指针 ppp 和一个长度 nnn,使得地址计算 p+np+np+n 绕过地址空间的末端,指向一个低的、可能敏感的地址呢?或者,在最狡猾的攻击之一中,如果用户进程是多线程的呢?一个线程进行系统调用,内核检查用户的缓冲区是有效的,就在那一刻——在检查和实际复制之间的微小时间窗口内——同一用户进程中的另一个线程告诉内核重新映射那块内存,用恶意代码替换良性数据。这就是“检查时-使用时”(TOCTOU) 漏洞。

为了防御这种复杂的攻击,内核的响应必须同样复杂。它不能简单地检查然后使用。它必须检查然后夺取控制权。在复制之前,内核必须将用户的内存页“钉”在物理 RAM 中,有效地冻结它们的状态,并阻止用户进程修改它们的映射,直到内核完成操作。只有这样,它才能安全地复制数据。这是一个绝佳的例证,说明了在这个关键边界确保内存安全不仅仅是一个简单的检查,而是一个涉及验证和控制机器硬件资源的复杂舞蹈。

当然,最好的防御是好的进攻——或者说,是好的设计。与其仅仅对坏输入做出反应,我们可以设计出让提供坏输入变得困难的接口。考虑现实世界中的 getsockopt 系统调用,用于从网络套接字检索选项。选项的大小可能是可变的。内核如何在不冒溢出风险的情况下告诉用户数据有多大?它使用了一个聪明的技巧:长度参数是一个指针。用户首先将他们缓冲区的大小写入这个位置。内核读取这个值,我们称之为 nnn。它知道数据的实际大小 mmm。然后它只复制 k=min⁡(m,n)k = \min(m, n)k=min(m,n) 字节——可用空间和可容纳空间中的最小值。这样就不可能溢出用户的缓冲区了。但这里的精妙之处在于:在返回之前,内核将真实的大小 mmm 写回用户的长度变量中。如果用户看到返回的长度 mmm 大于他们的缓冲区大小 nnn,他们就知道数据被截断了,可以分配一个更大的缓冲区再试一次。这种对输入输出参数的优雅使用是防御性 API 设计的杰作,通过构造防止了一整类的缓冲区溢出。

有限缓冲区的宇宙

缓冲区溢出的问题并不仅限于用户-内核边界。它是数据快速生产者和较慢消费者之间必须共享有限存储空间的交互所带来的普遍后果。

看看你电脑里的网络接口卡 (NIC)。当数据包以惊人的速度(比如每秒 10 吉比特)从互联网到达时,它们首先被 NIC 硬件转储到一个称为接收 (RX) 环形缓冲区的特殊内存区域。CPU 的设备驱动程序必须随后从这个缓冲区中取出数据包进行处理。但是,如果数据包到达的速度超过了 CPU 的处理速度会怎样?环形缓冲区将会填满并最终溢出,导致数据包被丢弃。这是一个物理硬件的缓冲区溢出!为了防止这种情况,现代网络使用一种流控制机制。当 NIC 的驱动程序看到缓冲区的占用率超过一个“高水位线”(比如 90% 满)时,它可以向发送方发送一个特殊的 PAUSE 帧,告诉它暂停传输一小段时间。其艺术在于正确设置这个水位线。你必须将它设置得足够低,以留出足够的空间来吸收所有已经在传输途中、并将在 PAUSE 命令传播到网络并生效期间到达的数据包。空间太少,缓冲区还是会溢出。这是一个我们软件问题的完美物理类比:一个缓冲区、一个生产者、一个消费者,以及基于仔细资源核算的背压需求。

同样的模式也出现在并发软件中。考虑经典的生产者-消费者问题,其中多个线程向共享缓冲区添加项目,而其他线程则移除它们。协调通常由信号量处理,信号量跟踪空槽和满槽的数量。但是,如果保护缓冲区内部状态(如下一个写入位置的索引)的“锁”有缺陷会怎样?假设它是一个初始化为 2 的计数信号量,而不是一个合适的二元信号量(互斥锁)。这将允许两个生产者线程同时进入临界区。它们可能都读取到相同的“下一个可用槽位”索引,并都将它们的数据写入到完全相同的位置。一个项目被覆盖了,但两个线程都会发出信号表示它们已添加了一个项目。结果是一个被破坏的缓冲区,以及项目计数与实际存储项目之间的不同步——这是一个源于竞争条件的“逻辑”缓冲区溢出,表明内存安全和线程安全是深度交织的。

预防的艺术与概率的科学

几十年来,对抗缓冲区溢出的主要工具是检测和缓解——栈金丝雀、ASLR 和仔细的手动编码。但这就像救火。一种更现代的方法是用防火材料来建造。这就是内存安全的编程语言所扮演的角色。

想象一个大型软件项目,有 mmm 个不同的地方在操作缓冲区。在像 C 这样的语言中,这些位置中的每一个都是一个潜在的缓冲区溢出点。如果每条路径都有一个虽小但非零的概率 β\betaβ 包含一个潜在缺陷,那么整个系统至少有一个此类缺陷的概率是 pC=1−(1−β)mp_{\mathrm{C}} = 1 - (1 - \beta)^{m}pC​=1−(1−β)m。随着系统的增长(即 mmm 增加),这个概率迅速接近 1。

现在考虑像 Rust 这样的语言。它的类型系统和“借用检查器”静态地证明安全的代码不可能有缓冲区溢出。风险并未消除,而是被圈定在小的、明确标记的 unsafe 块中,这些块是执行底层任务或与 C 库交互所必需的。如果只有一小部分 uuu 的代码路径使用 unsafe,那么存在风险的路径数量就减少到 umumum。出现溢出漏洞的概率变为 pRust=1−(1−β)ump_{\mathrm{Rust}} = 1 - (1 - \beta)^{um}pRust​=1−(1−β)um。由于 uuu 通常非常小,整体风险被大大降低。这不是魔法;这是将责任从易犯错的人类程序员转移到严谨、自动化的编译器的一种有原则的做法。

然而,很少有复杂的系统完全用单一语言构建。通常,一个新的、安全的 Rust 组件必须调用一个经过实战检验但却不安全的遗留 C 库。这个结合点,即外部函数接口 (FFI),是一个关键的信任边界。Rust 的安全保证到此为止。C 代码仍然可能包含漏洞。在这里,我们看到了“深度防御”的智慧。虽然语言选择提供了第一道防线,但我们之前看到的操作系统级别的保护——ASLR 和栈金丝雀——提供了至关重要的第二道防线。在 C 库中发现溢出的攻击者现在必须攻克一系列概率性的障碍。为了劫持控制流,他们必须猜中 ccc 位的栈金丝雀和目标地址中 bbb 位的 ASLR 随机性。单次盲目尝试的成功概率骤降至大约 2−(b+c)2^{-(b+c)}2−(b+c)。即使攻击者有 kkk 次尝试机会,总体的成功概率仍然微乎其微。FFI 边界告诉我们,安全不是关于单一的完美防御,而是关于创建层层保护,其中一层的弱点由另一层的强度来弥补。

最后,缓冲区溢出的幽灵甚至出现在意想不到的地方,比如信息论和统计学。想象一个系统使用像 Huffman 编码这样的变长编码来压缩数据。常见符号获得短的比特串,而稀有符号获得长的比特串。这在平均情况下是高效的。但是,如果接收方有一个小的输入缓冲区,并且被设计为处理平均比特率呢?如果突然来了一串“稀有”符号,每个都带着一个长码字,瞬时比特率可能会飙升,在解码器赶上之前就压垮了缓冲区。这不是由编程错误引起的缓冲区溢出,而是由违反了系统“平均情况”假设的统计波动造成的。

同样的原则也适用于任何面临随机请求流入的系统,比如网络路由器。即使数据包的平均到达率远低于路由器的处理能力,流量的随机性(通常用泊松过程建模)意味着总存在一个非零的概率,即在短时间内突然爆发的到达量会超过缓冲区大小。设计一个健壮的系统不是要消除这种概率,而是要使其小到可以接受的程度。这是一种权衡,是工程学与概率法则本身之间的一场对话。

从内核到网卡,从语言设计到信息论,写过缓冲区末尾这个简单的行为,揭示了它是一条连接着广阔概念织锦的线索。它教导我们要对输入持怀疑态度,要精心设计我们的边界,要欣赏层层防御,并要尊重有限资源与世界不可预测需求之间的根本张力。