AGI真的需要“实体可调神经元”吗？从冯·诺依曼瓶颈到类脑硬件的三条出路

引文：我们把越来越大的模型堆上越来越多的加速器，性能却越来越像“搬砖大赛”。算力在涨，带宽在掉队，能源在燃烧。大脑用几十瓦稳定“在线”，数据中心却要用兆瓦“堆”出智能。AGI是否必须抛弃存算分离、直接上“实体可调整神经元”的类脑硬件？答案比“是/否”复杂得多：效率，可能是关键门槛；而路径，远不止一条。

—

一、真正的瓶颈：不是“算”，而是“搬”

绝大多数现代AI负载的能耗与延迟，越来越不受乘加（MAC）运算本身支配，而受“数据搬运”支配。原因有三：

• 冯·诺依曼瓶颈：权重和激活存放在内存，计算单元在芯片另一头，来回搬运每比特都要付能耗和时间成本。
• 带宽墙：增大模型参数通常比提升可用带宽更容易；当低比特运算能耗下降、算力堆上去后，内存/互连就成了主瓶颈。
• 能量预算：同等制程下，远距离访存（如DRAM）能耗常可比一次低比特MAC高一个甚至多个数量级；大模型训练和推理常“带宽受限、能耗受限”。

与之对照，人脑把突触“记忆”和“计算”物理共址，事件驱动、低精度、强稀疏。就地存算让神经信号沿着结构的路径流动，极少发生“长途搬运”。这就是为什么“靠近数据做计算”“弱化存算分离”会成为工程共识。

需要提醒的是：冯·诺依曼瓶颈是效率与扩展性的障碍，不是智能“可达性”的硬障。理论上，今日数字硬件也能拟合复杂智能；问题在于代价与可持续。

二、为什么大家都在关注“非冯·诺依曼”

• 能效：把权重放在计算附近（片上SRAM、3D堆叠、存内计算），可把每次访问的能耗和延迟降到合理范围。
• 事件驱动：仅在信息变化时才产生活动，实现天然稀疏，避免不必要的全量扫描。
• 在线/终身学习：局部可塑性（就地更新权重）能在不访问整机的大存储时完成快速适应，利于增量学习。

这三点恰好命中了当前AI工程的三大痛点：能耗、带宽、适应性。

三、道路A：演进型数字加速器仍在加速

在“完全换脑”前，数字硬件仍有巨大空间可挖，这条路线的优势是可编程、生态成熟、可复用现有算法栈。

• 存算更近

  • 更大规模的片上SRAM与共享缓存，降低高频外访。
  • HBM3E/4与更高通道宽度，靠堆叠提升有效带宽。
  • 先进封装（如CoWoS、Foveros）、chiplet与UCIe互联，把“内存”物理上挪得更近。
  • 晶圆级引擎（如Cerebras）把海量SRAM紧贴算子，极大缓解带宽瓶颈。

• 算法-硬件协同

  • 低比特化：FP8、INT4乃至更低比特的感知量化，显著降低带宽与能耗。
  • 稀疏化：结构化稀疏、激活稀疏与按需计算，提高有效算用率。
  • 专用单元：注意力/softmax/KV-cache等热点算子的特化加速与缓存策略（如FlashAttention）。
  • 结构替代：状态空间模型（S4、Mamba等）、混合专家（MoE）、RAG/外部记忆，减少纯密集Attention的带宽压力。

• 近存/内存内计算的“数字化”折中

  • 在存储器堆栈中集成简单算子（PIM），把部分数据整理和聚合就地处理。
  • 近传感计算与片上NPU，避免原始高冗余数据一路上行。

这条路已经支撑了今天最大规模的训练与推理。它不解决所有问题，但不断“削弱”存算分离，让带宽与能耗曲线延缓见顶。

四、道路B：类脑/存内/模拟计算的潜力与难关

所谓“实体可调整神经元”，工程路线上主要包括两类：以器件物理实现“就地存算”的存内/模拟计算；以及以事件驱动脉冲为基本计算范式的神经形态（SNN）系统。

• 存内/模拟计算（RRAM/PCM交叉阵列等）

  • 基本思想：把权重作为导电态存储在阵列中，用电压/电流的叠加实现类矢量-矩阵乘。
  • 潜在优势：密度高、计算与存储共址、理论上可在超低能耗下完成大规模乘加。
  • 现实挑战：
    • 器件可变性与漂移：写入后导电值随时间/温度变化，需要校准与补偿。
    • 精度与噪声：模拟域误差、IR压降、线寄生；需要ADC/DAC把模拟量数字化，后者本身能耗不低。
    • 训练难题：原位训练的可重复性、反向传播的实现、更新粒度与耐久度约束。
    • 系统集成：阵列尺寸有限，需分块/累加，数据流仍可能被ADC/总线瓶颈限制。

• 神经形态计算（SNN/事件驱动）

  • 基本思想：用脉冲（spike）承载信息，只有事件发生时才有计算与通信。
  • 潜在优势：极低静态功耗、天然稀疏、具备时间编码，适合传感-控制闭环与在线学习。
  • 代表进展：TrueNorth、Loihi/Loihi 2、Akida等在边缘感知、低延迟控制上表现亮眼。
  • 现实挑战：
    • 训练生态：如何高效训练SNN，如何把Transformer等主流架构映射到事件域仍是前沿问题。
    • 表示与编程模型：事件编码（脉冲率、时间、相位）与现有任务/数据接口的鸿沟。
    • 规模化工具链：编译器、调试、算子库与评测基准尚不完备。

• 光子与其他新物理范式

  • 光学矩阵乘法/互连具备极高带宽与低延迟潜力，但器件尺寸、非线性、A/D接口和系统级校准也带来复杂权衡。

总结起来，类脑/存内路线在能效和在线学习上拥有“结构性优势”，但要在通用大模型训练/推理上“全线超车”，仍需跨越器件一致性、A/D开销、训练方法与软件生态等多重关卡。

五、“可调神经元”具体意味着什么

当我们说“实体可调整神经元”，通常包含多层含义：

• 突触可塑性：权重可在局部、低能耗、细粒度地更新，支持在线/终身学习。
• 神经元内在可塑性：阈值、时间常数、适应性可调，容纳多时间尺度的信息整合。
• 调制与门控：神经递质样的“全局调制”与网络级门控，让系统在不同任务/状态下动态重构有效子网络。
• 稀疏事件驱动：仅在必要时通信与计算，匹配实际信息分布。
• 持久记忆与长程连接：在局部学习外，仍能用层级与长程通路表达复杂依赖。

数字硬件可以“仿真”这些特性，但往往以更多内存、通信和功耗为代价；类脑器件可以“原生”实现，但精度、规模与可编程性仍在演化。

六、道路C：更现实的中间路径——异构融合

与其在“纯数字”与“纯类脑”之间二选一，更可能的工程答案是“把对的事情放在对的执行器上”：

• 训练与通用推理主干：继续由可编程的数字加速器承担，受益于成熟生态与快速算法迭代。
• 重矩阵乘与卷积：在条件允许时下沉到存内/模拟阵列，利用高能效密度；通过“误差感知训练+数字校正累计”保证精度。
• 事件流/低功耗前端：用SNN或近传感NPU处理稀疏事件与早期特征，极大减少上行数据量与延迟。
• 外部长期记忆：结合RAG/向量数据库，把“知识”留在可检索存储中，缩短模型参数-知识的耦合链路。
• 运行时与编译器：图级分解、噪声/带宽约束感知的算子调度、跨域校准与自适应容错。

这条“弱化存算分离”的融合路线，能尽量接近脑式能效曲线，又不放弃数字体系的通用性。

七、如何判断我们“需要”类脑硬件？一组实用指标

• 每token能耗与延迟：当纯数字体系在目标规模上难以把每token能耗再降一个数量级，而延迟又被带宽/互连钳制时，意味着需要架构性改变。
• 在地性：单位算子所需的on-die/near-die存储占比越高，数据搬运越少，系统越可持续。
• 在线/增量学习效率：如果要在部署现场实时适应（机器人、个性化助理），类脑式局部更新能显著降低代价。
• 稀疏利用率：能否把自然任务的稀疏性（时空/语义）转化为硬件级节能，而不是被软件流水线“磨平”掉。
• 可编程性与可维护性：是否有工具链支撑大规模开发、调试与复现实验结果。
• 成本与可靠性：器件一致性、寿命、温漂、校准成本是否可控，是否能被量产与维护体系接受。

当多数指标在纯数字路径上接近“边际收益递减”，而类脑/存内在目标场景上能给出数量级改进时，转向的时机就成熟了。

八、不同场景的取舍

• 数据中心大模型训练

  • 优先级：吞吐、可编程性、生态与可维护性。
  • 倾向：数字主干，叠加更强的近存/存内加速，配合低比特与稀疏化、结构改进。

• 超低功耗/边缘推理（可穿戴、IoT、传感-控制闭环）

  • 优先级：能效、延迟、在线微调。
  • 倾向：事件驱动前端+小型SNN/类脑核，必要时以小型数字核做精度校正。

• 机器人与在线自适应

  • 优先级：低延迟、稳定性、持续学习、长期记忆。
  • 倾向：事件驱动感知+局部可塑性+外部可检索记忆的融合架构。

• 嵌入式医疗与长期自治系统

  • 优先级：可靠性、可证明性、能效。
  • 倾向：简单而稳定的事件驱动核+受控范围内的类脑可塑性机制。

九、常见误解与澄清

• “没有神经形态硬件就到不了AGI”？

  • 夸张。可达性更多受算法与数据制约；硬件主要决定“代价曲线”和“可持续性”。

• “数字路线已经到天花板”？

  • 也言之过早。带宽与存储的工程堆叠仍有空间，且算法层的结构革新可极大改变硬件压力。

• “类脑一定更聪明/更像人脑就更强”？

  • 相似不等于优越。关键看在目标任务下，是否能提供可测量、可复现的能效与性能优势。

• “模拟/存内一上就省电”？

  • 忽视了ADC/DAC、校准/纠错、外围数据流的代价。系统级收益需要整体设计与共同优化。

十、未来3–5年的关键观察点

• 存储与互连

  • HBM4与更强的高密度封装，KV-cache/激活的带宽痛点是否进一步缓解。
  • 近存/内存内（PIM）在商用加速器中的普及度与编程接口成熟度。

• 低比特与稀疏化

  • 端到端INT4/更低比特的稳定训练与通用推理落地时间表；结构稀疏与动态路由的硬件利用率。

• 模型结构与记忆

  • 状态空间模型、线性注意力、外部可检索记忆（RAG）与长期上下文的系统能耗走向。

• 类脑/存内原型到量产的跨越

  • 交叉阵列的器件一致性、ADC能耗、原位训练示范；SNN在主流任务上的编译/训练工具链成熟度。

• 异构软件栈

  • 噪声/带宽约束感知的编译器与运行时；跨数字-模拟的误差感知训练链条是否形成产业标准。

十一、回到核心问题：AGI是否必须依赖“实体可调神经元”

简要结论：

• “必须”二字为时尚早。数字硬件+算法创新仍在快速推进，通用智能的许多能力可以在现有范式上不断逼近。
• 但若把目标加上“能效与延迟接近大脑”“持续在线学习可行”“大规模部署可持续”，那么“弱化存算分离”的方向几乎是确定的。类脑/存内技术很可能在关键环节成为“必要的加速器”，尤其是在边缘与在线适应场景。
• 现实最可能的答案是“异构融合”：数字主干保证通用性和开放生态，类脑/存内承担高能效的就地计算与在线可塑性，配合外部可检索记忆，共同把智能从纯算力竞赛转向系统效率竞赛。

十二、给工程与研究者的快速清单

• 评估你的负载是否“带宽受限”：剖析算子级的算术强度与数据重用率，定位真正的热点。
• 量化“每token能耗”：建立端到端能耗模型，明确在模型、编译、硬件三层的节能杠杆。
• 引入“在地性”设计：更多on-die缓存、算子融合、近存/存内加速器插槽。
• 拥抱稀疏与低比特：从训练即稀疏/低比特出发，避免“先密后剪”的浪费。
• 持续关注工具链：编译器、噪声感知训练、跨域调试与基准集，是让新硬件走出实验室的关键。

结语

AGI之争，早已不是“能不能推出来”的线性竞赛，而是“以什么代价、用何种路径、在多大规模上普惠”的系统工程。存算分离是今天的瓶颈之一，类脑的“就地存算、事件驱动、可塑性”提供了重要方向；但更现实的未来，可能是数字与类脑的握手言和：让每一份比特尽量少走冤枉路，让每一次学习尽量就地发生。

你的看法呢？你更看好哪条路：持续演进的数字加速器、从头重塑的类脑/存内，还是两者的异构融合？在你的业务或研究里，最痛的带宽/能耗/在线学习痛点是什么？欢迎在评论区分享你的观测与判断。