摘要

本文解读 NeurIPS 2021 Spotlight 论文《Credit Assignment in Neural Networks through Deep Feedback Control》。该论文提出深度反馈控制（Deep Feedback Control, DFC），通过融合反馈控制器、动力学神经元模型与噪声驱动的反馈权重学习，把「误差」从突触上的乘子改写成网络动力学的控制目标，其特别之处在于学习规则在空间与时间上全局部，且不需要前向与反馈权重对称。论文证明：只要反馈矩阵满足列空间条件 $\mathrm{colspace}(Q) = \mathrm{rowspace}(J)$，权重更新就近似 Gauss-Newton 优化，等价于加权最小范数更新。实验表明，在判别性的 MNIST 自编码任务上，学习反馈的 DFC 把测试 loss 压到 $11.28\times10^{-2}$，而冻结反馈的 DFC 与直接反馈对齐分别退化到 $33.37\times10^{-2}$ 与 $29.95\times10^{-2}$（BP 为 $9.42\times10^{-2}$），为生物可信学习提供了可证明的优化基础。

视频讲解：点击观看 B 站视频

论文基本信息

项目	内容
标题（英文）	Credit Assignment in Neural Networks through Deep Feedback Control
标题（中文）	深度反馈控制：用控制器动力学完成神经网络信用分配
作者	Alexander Meulemans, Matilde Tristany Farinha, Javier García Ordóñez, Pau Vilimelis Aceituno, João Sacramento, Benjamin F. Grewe
机构	Institute of Neuroinformatics, University of Zürich and ETH Zürich
会议	NEURIPS 2021（Spotlight）
代码	https://github.com/meulemansalex/deep_feedback_control
arXiv	https://arxiv.org/abs/2106.07887
项目网站	https://arxiv.org/abs/2106.07887

背景与动机

反向传播（BP）是当下信用分配的黄金标准，但把它直接映射到生物环路时会遇到两处硬矛盾。第一处是权重传输问题：BP 要求反馈通路的权重正好等于前向权重的转置，这在生物上很难成立。第二处是：生物反馈会直接改变神经元的激活，而 BP 里反馈只是一个乘在梯度上的系数，不会改变前向激活本身。

已有的生物可信替代方案各自带着一条硬约束。直接反馈对齐（DFA） 用随机且固定的反馈矩阵绕开权重传输，但后续研究指出它在复杂任务上无法给出精确的信用分配。Weight Mirror 一类方法让反馈权重学习着对齐前向通路，代价是对连接施加了很强的结构约束。Target Propagation（TP） 的理论工作证明 TP 其实是在做一种 Gauss-Newton 型优化，但推理时需要把曲率矩阵近似成块对角。动态反馈与预测编码类模型把误差沿着层级回传，却引入了高度特异的微电路连接基元。与本文最接近的是动态求逆（Dynamic Inversion）：同样用控制器把输出误差反传，但它的更新规则在时间上不是局部的，而且没有和任何已知的优化方法建立联系。

DFC 的切入点，是重新审视「什么是做信用分配的必要条件」。本文用附录里的创新模式分析（见下文 FAQ）把这件事说得更清楚：被审计的假设是「信用分配必须要求前向/反馈权重对称或精确对齐」，而 DFC 把它放宽为一个列空间条件——$\mathrm{colspace}(Q) = \mathrm{rowspace}(J)$。这是一个能容纳大量随机反馈矩阵的几何条件，比「必须等于 $J^{T}$ 或 $J^{\dagger}$」弱得多。

研究主线：从问题到结论

DFC 的核心设计

DFC 由三个部件组成，它要求的最简结构是：神经元具有一个中心隔室 $\mathbf{v}i$、一个前馈隔室 $\mathbf{v}_i^{\mathrm{ff}} = W_i \mathbf{r}{i-1}$，以及一个反馈隔室 $\mathbf{v}_i^{\mathrm{fb}} = Q_i \mathbf{u}$。

三个部件各自负责一件事：

• 动力学神经元：每个神经元同时积分前馈输入与反馈输入，而不是像前馈网络那样只做一次单向计算。
• 反馈控制器：只在学习时开启，把网络输出推向一个软目标——前馈输出沿着损失梯度轻推一步的结果。
• 两条局部可塑性规则：前向权重比较「受控激活」与「按当前权重的估计激活」；反馈权重则借助注入噪声和一条反 Hebb 规则来学习。

这个组合带来的直接收益，是学习规则完全不需要全局长程量：每个突触只需要用它自己和邻居在当下这一时刻的量。

信用分配路线的分类全景

五条路线里，前四条要么要求对称、要么要求精确对齐、要么依赖特异的连接结构；DFC 换了一条路——它不要求反馈通路「指向正确的方向」，只要求它的列空间与雅可比的行空间一致。

方法细节

四个方程

整套方法可以用四个方程写完。第一个是神经元动力学：每个神经元同时积分前馈与反馈输入，

$\tau_v \dot{\mathbf{v}}i = -\mathbf{v}_i + W_i \phi(\mathbf{v}{i-1}) + Q_i \mathbf{u}$，

其中 $W_i$ 是前向权重、$Q_i$ 是反馈权重、$\mathbf{u}$ 是控制器产生的反馈信号。当 $\mathbf{u}=0$ 时，这个动力学的平衡态正是普通前馈网络的激活 $\mathbf{r}_i^{-}$。

第二个是控制器动力学。控制器使用一个带泄漏的 PI 控制器，把输出推向目标 $\mathbf{r}_L^{*} = \mathbf{r}_L^{-} + \boldsymbol{\delta}_L$，其中 $\boldsymbol{\delta}_L$ 是损失对输出激活的负梯度方向。控制器内部状态满足 $\tau_u \dot{\mathbf{u}}^{\mathrm{int}} = \mathbf{e} - \alpha \mathbf{u}^{\mathrm{int}}$，输出为 $\mathbf{u} = K_I \mathbf{u}^{\mathrm{int}} + K_P \mathbf{e}$，$\mathbf{e}$ 是控制误差。这里的泄漏项 $\alpha$ 用来约束控制量的幅度。

第三个是前向权重更新，也是全文最朴素的一条：

$\tau_W \dot{W}i = \big(\phi(\mathbf{v}_i) - \phi(W_i \mathbf{r}{i-1})\big) \mathbf{r}_{i-1}^{T}$。

它比较的是神经元的实际放电率 $\phi(\mathbf{v}i)$ 与「只按前馈输入估计的放电率」$\phi(W_i \mathbf{r}{i-1})$。这两者之差，就是神经元自己拿得到的误差信号。由于每个神经元都能独立计算，这条规则在空间与时间上都是局部的。

第四个是反馈权重学习：在动力学中注入零均值噪声，并把输出目标设为平均输出，控制器为了抵消噪声而不断调节 $\mathbf{u}$，于是反馈隔室里的噪声与控制信号之间产生了相关性——这就是教学信号。学习规则是一条带权重衰减的反 Hebb 规则：

$\tau_Q \dot{Q}_i = -\mathbf{v}_i^{\mathrm{fb}} \mathbf{u}^{T} - \beta Q_i$。

为什么它能做「有原则的信用分配」

把网络与控制器一起线性化后，稳定性取决于矩阵 $J_{\mathrm{ss}} Q$ 的特征值实部是否都大于 $-\alpha$。而优化的性质则由两个条件决定：一是各层激活范数大致相等，二是 $\mathrm{colspace}(Q) = \mathrm{rowspace}(J)$。在这两个条件下，稳态权重更新被证明与最小批大小为 1 的 Gauss-Newton 更新一致；如果进一步放松激活范数条件、并允许任意损失函数，更新仍然等价于加权最小范数更新——也就是「用最小的权重改动，让网络输出精确到达当前目标」。

反馈权重是怎么学会的

反馈权重没有任何外部标签，这是整套方法最需要解释的一环。DFC 的答案是：把噪声当教学信号。注入噪声后，噪声经由网络雅可比传到输出，再经由控制器回流；反馈隔室中的噪声与控制信号 $\mathbf{u}$ 中的波动之间的相关性，恰好携带了雅可比的信息。定理证明：在分离时间尺度与强泄漏的假设下，反馈权重的期望会收敛到 $\mathbb{E}[Q_{\mathrm{ss}}] \propto J^{T}(JJ^{T}+\gamma I)^{-1}$，即雅可比的一个阻尼伪逆，且该极限同时满足列空间条件与稳定性条件。

这里留下一个「鸡与蛋」的问题：定理假设稳定性已经成立，但反馈学习的任务恰恰是制造稳定性。作者的做法是早期先用较大的泄漏 $\alpha$ 稳住网络，等反馈权重对齐之后再把它调小。

实验设计与结果

论文用两类实验回答两个不同的问题：玩具实验检验「理论预言的优化性质是否真的出现」，视觉基准检验「这套规则在真实任务上的精度」。玩具实验是非线性学生—教师回归，层大小 15-10-10-5，$\tanh$ 激活，线性输出层；视觉任务包括 MNIST 与 Fashion-MNIST 分类，以及 MNIST 自编码——后者是关键，因为已知 DFA 在这里失效，它是区分「精确信用分配」与「近似信用分配」的判别性任务。所有结果报告 5 个随机种子的均值与标准差，用 5000 个验证样本挑选最佳轮次。

对照设置如下：

名称	说明
BP	反向传播，精度上界
DFC	连续更新前向权重，反馈权重学习
DFC-SS	仅在网络达到稳态后更新前向权重
DFC-SSA	用解析计算的线性化稳态更新
DFC (fixed)	反馈权重冻结不学习
DFA	直接反馈对齐，随机固定反馈

主结果（分类为测试误差 %，自编码为测试 loss $\times 10^{-2}$，数值越低越好）：

方法	MNIST	Fashion-MNIST	MNIST 自编码
BP（上界）	2.08	10.60	9.42
DFC	2.25	11.17	11.28
DFC-SS	2.29	11.15	11.21
DFC (fixed)	2.47	11.62	33.37
DFA	2.69	11.38	29.95

这张表给出了全文最有信息量的一条对照：分类任务不具判别性——所有方法（包括 DFA）都落在 BP 的 0.1 到 0.6 个百分点以内；而一旦换成自编码任务，冻结反馈的 DFC 与 DFA 双双退化到 30 上下，学习反馈的 DFC 则保持在与 BP 同一量级的 11.2 附近，差距被放大了约 3 倍。

论文还给出了超参数稳健性实验：

学习率 $\lambda$	DFC-SS	DFC	控制泄漏 $\alpha$	DFC-SS	DFC
$10^{-3}$	2.26	2.29	$10^{-4}$	2.31	2.28
$10^{-2}$	2.25	2.31	$10^{-3}$	2.28	2.31
$10^{-1}$	2.27	2.30	$10^{-2}$	2.26	2.32
0.5	2.31	2.34	$10^{-1}$	2.28	2.34

也就是说，在两个数量级的范围内，MNIST 测试误差始终稳定在 2.25 到 2.34 之间；只有把目标直接钳到标签（$\lambda=0.5$）时对齐度才会下降，这与线性化近似的适用边界一致。

结果对比总结

关键发现

• 学习反馈权重是负载组件，不是可选项。 在 MNIST 自编码上，冻结反馈的 DFC 测试 loss 为 $33.37\times10^{-2}$，学习反馈后降到 $11.28\times10^{-2}$，改善幅度接近 3 倍；同期 DFA 为 $29.95\times10^{-2}$，BP 为 $9.42\times10^{-2}$。
• 分类任务几乎无法区分这些方法。 MNIST 上从最优的 BP 2.08% 到最差的 DFA 2.69%，全距只有 0.61 个百分点；Fashion-MNIST 上全距仅 1.02 个百分点。任务选择决定了实验能不能说明问题。
• 「不需要对称」不是妥协，而是约束本身的松弛。 论文用主成分分析显示，满足列空间条件与稳定性条件的反馈矩阵构成一个远宽于 $J^{T}$、$J^{\dagger}$、$J^{T}(JJ^{T}+\gamma I)^{-1}$ 的空间。
• 理论对齐可以在训练过程中被直接测量到。 更新方向与理想加权最小范数更新的夹角随训练下降，并且在 $\lambda$ 与 $\alpha$ 各跨两个数量级的范围内保持低位。
• 生物可解释性有具体落点。 三隔室的中心、前馈、反馈隔室分别对应皮层锥体细胞的胞体、基底树突与顶树突；噪声从「干扰」变成了「教学信号」。

局限性

• 只是近似，不是等式。 实际更新与 Gauss-Newton / 最小范数更新存在偏差，来源有四：更新规则中额外的非线性 $\phi$、$\alpha$ 与 $\lambda$ 并非无穷小、反馈权重训练不充分，以及线性反馈映射无法对每个样本都满足列空间条件。
• 反馈学习只瞄准一个解。 反 Hebb 规则把 $Q$ 推向 $J^{T}(JJ^{T}+\gamma I)^{-1}$ 这一特定配置，没有利用列空间条件提供的自由度。论文把「设计只满足条件、不锁定配置的学习规则」列为未来方向。
• 需要 wake-sleep 两相。 前向与反馈权重的训练目前交替进行；若反馈可塑性使用高通滤波后的突触前输入，两相可以合并为一相，但这依赖额外的滤波机制。
• 动态本质带来算力代价。 DFC 需要在每个样本上模拟微分方程，在 GPU 上代价很高，因此论文明确说明无法做大尺度评测，并建议未来考虑模拟硬件实现。

常见问题（FAQ）

DFC 和直接反馈对齐（DFA）最关键的区别是什么？

区别在于「反馈通路需要满足什么条件」。DFA 用随机且固定的反馈矩阵，它不保证反馈信号携带正确的信用分配方向；DFC 允许反馈权重被学习，并且证明只要反馈矩阵的列空间等于雅可比的行空间，更新就等价于加权最小范数更新。实验上这个区别在 MNIST 自编码任务上被放大：DFA 的测试 loss 是 $29.95\times10^{-2}$，DFC 是 $11.28\times10^{-2}$。

为什么论文说 DFC 近似 Gauss-Newton，而不是近似梯度下降？

因为它用的是网络动力学本身来求解权重更新。控制器把输出推到目标之后，稳态的激活偏移 $\Delta \mathbf{v}$ 被约束在反馈矩阵的列空间内，得到唯一解；在列空间条件下，这个解正好是雅可比的伪逆作用在输出误差上——也就是 Gauss-Newton 的一步。这与「用局部规则去逼近 BP 的梯度」是两种不同的目标。

为什么一定要在 MNIST 自编码上做实验？

因为分类任务不具判别性：所有方法（包括 DFA）在 MNIST 与 Fashion-MNIST 上都只和 BP 差零点几个百分点。自编码任务已知会让 DFA 失效——它是一个能把「精确信用分配」和「近似信用分配」区分开的任务。论文正是靠这个任务，让冻结反馈与学习反馈之间出现了约 3 倍的差距。

稳定性条件在实际训练中真的成立吗？

严格来说不成立：理论推导假设前向动力学远快于控制器（$\tau_v \ll \tau_u$），实际设定并不满足。但论文的数值实验显示，局部稳定性条件（$J_{\mathrm{ss}}Q$ 的特征值实部都大于 $-\alpha$）在实际设定下仍然是一个好的代理指标——所有 DFC 变体在训练全程都保持稳定。工程上的做法是早期先用较大的泄漏 $\alpha$ 稳住网络，对齐后再调小。

这篇论文为什么能拿到 NeurIPS Spotlight？

用论文附录里的创新模式分析来看，它同时命中三件事：一是「审计并扭转负载假设」——把「信用分配需要对称或精确对齐」这条默认前提放宽成列空间条件；二是「证明等价性以统一」——用动态求逆、Gauss-Newton 定理与加权最小范数定理，把控制器的动力学行为与已知的二阶优化方法严格对接；三是「制造监督信号」——反馈权重没有标签，就用注入噪声从动力学内部造出教学信号。三者的共同点是：条件写成可检验的形式，理论给出对齐度，实验再把对齐度测出来。

这套方法可以直接用到今天的深度网络上吗？

目前不行，论文自己把这一点写进了局限：DFC 需要在每个样本上模拟微分方程直到稳态，在 GPU 上代价很高，这也是作者没有做大尺度评测的原因。他们给出的方向是模拟硬件——让网络的动力学直接对应芯片上的物理过程，从而同时获得能效与生物可信性。后续工作沿着另一条路推进：ICML 2022 的强反馈版本解除了「反馈必须无穷小」的假设，把学习重新表述为最小化所需的控制量，前向与反馈权重可以同时用局部规则学习。

参考链接

• 论文 arXiv 摘要页：https://arxiv.org/abs/2106.07887
• 官方代码仓库：https://github.com/meulemansalex/deep_feedback_control
• 前置工作 A Theoretical Framework for Target Propagation（NeurIPS 2020）：https://arxiv.org/abs/2006.14331
• 后续工作 Minimizing Control for Credit Assignment with Strong Feedback（ICML 2022）：https://proceedings.mlr.press/v162/meulemans22a.html
• 对比基线 Direct Feedback Alignment（NeurIPS 2016）：https://arxiv.org/abs/1609.01596
• 对比基线 Biological credit assignment through dynamic inversion（NeurIPS 2020）：https://arxiv.org/abs/2012.05919

---

给大家推荐一款自用写文献综述、无虚构文献的 AI：

🌟 复旦大学 FudanNLP 团队自研 切问学术

官网：qiewenpaper.com

覆盖 3.6 亿篇可溯源真实中英文文献，能自动整合文献观点生成规范综述

还能挖掘研究创新点、复现实验，配合视频教学，新手快速上手文献综述写作

---

🍀后记🍀

博客的关键词集中在编程、算法、机器人、人工智能、数学等等，持续高质量输出中。

🌸讨论QQ群：白拾的小屋 (750365700)

⭐B站账号：白拾的物理AI组会（活跃于知识区和动画区）

✨GitHub主页：YhbCode000（工程文件）