论文标题

Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective 从神经坍缩视角理解深度均衡模型的表示

论文链接

Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective论文下载

论文作者

Haixiang Sun, Ye Shi

内容简介

本文探讨了深度均衡模型（DEQ）的表示，利用神经坍缩（NC）现象作为分析工具，系统地研究了DEQ在平衡和不平衡条件下的表现。DEQ作为一种隐式神经网络，因其内存效率和竞争性能而受到关注，但其理论分析相对较少。研究表明，在平衡条件下，DEQ表现出NC现象，而在不平衡条件下，尽管存在少数群体崩溃，DEQ仍展现出优于显式神经网络的优势。通过理论分析和实验验证，本文揭示了DEQ在处理不平衡数据集时的特性，包括特征收敛到单纯形等角紧框架的顶点及其自对偶性质，强调了DEQ在不平衡数据集上的优越性。

分点关键点

1. DEQ的内存效率与表现

   • DEQ通过将所有隐藏层表示为非线性不动点方程的平衡点，展现出较强的表示能力。与显式神经网络相比，DEQ在分类任务中取得了更好的结果，尤其是在语言和图像分类任务中。

2. 神经坍缩现象的理论分析

   • 本文系统分析了DEQ在平衡条件下的NC现象，表明在训练结束时，特征的类内均值和分类器向量收敛到单纯形等角紧框架的顶点。该现象在显式神经网络中也得到了验证。
     

3. 不平衡数据集中的表现

   • 在不平衡条件下，DEQ展现出优于显式神经网络的特性，尽管存在少数群体崩溃。研究表明，DEQ在处理不平衡数据集时，特征能够更好地适应未见类别，从而提升性能。

4. 实验验证

   • 通过在Cifar-10和Cifar-100数据集上的实验，验证了理论分析的有效性，结果显示DEQ在平衡和不平衡场景下均表现出色，尤其是在不平衡数据集上。
     

论文代码

代码链接：https://github.com/HaixiangSun/DEQ_NC

中文关键词

1. 深度均衡模型
2. 神经坍缩
3. 隐式神经网络
4. 不平衡数据集
5. 特征收敛
6. 自对偶性质

Neurlps2024论文合集：

Neurlps2024论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！