别再只盯着Transformer了！回顾CV经典SENet：如何用极简设计拿下ImageNet冠军？

weixin_30876945

439人浏览 · 2026-06-08 15:30:06

weixin_30876945 · 2026-06-08 15:30:06 发布

通道注意力机制的开山之作：SENet如何用极简设计重塑计算机视觉

在计算机视觉领域，注意力机制已经成为现代神经网络架构的核心组件。当我们谈论注意力时，大多数人会立即想到Transformer及其衍生模型。然而，在Transformer席卷CV领域之前，一个更为优雅简洁的设计已经为通道注意力机制奠定了基础——这就是2017年提出的SENet（Squeeze-and-Excitation Networks）。这个看似简单的创新不仅在当年ImageNet竞赛中夺冠，其设计理念至今仍在影响最新的网络架构。

1. SENet诞生的历史背景与技术突破

2017年的计算机视觉领域正处于一个关键的转折点。ResNet的残差连接已经证明了深度网络的可训练性，但研究人员开始意识到，单纯的深度增加并非提升性能的万能钥匙。当时的神经网络主要关注空间维度上的特征提取，而忽视了通道维度上的关系建模。

SENet的核心贡献在于提出了"特征重校准"（feature recalibration）的概念。其设计哲学可以概括为三个关键点：

全局信息压缩 ：通过全局平均 pooling 将空间信息压缩为通道描述符
通道关系建模 ：使用小型全连接网络学习通道间的非线性关系
自适应权重分配 ：通过sigmoid激活生成0-1之间的通道权重

这种设计带来了几个革命性的优势：

极简的架构改动 ：只需在现有卷积块后添加SE模块
计算高效 ：增加的计算量不到1%
即插即用 ：可无缝集成到任何CNN架构中

实验数据显示，在ResNet-50基础上添加SE模块，仅增加0.26%的参数却带来了1.37%的Top-1准确率提升。这种"四两拨千斤"的效果正是SENet的精妙之处。

2. SE模块的解剖：从理论到实现

理解SE模块的最佳方式是拆解其两个核心操作：Squeeze（压缩）和Excitation（激励）。

2.1 Squeeze操作：全局信息嵌入

Squeeze操作通过全局平均池化（GAP）将空间维度H×W压缩为1×1：

def squeeze(x):
    return torch.mean(x, dim=[2,3], keepdim=True)

这一步相当于为每个通道生成一个"重要性分数"，反映了该通道在整个图像范围内的激活强度。

2.2 Excitation操作：通道关系建模

Excitation操作通过一个简单的门控机制学习通道间关系：

def excitation(x, reduction_ratio=16):
    channels = x.size(1)
    hidden = channels // reduction_ratio
    
    # 第一个FC层降维
    fc1 = nn.Linear(channels, hidden)
    # 第二个FC层恢复原始维度
    fc2 = nn.Linear(hidden, channels)
    
    x = fc1(x)
    x = F.relu(x)
    x = fc2(x)
    return torch.sigmoid(x)

这个轻量级的两层瓶颈结构（bottleneck）正是SE模块高效的关键，通过reduction_ratio控制计算复杂度。

2.3 完整SE模块实现

结合上述两部分，完整的SE模块可以这样实现：

class SEBlock(nn.Module):
    def __init__(self, channels, reduction=16):
        super().__init__()
        self.squeeze = nn.AdaptiveAvgPool2d(1)
        self.excitation = nn.Sequential(
            nn.Linear(channels, channels // reduction),
            nn.ReLU(inplace=True),
            nn.Linear(channels // reduction, channels),
            nn.Sigmoid()
        )
    
    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.squeeze(x).view(b, c)
        y = self.excitation(y).view(b, c, 1, 1)
        return x * y.expand_as(x)

这种实现保持了模块的简洁性和高效性，可以轻松插入任何现有架构。