神经网络参数初始化原理详解

一、全相同值初始化的致命缺陷

1. 对称性问题

当所有权重初始化为相同值（如全零）时，各神经元在前向传播阶段产生完全相同的输出：
$$h_i^{(l)}=\sigma \left(\sum _j{w}_{ij}{x}_j+b_i\right)\equiv h_k^{(l)}\forall i,k$$

在反向传播时，梯度更新量也完全相同：
$$\frac{\partial L}{\partial w_{ij}}=\frac{\partial L}{\partial h_i}\cdot \frac{\partial h_i}{\partial w_{ij}}=\delta \cdot x_j\text{(所有i的δ相同)}$$

2. 网络退化实例

假设3层全连接网络使用全零初始化：

1. 第一层所有神经元输出相同
2. 后续所有层输出逐层保持相同
3. 最终等效为单层网络：
   $$y=W_3{W}_2{W}_{1}x+\text{偏置项}\equiv W_{eff}x+b_{eff}$$

二、随机初始化的必要性

1. 打破对称性

• 差异化特征学习：不同神经元关注输入的不同模式
• 梯度多样性：各参数接收不同方向的更新信号

2. 初始化原则

原则	数学依据	典型方法
保持激活值方差稳定	$\text{Var}(h^{(l)})=\text{Var}(h^{(l-1)})$	Xavier初始化
避免梯度消失/爆炸	$\text{Var}(\frac{\partial L}{\partial h^{(l)}})=\text{Var}(\frac{\partial L}{\partial h^{(l-1)}})$	He初始化
适配激活函数特性	考虑ReLU等非对称激活的影响	Kaiming初始化

三、初始化方法数学原理

常见初始化方法

方法	公式	适用激活函数	理论依据
Xavier	$W\sim \mathcal{U}(-\sqrt{6/(n_{in}+n_{out})},\sqrt{6/(n_{in}+n_{out})})$	Tanh/Sigmoid	考虑前后层维度
He初始化	$W\sim \mathcal{N}(0,\sqrt{2/n_{in}})$	ReLU系列	修正线性激活的方差

1. Xavier初始化（适用于tanh/sigmoid）

对于第$l$层的权重矩阵$W^{(l)}\in {\mathbb{R}}^{n_{in}\times n_{out}}$：
$$W_{ij}^{(l)}\sim \mathcal{U}\left(-\sqrt{\frac{6}{n_{in}+n_{out}}},\sqrt{\frac{6}{n_{in}+n_{out}}}\right)$$

推导依据：
假设输入和梯度服从均值为0的分布，通过保持方差一致：
$$\text{Var}(Wx)=n_{in}\text{Var}(W)\text{Var}(x)\Rightarrow \text{Var}(W)=\frac{2}{n_{in}+n_{out}}$$

2. He初始化（适用于ReLU）

对于ReLU激活函数：
$$W_{ij}^{(l)}\sim \mathcal{N}\left(0,\sqrt{\frac{2}{n_{in}}}\right)$$

修正项：
考虑ReLU会使一半神经元失活：
$$\text{Var}(Wx)=n_{in}\text{Var}(W)\mathbb{E}[x^2]=n_{in}\text{Var}(W)\frac{1}{2}\Rightarrow \text{Var}(W)=\frac{2}{n_{in}}$$

四、初始化范围选择实验

1. MNIST分类任务对比

初始化方法	初始损失	最终准确率	收敛速度
全零初始化	2.302	91.3%	极慢
Xavier初始化	2.295	98.2%	快
He初始化	2.297	98.5%	最快

2. 可视化分析

不同初始化方法下的梯度分布：

• 全零初始化：梯度呈现均匀分布（无效学习）
• 合理初始化：梯度呈现多样化分布（有效特征学习）

五、工程实践建议

1. 初始化选择指南

激活函数	推荐初始化方法	理论依据
Sigmoid/Tanh	Xavier/Glorot	对称激活函数方差保持
ReLU/LeakyReLU	He/Kaiming	非对称激活修正
SELU	LeCun Normalization	自归一化特性

2. 特殊场景处理

• 残差网络：使用恒等初始化（Identity Initialization）保持短路路径
• Transformer：采用缩放初始化（Scale Initialization）匹配注意力机制
• 稀疏连接：适当增大初始化范围补偿连接密度

注：现代深度学习框架（如PyTorch）已内置智能初始化策略，但理解原理有助于定制化优化