如是我闻：

1. Instance Normalization（IN）

Instance Normalization（IN）最早由 Ulyanov et al.（2017） 提出，主要用于 风格迁移（Style Transfer） 任务。它的核心思想是 对每个样本的每个通道 $(C)$ 单独计算均值和方差，然后进行归一化。

与 Batch Normalization（BN）不同，IN 不依赖 mini-batch 统计信息，所以更适用于小 batch size 甚至 batch size = 1 的情况。

数学公式

对于一个输入特征 $x_{tilm}$，其中：

• $t$ 表示 batch 维度（样本索引）
• $i$ 表示通道索引（C）
• $l,m$ 分别表示特征图的空间坐标 $H\times W$

均值计算

$${\mu }_{ti}=\frac{1}{HW}\sum _{l=1}^W\sum _{m=1}^H{x}_{tilm}$$

方差计算

$${\sigma }_{ti}^2=\frac{1}{HW}\sum _{l=1}^W\sum _{m=1}^H(x_{tilm}-{\mu }_{ti}{)}^2$$

归一化

$$y_{tilm}=\frac{x_{tilm}-{\mu }_{ti}}{\sqrt{{\sigma }_{ti}^2+ϵ}}$$

💡 计算范围：
Instance Normalization 只在 单个样本的单个通道 (H×W 维度) 内计算均值和方差，而不会跨通道或跨样本计算。

---

2. Layer Normalization（LN）

概念

Layer Normalization（LN）由 Ba et al.（2016） 提出，最初用于 RNN 和 Transformer 结构，后来也在 CNN 中被广泛使用。它的核心思想是 对整个样本的所有通道 (C×H×W) 计算均值和方差，然后进行归一化。

不同于 Batch Normalization（BN），LN 不依赖 batch 维度，适用于 NLP 和 Transformer 任务，特别是在 batch size 变化较大的情况下，仍能保持稳定的效果。

数学公式

对于一个输入特征 $x_{ijkl}$，其中：

• $i$ 表示 batch 维度（样本索引）
• $j$ 表示通道索引（$C$）
• $k,l$ 分别表示特征图的空间坐标（$H\times W$）

均值计算

$${\mu }^l=\frac{1}{CHW}\sum _{j=1}^C\sum _{k=1}^H\sum _{l=1}^W{x}_{ijkl}$$

方差计算

$${\sigma }_l^2=\frac{1}{CHW}\sum _{j=1}^C\sum _{k=1}^H\sum _{l=1}^W(x_{ijkl}-{\mu }^l{)}^2$$

归一化

$$y_{ijkl}=\frac{x_{ijkl}-{\mu }^l}{\sqrt{{\sigma }_l^2+ϵ}}$$

💡 计算范围：
Layer Normalization 在整个样本的所有通道 (C×H×W) 维度上计算均值和方差，不同通道之间的归一化统计量是共享的。

---

3. 计算示例

假设我们有一个输入 特征图大小为 $2\times 2$，batch size 为 1，通道数 C = 2，即：
$$X=\left[\begin{array}{ccc}\text{Channel 1}:& \left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],\text{Channel 2}:& \left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]\end{array}\right]$$

Instance Normalization

IN 对 每个通道 ($C$) 独立归一化，计算均值和方差：

• Channel 1 均值：
  $${\mu }_1=\frac{1+2+3+4}{4}=2.5$$
  方差：
  $${\sigma }_1^2=\frac{(1-2.5{)}^2+(2-2.5{)}^2+(3-2.5{)}^2+(4-2.5{)}^2}{4}=1.25$$
  归一化：
  $$Y_1=\frac{X_1-2.5}{\sqrt{1.25+ϵ}}$$

• Channel 2 均值：
  $${\mu }_2=\frac{5+6+7+8}{4}=6.5$$
  归一化后：
  $$Y_2=\frac{X_2-6.5}{\sqrt{1.25+ϵ}}$$

---

Layer Normalization

LN 对 整个样本的所有通道 (C×H×W) 归一化，计算：

• 总均值：
  $$\mu =\frac{1+2+3+4+5+6+7+8}{8}=4.5$$
• 总方差：
  $${\sigma }^2=\frac{(1-4.5{)}^2+\cdots +(8-4.5{)}^2}{8}=5.25$$
• 归一化：
  $$Y=\frac{X-4.5}{\sqrt{5.25+ϵ}}$$

---

4. 主要区别

归一化方法	计算均值/方差的范围	归一化的单位	适用场景
Instance Normalization (IN)	每个通道 (H×W) 计算均值和方差	每个通道独立归一化	风格迁移、GAN、计算机视觉任务
Layer Normalization (LN)	整个样本 (C×H×W) 计算均值和方差	所有通道一起归一化	NLP、Transformer、RNN/CNN 任务

---

5. 总结

• IN 适用于图像任务（如风格迁移），可以帮助去除特定风格信息。
• LN 适用于 NLP 和 CNN 任务，因为它不会受到 batch size 影响，在 Transformer 和 RNN 里表现更稳定。

希望这篇文章能帮助你理解 Instance Normalization 和 Layer Normalization 的核心概念及其不同应用！🎯