🔥 Google机器学习(22)-L2正则化技术解析

Google机器学习(22)-L2正则化技术解析（约10分钟）

---

一、正则化方法全景

四大正则化技术

L2正则化核心公式

$$最终损失=原始损失+\lambda \times \sum w_i^2$$
λ：正则化率，控制惩罚强度

二、L2正则化机制

权重分布特性

• 使权重接近0但不等于0

• 形成高斯分布（钟形曲线）

• 有效抑制离群值权重

λ值影响可视化

三、参数调优实践

1. λ值选择策略

推荐范围：

10⁻⁶ 到 10³

调参步骤：

• 创建对数尺度搜索空间（如0.001, 0.01, 0.1, 1）

• 通过交叉验证选择最佳λ

• 监控训练/验证损失曲线

2. 学习率协同调整

黄金法则：

• 高λ需配合低学习率

• 早停法会影响正则化效果

• 固定训练轮次消除混淆

3. Python代码示例

from sklearn.linear_model import Ridge

# 创建L2正则化模型
model = Ridge(alpha=0.5)  # alpha即λ参数
model.fit(X_train, y_train)

# 查看权重分布
print(f"最大权重: {np.max(model.coef_):.4f}")
print(f"最小权重: {np.min(model.coef_):.4f}")

四、L2正则化优势场景

典型应用案例

场景	效果	建议λ
图像识别	抑制噪声权重	0.1-1.0
金融预测	稳定数值特征	0.01-0.1
文本分类	平衡词频影响	1.0-10

参数说明

• 建议λ范围根据实际数据分布可调整
• 金融预测建议使用较小λ值避免过平滑
• 文本分类通常需要较大λ值平衡高频词影响1,3

与L1的对比选择

五、最佳实践指南

✅ 实施 checklist：

• 所有特征标准化后再应用L2

• 初始λ设为0.01

• 使用验证集评估效果

• 检查权重直方图分布

⚠️ 常见陷阱：

• 同时调整学习率和λ导致混淆

• λ过大导致重要特征被过度压制

• 忽略特征尺度差异

---

# 技术问答 #

Q：为什么L2又叫"权重衰减"？

A：因其使权重在训练过程中不断指数衰减

Q：深度学习中也用L2吗？

A：是的，常作为默认正则化方法(weight_decay参数)

Q：如何判断λ是否合适？

A：当验证集误差达到最低点时