MEDIUM_NoteBook神经网络校准与不确定性：贝叶斯方法与多样本Dropout

【免费下载链接】MEDIUM_NoteBook Repository containing notebooks of my posts on Medium 项目地址: https://gitcode.com/gh_mirrors/me/MEDIUM_NoteBook

在机器学习和深度学习领域，神经网络的预测可靠性至关重要。MEDIUM_NoteBook项目提供了丰富的实践案例，帮助开发者掌握神经网络校准与不确定性估计的核心技术。本文将深入探讨贝叶斯方法与多样本Dropout在提升模型可靠性中的应用，通过具体代码示例和可视化结果，展示如何有效量化预测不确定性并优化模型校准性能。

神经网络校准：从理论到实践

神经网络校准是指模型预测概率与实际准确率之间的一致性。一个校准良好的模型能够提供可靠的置信度估计，这在医疗诊断、自动驾驶等关键领域尤为重要。

校准问题的直观理解

当模型预测某样本属于A类的概率为90%时，理想情况下，该预测在100次中应有90次正确。若实际准确率显著偏离预测概率（如仅70%正确），则模型存在校准偏差。这种偏差会导致决策风险，例如过度依赖高置信度但错误的预测。

温度缩放：简单有效的校准方法

温度缩放（Temperature Scaling）是一种常用的后处理校准技术，通过调整softmax函数的温度参数来修正预测概率分布。以下是实现温度缩放的核心代码：

def fit_TemperatureCalibration(train_X_y, valid_X_y=None, epochs=100):
    T = tf.Variable(tf.ones(shape=(1,)))  # 温度参数
    optimizer = Adam(learning_rate=0.001)
    
    def cost(T, x, y):
        scaled_logits = x / T  # 缩放logits
        return tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=scaled_logits, labels=y))
    
    # 训练温度参数
    for epoch in range(epochs):
        train_cost, grads = grad(T, X_train, y_train)
        optimizer.apply_gradients(zip([grads], [T]))
    
    return T.numpy()[0]

# 应用温度缩放
temperature = fit_TemperatureCalibration((X_train_calib, y_train_calib))
calibrated_probs = tf.nn.softmax(X_test_logits / temperature).numpy()

校准效果可视化

通过可靠性图（Reliability Diagram）可直观评估校准效果。下图对比了校准前后的模型性能，校准后的预测概率（蓝色）更接近理想对角线：

校准指标提升：温度缩放后，预期校准误差（ECE）从0.0289降至0.0192，显著提升了模型的置信度可靠性。

贝叶斯神经网络：量化不确定性的概率框架

传统神经网络输出单点预测，而贝叶斯神经网络（BNN）将权重视为随机变量，通过概率分布描述预测不确定性。这种方法能够区分认知不确定性（模型知识不足）和偶然不确定性（数据固有噪声）。

BNN的核心思想

BNN通过在权重上设置先验分布（如高斯分布），并通过后验推断更新分布。实际应用中，常采用变分推断或MCMC采样近似后验分布。以下是一个简单的贝叶斯全连接层实现：

def bayesian_dense(inputs, units, name=None):
    # 权重先验：均值为0，标准差为1的高斯分布
    kernel_prior = tfpl.OneHotCategorical(params_size=units)
    bias_prior = tfpl.OneHotCategorical(params_size=units)
    
    # 变分后验
    kernel_posterior = tfpl.OneHotCategorical(params_size=units)
    bias_posterior = tfpl.OneHotCategorical(params_size=units)
    
    return tfpl.DenseVariational(
        units=units,
        make_prior_fn=lambda _: kernel_prior,
        make_posterior_fn=lambda _: kernel_posterior,
        activation='relu',
        name=name
    )(inputs)

不确定性可视化

贝叶斯模型通过多次前向传播生成预测分布。以下代码展示如何生成预测区间：

# 生成100次采样预测
predictions = [model(X_test) for _ in range(100)]
pred_mean = np.mean(predictions, axis=0)
pred_std = np.std(predictions, axis=0)

# 绘制95%置信区间
plt.fill_between(x_test, pred_mean - 2*pred_std, pred_mean + 2*pred_std, alpha=0.3)
plt.plot(x_test, pred_mean, label='预测均值')

多样本Dropout：不确定性估计的实用工具

多样本Dropout（Multi-Sample Dropout）通过在推理阶段多次启用Dropout，生成多个预测样本，从而近似模型不确定性。这种方法计算高效，无需修改网络结构。

多样本Dropout的实现

在模型定义中，通过在全连接层后添加多个Dropout分支，并对输出取平均：

def get_model(num_samples=3):
    inp = Input(shape=(max_len,))
    x = Embedding(vocab_size, 64)(inp)
    x = GRU(128, return_sequences=True)(x)
    out = GRU(32)(x)
    
    # 多样本Dropout分支
    outputs = []
    for _ in range(num_samples):
        x = Dropout(0.3)(out)  # 不同Dropout掩码
        x = Dense(32, activation='relu')(x)
        outputs.append(Dense(2, activation='softmax')(x))
    
    # 平均输出
    out = Average()(outputs)
    model = Model(inp, out)
    return model

应用案例：文本分类不确定性

在 sarcasm headlines 分类任务中，多样本Dropout模型在测试集上达到85%准确率，同时通过预测熵量化不确定性。高熵样本（如模糊文本）可标记为需要人工审核：

# 计算预测熵（不确定性指标）
pred_probs = model.predict(test_sequences)
entropy = -np.sum(pred_probs * np.log(pred_probs), axis=1)
high_uncertainty_idx = np.argsort(entropy)[-10:]  # 取不确定性最高的10个样本

项目实践：关键代码与可视化工具

数据预处理与模型训练

以汽车质量预测任务（NeuralNet_Calibration.ipynb）为例，关键步骤包括：

1. 数据加载与清洗：处理缺失值和类别特征

   df = pd.read_csv('car_lemon.csv.zip')
   df['VehYear'] = 2023 - df['VehYear']  # 计算车龄
   

2. 模型构建：嵌入层处理类别特征，全连接层提取特征

   model = get_model(cat_features, emb_dim=8)
   model.compile(optimizer='adam', loss='categorical_crossentropy')
   

3. 校准与评估：使用验证集优化温度参数，绘制可靠性图

可视化工具

项目提供的可视化函数帮助直观分析模型性能：

• plot_confusion_matrix：混淆矩阵热力图
• calibration_curve：可靠性曲线绘制
• ece_score：计算预期校准误差

总结与扩展

MEDIUM_NoteBook通过实例展示了神经网络校准与不确定性估计的核心技术：

• 温度缩放：简单高效的后处理校准方法
• 贝叶斯方法：从概率角度建模不确定性
• 多样本Dropout：实用的不确定性近似工具

这些技术可广泛应用于医疗诊断、金融风控等领域，提升模型决策的可靠性。项目源码位于NeuralNet_Calibration/NeuralNet_Calibration.ipynb和Multi_Sample_Dropout/Multi_Sample_Dropout.ipynb，欢迎进一步探索和扩展。

通过结合校准与不确定性量化，开发者可以构建更健壮的AI系统，为关键决策提供可靠支持。

【免费下载链接】MEDIUM_NoteBook Repository containing notebooks of my posts on Medium 项目地址: https://gitcode.com/gh_mirrors/me/MEDIUM_NoteBook