如何用Python从零构建神经网络：nn-from-scratch实战教程

【免费下载链接】nn-from-scratch Implementing a Neural Network from Scratch 项目地址: https://gitcode.com/gh_mirrors/nn/nn-from-scratch

nn-from-scratch是一个专注于帮助开发者理解神经网络底层原理的开源项目，通过纯Python代码从零实现神经网络的核心功能。本教程将带你快速掌握神经网络的基本概念和实现方法，无需深厚的数学背景也能轻松入门。

📋 准备工作：环境搭建

在开始构建神经网络之前，我们需要准备好必要的开发环境。项目依赖的主要Python库已在requirements.txt中列出，包括：

• numpy：用于数值计算和矩阵操作
• matplotlib：用于数据可视化
• scikit-learn：提供基础的数据集和评估工具

一键安装步骤

git clone https://gitcode.com/gh_mirrors/nn/nn-from-scratch
cd nn-from-scratch
pip install -r requirements.txt

🧠 神经网络基础：核心概念解析

神经网络是由多层神经元组成的计算模型，主要包括输入层、隐藏层和输出层。以下是一个典型的3层神经网络结构：

3层神经网络结构示意图

神经网络的基本组成部分

• 输入层：接收原始数据，如图中的Input 1和Input 2
• 隐藏层：进行特征提取和转换，图中蓝色节点组成的层级
• 输出层：产生最终结果，如图中的Output 1和Output 2
• 权重：连接各层神经元的参数，决定信号传递的强度

🔨 从零实现：构建你的第一个神经网络

1. 数据准备与可视化

我们使用sklearn生成的 moons 数据集来演示分类任务。这个数据集包含两个交错的半月亮形状，非常适合展示神经网络的分类能力：

# 代码片段来自[simple_classification.py](https://link.gitcode.com/i/cde3584414f4c3760e1e72b73a083e66)
def generate_data():
    np.random.seed(0)
    X, y = datasets.make_moons(200, noise=0.20)
    return X, y

2. 神经网络核心实现

项目的核心代码在nn_from_scratch.py中，主要包含以下关键函数：

前向传播

前向传播是数据从输入层流向输出层的过程，通过矩阵运算实现：

z1 = X.dot(W1) + b1  # 输入层到隐藏层
a1 = np.tanh(z1)     # 激活函数
z2 = a1.dot(W2) + b2 # 隐藏层到输出层

反向传播

反向传播用于计算梯度并更新权重，是神经网络学习的核心：

delta3 = probs
delta3[range(num_examples), y] -= 1
dW2 = (a1.T).dot(delta3)
db2 = np.sum(delta3, axis=0, keepdims=True)
delta2 = delta3.dot(W2.T) * (1 - np.power(a1, 2))
dW1 = np.dot(X.T, delta2)
db1 = np.sum(delta2, axis=0)

3. 模型训练与评估

使用梯度下降算法训练模型：

model = build_model(3, print_loss=True)  # 构建具有3个隐藏层节点的模型

训练完成后，我们可以通过决策边界可视化来评估模型性能：

plot_decision_boundary(lambda x: predict(model, x))
plt.title("Decision Boundary for hidden layer size 3")

📊 实验与结果分析

项目提供了不同隐藏层大小对模型性能影响的对比实验。通过运行nn_from_scratch.py，你可以看到隐藏层节点数从1到50变化时，决策边界的变化情况：

• 隐藏层节点数较少（如1-2个）：模型欠拟合，无法捕捉数据的复杂模式
• 隐藏层节点数适中（如3-5个）：模型能够较好地拟合数据
• 隐藏层节点数过多（如50个）：可能导致过拟合，但在本实验中仍表现良好

🚀 进阶学习建议

1. 调整超参数：尝试修改学习率(epsilon)和正则化强度(reg_lambda)，观察对模型性能的影响
2. 更换激活函数：将tanh替换为ReLU、sigmoid等其他激活函数
3. 增加网络深度：尝试构建具有多个隐藏层的深度神经网络
4. 使用不同数据集：修改simple_classification.py中的数据生成部分，测试模型在其他数据集上的表现

🎯 总结

通过nn-from-scratch项目，我们从零构建了一个完整的神经网络，并实现了二分类任务。这个过程帮助我们深入理解了神经网络的工作原理，包括前向传播、反向传播和梯度下降等核心概念。

神经网络是机器学习和深度学习的基础，掌握这些底层实现将为你学习更复杂的模型（如CNN、RNN）打下坚实的基础。现在，你已经具备了从零开始构建神经网络的基本能力，快去尝试扩展和改进这个项目吧！

【免费下载链接】nn-from-scratch Implementing a Neural Network from Scratch 项目地址: https://gitcode.com/gh_mirrors/nn/nn-from-scratch