第一章：多元神经网络

今天呢，是第一章的笔记，主要讲述的是神经网络和人类大脑的关系，上一节课我们了解到神经元是什么？大家可以回忆一下，上节课讲述的神经元的概念，

看看大家想对了嘛？没错就是一个普普通通的线性函数关系：
$$\hat{y}=b+wx$$
那么多个神经元怎么用这种线性关系表示呢？这样不就好了？
$$\hat{y}=b+\sum _j{w}_j{x}_j$$

但是呢，经过观察我们发现，这样串联的方式构建起来的多元神经网络本质上跟一元神经网络并没有本质上的区别，通过高中生物我们学过突触这个概念，举个例子，我们为什么爱刷短视频的原因就在于不断的数据流的冲击会让我们释放出大量的多巴胺，让我们一直保持兴奋的状态，大概就是这个问题，那么针对我们深度学习来说，怎么去表示并实现这个功能呢？

**激活函数**：我们上述讨论的内容就可以使用激活函数来进行表示，有两种状态分别是抑制状态和激活状态。

激活状态有很多种，我们当前只讲两种最主要也是最最常用的激活函数：sigmoid和relu。

我们讲了这么多，激活函数和非线性因素之间是什么关系呢？

• 没有激活函数，无论网络多么复杂，最后的输出都是输入的线性组合，而纯粹的线性组合不足以解决一些复杂的问题。
• 引入激活函数之后呢，就相当于引入了非线性元素，使得神经网络可以逼近非线性函数，使得适用性会变得更加强一些。

激活函数最重要的特性：能求导

下面是激活函数的位置（神经网络本身就是矩阵运算）：

多元神经网络深度学习的训练过程：

1. 定义一个函数。
2. 定义一个合适的损失函数。
3. 根据损失，对模型进行优化。

梯度下降法：导数在某个点最快的下降速度就是梯度。

然后我们来介绍一下过拟合和欠拟合

很明显，过拟合表示最后拟合出来的结果不是能够很有说服力，相反欠拟合表示出来的结果就是有些太精确了，平滑度不够，我们理想的图像是一个平缓的模型，这也不太符合。

神经网络透析

• 架构设计

函数的结构 = 模型的架构，凭借个人经验来选择模型

• 神经网络可以完成复杂的任务，但是回归到简单的问题可能表现不太好