一、感知机是什么？

感知机接收多个输入信号，输出一个信号。这里所说的“信号”可以想象成电流或河流那样具备“流动性”的东西。像电流流过导线，向前方输送电子一样，感知机的信号也会形成流，向前方输送信息。但是，和实际的电流不同的是，感知机的信号只有“流/不流”（1/0）两种取值。0对应“de不传递信号”，1对应“传递信号”。

下图是一个接收两个输入信号的感知机的例子，x1,x2是输入信号，y是输出信号，w1、w2是权重（w是weight的首字母）。图中的o称为“神经元”或“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1、x1、w2、x2）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1.这也称为“神经元被激活”。这里将这个界限值称为阙值，，用符号表示。

感知机的运行原理只有这些！把上述内容用数学式来表示，就是下面的公式：

感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的重要性的作用。也就是说，权重越大，对应该权重的信号的重要性就越高。

二、简单逻辑电路

1.与门

现在让我们考虑用感知机来解决简单的问题。这里首先以逻辑电路为题材来思考一下与门（AND gate）。与门是有两个输入和两个输出的门电路。下图这种输入信号和输出信号的对应表称为“真值表”。下图所示，与门仅在两个输入均为1时输出1，其他时候则输出0。

 

 

下面考虑用感知机来表示这个与门。需要做的就是确定能满足与门的真值表的w1、w2、的值。那么，设定什么样的值才能制作出满足上图的条件的感知机呢？

实际上，满足上图的条件的参数的选择方法有无数多个。比如，当（w1，w2，）=（0.5，0.5，0.7）时，可以满足上图的条件。此外，当（w1,w2,）为（0.5，0.5，0.8）或者（1.0，1.0，1.0）时，同样也满足与门的条件。设定这样的参数后，仅当x1和x2同时为1时，信号的加权总和才会超过给定的阙值。

2.与非门

与非门（NAND gate）。NAND是Not AND的意思，与非门就是颠倒了与门的输出。用真值表表示的话，如下图所示，仅当x1和x2同时为1时输出0，其他时候则输出1.那么与非门的参数又可以是什么样的组合呢？

上图是“与非门的真值表”，要表示与非门，可以用（w1,w2,)=(-0.5,-0.5,-0.7)这样的组合（其他的组合也是无限存在的）。实际上，只要把实现与门的参数值的符号 取反，就可以实现与非门。

3.或门

接下来看下图所示的或门。或门是“只要又一个输入信号是1，输出就为1”的逻辑电路。那么我们来思考一下，应该为这个或门设定什么样的参数呢？

这里决定感知机参数的并不是计算机。而是我们人。我们看着真值表这种“训练数据”，人工考虑了参数的值。而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行。学习是确定合适的参数的过程，而人要做的是思考感知机的构造（模型），并把训练数据交给计算机。

如上所示，我们已经知道使用感知机可以表示与门、与非门、或门的逻辑电路。这里重要的一点是：与门、与非门、或门的感知机构造是一样的。实际上，3个门电路只有参数的值（权重和阙值）不同。也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以像“变色龙演员”表演不同的角色一样，变身为与门、与非门、或门。

4.感知机的实现

简单的实现

def AND(x1,x2):
    w1,w2,theta=0.5,0.5,0.7
    tmp=x1*w1+x2*w2
    if tmp<=theta:
        return 0
    elif tmp>theta:
        return 1

在函数内初始化参数w1、w2、theta，当输入的加权总和超过阙值时返回1，否则返回0

 AND(0, 0) # 输出0
 AND(1, 0) # 输出0
 AND(0, 1) # 输出0
 AND(1, 1) # 输出

•  导入权重和偏置

刚才的与门实现比较直接、容易理解，但是考虑到以后的事情，我们将其修改为另外一种实现形式。

上式中b称为偏置， w1和w2称为权重。如上式所示，感知机会计算输入信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1，否则输出0.下面我们使用Numpy,按上式的方式实现感知机。

>>> import numpy as np
>>> x = np.array([0, 1])    # 输⼊
>>> w = np.array([0.5, 0.5]) # 权重
>>> b = -0.7                # 偏置
>>> w*x
array([ 0. , 0.5])
>>> np.sum(w*x)
0.5
>>> np.sum(w*x) + b-0.19999999999999996  
# ⼤约为-0.2（由浮点⼩数造成的运算误差）

• 使用权重和偏置的实现 

使用权重和偏置，可以像下面这样实现与门。

def AND(x1,x2):
    x=np.array([x1,x2])
    w=np.array([0.5,0.5])
    b=-0.7
    tmp=np.sum(w*x)+b
    if tmp<=0:
        return 0
    else:
        return 1

 这里把-θ命名为偏置b，但是请注意，偏置和权重w1、w2的作用是不一样的。具体地说，w1和w2是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度（输出信号为1的程度）的参数。比如，若b为-0.1，则只要输入信号的加权总和超过0.1，神经元就会被激活。但是如果b为-20.0，则输入信号的加权总和必须超过20，神经元才会被激活。像这样，偏置的值决定了神经元被激活的容易程度。另外，这里我将w1和w2称为权重，将b称为偏置,但是根据上下文，有时也会将b、w1、w2这些参数统称为权重。

def NAND(x1,x2):
    x=np.array([x1,x2])
    w=np.array([-0.5,-0.5])    # 仅权重和偏置与AND不同！
    b=0.7
    tmp=np.sum(w*x)+b
    if temp<=0:
        return 0
    else:
        return 1

def OR(x1,x2):
    x=np.array([x1,x2])
    w=np.array([0.5,0.5])    # 仅权重和偏置与AND不同！
    b=-0.2
    tmp=np.sum(w*x)+b
    if tmp<=0:
        return 0
    else:
        return 1

5.异或门 

异或门也称为逻辑异或电路。如下图所示，仅当x1或x2中的一方为1时，才会输出1（“异或”是拒绝其他的意思）。那么，要用感知机实现这个异或门的话，应该设定什么样的权重参数呢？

实际上，用前面介绍的感知机是无法实现这个异或门的。为什么用感知机可以实现与门、或门，却无法实现异或门呢？下面我们尝试通过画图来思考其中的原因。

首先，我们试着将或门的动作形象化。或门的情况下，当权重参数（b,w1,w2)=(-0.5,1,1)时，可以满足或门的真值表条件。此时，感知机可用下面的公式表示

 

上式表示的感知机会生成由直线-0.5+x1+x2=0分割开的两个空间。其中一个空间输出1，另一个空间输出0，如下图所示：

 

图1 感知机的可视化：灰色区域是感知机输出0的区域，这个区域与或门的性质一致

或门在（x1,x2)=(0,0)时输出0，在（x1,x2)为（0，1）、（1，0）、（1，1）时输出1.图1中，o表示0，△表示1。如果像制作或门，需要用直线将图1中的o和△分开。实际上，刚才的那条直线就将这4个点正确地分开了。

那么，换成异或门的话会如何呢？能否像或门那样，用一条之间做出分割图2中的o和△的空间呢？

图2 o和△表示异或门的输出。可否通过一条直线做出分割o和△的空间呢？

想要用一条直线将图2中的o和△分开，无论如何都做不到。事实上，用一条直线时无法将o和△分开的。

• 线性和非线性

图2中的o和△无法用一条直线分开，但是如果将“直线”这个限制条件去掉，就可以实现了。比如，我们可以像图3那样，做出分开o和△的空间。

图3 使用曲线可以分开o和△

感知机的局限性就在于它只能表示由一条直线分割的空间。图3这样弯曲的曲线无法使用感知机表示。另外，由图3这样的曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间。

三、多层感知机

感知机不能表示异或门让人深感遗憾，但也无需悲观。实际上，感知机的绝妙之处在于它可以“叠加层”（通过叠加层来表示异或门）。

• 已有门电路的组合

 

异或门的制作方法有很多，其中之一就是组合我们前面做好的与门、与非门、或门进行配置。这里，与门、与非门、或门用图4中的符号表示。另外，图4中与非门前端的o表示反转输出的意思。

图4 与门、与非门、或门的符号

异或门可以通过图5所示的配置来实现。这里，x1和x2表示输入信号，y表示输出信号。x1和x2时与非门和或门的输入，而与非门和或门的输出则时与门的输入。

图5 通过组合与门、与非门、或门实现异或门

图5，把s1作为与非门的输出，把s2作为或门的输出，填入真值表中。结果如图6所示，观察x1/x2/y，可以发现确实符号异或门的输出。

图6 异或门的真值表

异或门的实现 ：

def XOR(x1,x2)
    s1=NAND(x1,x2)
    s2=OR(x1,x2)
    y=AND(s1,s2)
    return y

这个XOR函数会输出预期的结果。

XOR(0, 0) # 输出0
XOR(1, 0) # 输出1
XOR(0, 1) # 输出1
XOR(1, 1) # 输出0

这样，异或门的实现就完成了。下面我们试着用感知机的表示方法（明确地显示神经元）来表示这个异或门，结果如图7所示。

图7 用感知机表示异或门

如图7所示，异或门是一种多层结构的神经网络。这里，将最左边的一列称为第0层，中间的一列称为第1层，最右边的一列称为第2层。

图7所示的感知机与前面介绍的与门、或门的感知机形状不同。实际上，与门、或门是单层感知机，而异或门是2层感知机。叠加了多层的感知机也称为多层感知机（multi-layered perceptron）。

在图7所示的2层感知机中，先在第0层和第1层的神经元之间进行信号的传送和接收，然后再第1层和第2层之间进行信号的传送和接收，具体如下所示。

1、第0层的两个神经元接收输入信号，并将信号发送至第1层的神经元。

2、第1层的神经元将信号发送至第2层的神经元，第2层的神经元输出y.

这种2层感知机的运行过程可以比作流水线的组装作用。第1段（第1层）的工人对传送过来的零件进行加工，完成后再传送给第2段（第2层）的工人。第2层的工人对第1层的工人传过来的零件进行加工，完成这个零件后出货（输出）。

像这样，在异或门的感知机中，工人之间不断进行零件的传送。通过这样的结构（2层结构），感知机得以实现异或门。这可以解释为“单层感知机无法表示的东西，通过增加一层就可以解决”。也就是说，通过叠加层（加深层），感知机能进行更加灵活的表示。