上式中，将输入、即参数带入，形式上可以写为：
（4）

2.1、sigmoid 原理

仅从数学公式上看，sigmoid<script type="math/tex" id="MathJax-Element-18">sigmoid</script> 神经元和感知器很不同。事实上，感知器和Sigmoid<script type="math/tex" id="MathJax-Element-19">Sigmoid</script> 神经元之间有许多相似之处。

为了更详细地了解感知器模型，假设 z≡w⋅x+b<script type="math/tex" id="MathJax-Element-20">z≡w⋅x+b</script> 为一个极大的正数。 那么 e−z≈0<script type="math/tex" id="MathJax-Element-21">e^{-z}≈0</script> ，则 σ(z)≈1<script type="math/tex" id="MathJax-Element-22">σ(z)≈1</script>。换句话说，也就是当 z≡w⋅x+b<script type="math/tex" id="MathJax-Element-23">z≡w⋅x+b</script> 为一个很大的正数，sigmoid 神经元的输出近似的为 1<script type="math/tex" id="MathJax-Element-24">1</script> ； 如果z≡w⋅x+b<script type="math/tex" id="MathJax-Element-25">z≡w⋅x+b</script> 为极小的负数，那么 e−z→∞,<script type="math/tex" id="MathJax-Element-26"> e^{−z}→∞, </script> 即 σ(z)≈0<script type="math/tex" id="MathJax-Element-27">σ(z)≈0</script>。

sigmoid<script type="math/tex" id="MathJax-Element-28">sigmoid</script> function:<script type="math/tex" id="MathJax-Element-29">function:</script>

smoothed<script type="math/tex" id="MathJax-Element-30"> smoothed</script> step<script type="math/tex" id="MathJax-Element-31">step</script> function:<script type="math/tex" id="MathJax-Element-32">function:</script>

2.2、Sigmoid function

假如σ<script type="math/tex" id="MathJax-Element-33"> σ </script> 的表现形式为 阶跃函数（step<script type="math/tex" id="MathJax-Element-34">step</script> function<script type="math/tex" id="MathJax-Element-35">function</script>） ，那么sigmoid<script type="math/tex" id="MathJax-Element-36">sigmoid</script> 就是个普通的感知器 ，根据 w⋅x+b<script type="math/tex" id="MathJax-Element-37">w⋅x+b</script> 为正还是负，决定输出为 0 or 1 。但实际上，sigmoid<script type="math/tex" id="MathJax-Element-38">sigmoid</script> 神经元工作方式为：平滑的 σ<script type="math/tex" id="MathJax-Element-39">σ</script> 函数表明，权重 Δwj<script type="math/tex" id="MathJax-Element-40">Δw_{j}</script> 和 偏置 Δb<script type="math/tex" id="MathJax-Element-41">Δb</script> 细微的改变，输出 Δoutput<script type="math/tex" id="MathJax-Element-42">Δoutput</script> 也只产生细微的变化。因而，Δoutput<script type="math/tex" id="MathJax-Element-43">Δoutput</script> 可以近似的表示为：

(5)

这里 Δoutput<script type="math/tex" id="MathJax-Element-44">Δoutput</script> 是一个有关于权重（weights<script type="math/tex" id="MathJax-Element-45">weights</script>）变化量 Δwj<script type="math/tex" id="MathJax-Element-46"> Δw_{j} </script> 和偏置（bias<script type="math/tex" id="MathJax-Element-47">bias</script>）变化量Δb<script type="math/tex" id="MathJax-Element-48">Δb</script> 的线性函数。这种线性函数更有利于网络对 weights<script type="math/tex" id="MathJax-Element-49">weights</script> 与 bias<script type="math/tex" id="MathJax-Element-50">bias</script> 进行微调，以至于感知器可以尽可能地学习到“想要”的规则。/font>

3 总结

我们该如何去阐述 sigmoid<script type="math/tex" id="MathJax-Element-51">sigmoid</script> 神经元的输出，很明显，与感知器所不同的是，sigmoid<script type="math/tex" id="MathJax-Element-52">sigmoid</script> 神经元的输出不只局限在 0 or 1 。它的输出可以是 0 到 1 之间的任意数值，如 0.124…，0.864…。这样的改变，将对整个神经网络产生质的变化。

代码实现：

class Network(object):

    def __init__(self, sizes):
        self.num_layers = len(sizes)
        self.sizes = sizes
        self.biases = [np.random.randn(y, 1) for y in sizes[1:]]
        self.weights = [np.random.randn(y, x) 
                        for x, y in zip(sizes[:-1], sizes[1:])]
    def sigmoid(z):
        """
        sigmoid 函数实现
        """
        return 1.0/(1.0+np.exp(-z))