第七章：脉冲神经网络无监督学习 — 知识点笔记

综合来源：课件7（PDF，77页）、课堂笔记（CSDN）、期末复习课录音

---

占位图

超级压缩

​
第七章

(我讲课用 不用抄)
五种Hebb规则变体(下两表必须抄写在同一页相邻处！)

请注意，这里是变化量，不是值

发放频率越大，权重变化量越大

常量C(wij)定义为一个函数

(是否更新)只有当门激活时，才会发生权重更新。
(更新多少)由(vi-vθ)决定

（6）突触前门控BCM推广
Vi拔：动态变化的阈值（输出频率滑动平均值）

Hebb规则三大特性
①协同(前后同活跃)②有界③竞争(此消彼长 归一化不变)

20神经元，按10个分两组。一组发放时另一组不发放。阈值一开始θ=20Hz
（a）（b）题采用固定阈值前门控，（c）题采用BCM动态阈值。
（a）问组1(10个)按3Hz发放，再让组2(10个)按1Hz发放，再让组1(10个)按3Hz发放。
（b）问组1(10个)按3Hz发放，再让组2(10个)按2.5Hz发放，再让组1(10个)按3Hz发放。
（c）问和b一样，但是θ采用平均发放率（BCM规则）。

会发生什么？

（a）一开始30Hz，发放。然后10Hz，不发放。最后30Hz，发放。
（b）一开始30Hz，发放。然后25Hz，发放。最后30Hz，发放。
（c）一开始30Hz，发放，θ升为近30Hz。然后25Hz，可能发放，θ降低小于30Hz。最后30Hz，发放。

另AI说，一定会使θ稳定后才会切换到下一组去发放。且前两组也应使用BCM规则。

STDP
Hebb基于频率→忽略精确时序
STDP证明突触效能改变方向和幅度与精确时序相关

两大核心原则
时间因果性：前后强 后前弱
时间窗口：变化幅度随时间窗口增大而指数衰减

其中
，Δt越小Δw越大。

权重依赖STDP

在线STDP(多脉冲计算Δt代价高)
方案：引入迹记录脉冲活动累积效应

无论是pre还是post只要前到达或者后发放了都会更新突触权重。

权重增加条件：突触后神经元发放脉冲（触发事件）。此时要看突触前有没有刚发过脉冲（也就是看 xj 的值大不大）。

权重减小条件：突触前神经元发放脉冲（触发事件）。此时要看突触后有没有刚发过脉冲（也就是看 yi 的值大不大）。

STDP特点：
①快速响应:后神经元发放越来越早
②时间精度：高精度脉冲->STP 低->STD 降低噪声，提高时间精度

​

7.1 无监督学习概述

定义

• 无需外部教师信号指导，通过观察和探索自主提取环境中的模式和规律
• 减少对外部资源依赖，在资源效率和演化适应中发挥重要作用
• SNN无监督学习主要依赖于突触可塑性机制，具有良好的生物可解释性

监督学习 vs 无监督学习

	监督学习	无监督学习
标签	需要	不需要
驱动信号	实际与期望输出的误差	突触可塑性（数据内在结构）
生物合理性	低（BP非生物机制）	高

---

7.2 Hebb学习规则 ⭐⭐

核心思想

“一起发放的细胞会连接在一起。”
任何两个同时以及重复处于活跃状态的细胞会趋向于形成"关联"。

频率模型基础

• 神经元i的活动由发放频率 $v_i$ 描述
• $v_i=g(u_i)$，$g$为非线性单调递增函数
• 膜电位 $u_i={\sum }_j{w}_{ij}{v}_j$
• 局部性：权重变化仅依赖前后神经元状态 $\frac{d{w}_{ij}}{dt}=F(w_{ij};v_i,v_j)$

五种Hebb规则变体 ⭐⭐

规则	公式	特点
(1) 标准Hebb	$\frac{d{w}_{ij}}{dt}=c(w_{ij})v_i{v}_j$	仅协同性，权重会无限增长
(2) 基于衰减的Hebb	$\frac{d{w}_{ij}}{dt}=\gamma (1-w_{ij})v_i{v}_j-{\gamma }_0{w}_{ij}$	无刺激时衰减→软边界
(3) 突触前门控	$\frac{d{w}_{ij}}{dt}=\gamma (v_i-v_{\theta })v_j$	仅当前神经元活跃时更新
(4) 突触后门控	$\frac{d{w}_{ij}}{dt}=\gamma v_i(v_j-v_{\theta })$	仅当后神经元活跃时更新
(5) 协变规则	$\frac{d{w}_{ij}}{dt}=\gamma (v_i-{\bar{v}}_i)(v_j-{\bar{v}}_j)$	考虑偏离均值，非仅强度

五种规则下权重变化总览

后活动$v_i$	前活动$v_j$	标准	衰减	前门控	后门控	协变
ON	ON	+	+	+	+	+
ON	OFF	0	−	0	−	−
OFF	ON	0	−	−	0	−
OFF	OFF	0	−	0	0	+

Hebb规则三大特性

特性	含义
(1) 协同性	前后神经元必须同时活跃才发生权重变化
(2) 有界性	权重需在[0, $w_{max}$]范围；软边界($w_{max}-w_{ij}$) / 硬边界(Heaviside)
(3) 竞争性	某些权值增强→其余减少；归一化保持总和不变

BCM规则（突触前门控推广）

$$\frac{d{w}_{ij}}{dt}=\eta \Phi (v_i-{\bar{v}}_i)v_j$$

• ${\bar{v}}_i$：动态变化的阈值（输出频率滑动平均值）
• 使每个神经元响应一类输入→感受野的形成

---

7.3 STDP学习规则 ⭐⭐⭐

从Hebb到STDP

• Hebb基于频率→忽略精确时序
• STDP：突触效能改变方向和幅度与脉冲精确时序密切相关
• 1998年毕国强和蒲慕明通过实验验证STDP的存在

核心发现

• 前脉冲在后脉冲前20ms内反复激活→LTP
• 前脉冲在后脉冲后20ms内反复激活→LTD

两大核心原则

(1) 时间因果性：前后脉冲的先后顺序决定增强/减弱

• $t_{pre}<t_{post}$（前→后）→ LTP
• $t_{pre}>t_{post}$（后→前）→ LTD

(2) 时间窗口：突触变化幅度随|Δt|增大而指数衰减

STDP数学公式 ⭐ 计算

$$\Delta w=W(\Delta t)=\{\begin{array}{ll}{A}_{+}\exp (\Delta t/{\tau }_{+})& \Delta t>0\\ -A_{-}\exp (\Delta t/{\tau }_{-})& \Delta t<0\end{array}$$

其中 $\Delta t=t_{post}-t_{pre}$

• $A_{+},A_{-}$：突触变化最大幅度
• ${\tau }_{+},{\tau }_{-}$：时间常数（~20ms）
• $\Delta t$越小 → |Δw|越大

【图片：STDP时间窗口曲线（双指数）— 课件7 第36页】

权重依赖STDP

边界类型	机制	公式
硬边界	达边界停止	$A_{+}(w)=\Theta (w_{max}-w){\eta }_{+}$
软边界	渐近趋近	$A_{+}(w)=(w_{max}-w){\eta }_{+}$

• 硬边界→可能饱和；软边界→平滑收敛

在线STDP ⭐

问题：多脉冲场景下逐对计算Δt代价高

方案：引入**迹（Trace）**记录脉冲活动累积效应

迹的动力学：
$${\tau }_{+}\frac{d{x}_j}{dt}=-x_j+\delta (t-t_j^{pre})$$
$${\tau }_{-}\frac{d{y}_i}{dt}=-y_i+\delta (t-t_i^{post})$$

• 脉冲到来→迹+1→指数衰减
• 更新：$\Delta w=A_{+}{x}_j(t_i^{post})-A_{-}{y}_i(t_j^{pre})$
• 等价于原始逐对计算的STDP

三元STDP

• 每个突触维护：1个前迹 $a_{pre}$ + 2个后迹 $a_{post1},a_{post2}$
• 不仅看当下脉冲对，还看后神经元更前面的脉冲
• 后迹使用不同时间常数→看得"更远"
• 效果更好：更丰富的时序信息

STDP两大特性

(1) 快速响应：强化时序相关的输入→突触后神经元发放越来越早→更快响应

(2) 时间精度：

• 高精度脉冲→LTP增强
• 低精度/随机→LTD减弱
• →降低噪声，提高时间精度
• 应用：V1神经元检测运动方向和速度

---

7.4 STDP应用：重复脉冲模式检测

单个模式，单个神经元

• 输入：100个神经元（背景噪声Poisson + 嵌入的时空模式）
• 输出：1个神经元
• 结果：~70次刺激后→输出仅在目标模式出现时发放
• STDP强化"稍早发放"的突触前连接→延迟缩短→收敛至稳定状态

单模式，多个神经元 + WTA机制 ⭐

WTA（Winner-Take-All，赢者通吃）：

• 输出神经元间侧向抑制连接（固定权重，不可塑）
• 一个发放→向其他神经元发送IPSP→抑制其他发放
• 多个神经元学习同一模式→间隔发放（避免同时发放）

多模式，多个神经元

• STDP + WTA协同→每个输出神经元自动分配至一种特定模式
• 模式通过发放率无法区分（背景噪声与模式发放率相同）→需依赖精确时序

STDP手写数字识别（MNIST）

• 输入层：28×28神经元→Poisson编码（频率∝像素强度）
• 处理层：兴奋性神经元 + 抑制性神经元
• 兴奋→抑制一对一；抑制→兴奋全连接（除自身）→侧向抑制实现WTA
• 无监督训练→分配至响应最强的数字类别
• 评估：权重可视化、准确率与神经元数量关系、混淆矩阵

【图片：MNIST网络结构 — 课件7 第72-74页】

---

思考题（课件）

Q1：写出在（1）标准Hebb规则，（2）基于衰减的Hebb规则，（3）突触前门控Hebb规则，（4）突触后门控Hebb规则以及（5）协变规则下，不同的突触前后活动组合产生的突触权重改变情况。

Q2：STDP时间窗口与权重更新计算

---

笔记中的图片索引

序号	图片内容描述	来源位置
图1	无监督学习示意图（无教师信号）	课件7 第3页
图2	五种Hebb规则权重变化总览表	课件7 第20页
图3	BCM规则与感受野形成	课件7 第16-17页
图4	STDP时间窗口实验数据（毕国强&蒲慕明1998）	课件7 第29-32页
图5	STDP数学公式与双指数曲线	课件7 第36页
图6	在线STDP迹机制示意图	课件7 第42-43页
图7	三元STDP示意图	课件7 第47-48页
图8	STDP快速响应特性实验	课件7 第51-52页
图9	重复脉冲模式检测实验	课件7 第57-62页
图10	WTA机制与侧向抑制	课件7 第64-65页
图11	MNIST手写数字识别网络结构与结果	课件7 第71-77页

---

笔记整理时间：2026年6月25日