如何让AI总结多来源笔记

请帮我整理第一单元的知识点和笔记，参考认知科学与类脑计算课件1.pdf，我的课堂笔记（不全）链接：https://blog.csdn.ne   t/2301_80226956/article/details/162296442?sharetype=blogdetail&sharerId=162296442&sharerefer=PC&sharesource=2301_   80226956&spm=1011.2480.3001.8118（你需要提取文字和图片），以及最后一节复习课老师上课的录音文本（是十章所有内容，    你需要提取第一章的内容，因此你需要先看PPT和笔记第一章一哪些内容），请你调用合适的skill阅读图片和文字，除了笔记之    外，需要你模拟一套这个单元的习题，包含选择（20道），多选（10道），判断（10），概念/简答（5）如果有重要计算也请出    （2），然后需要再写另一个md是答案。请注意，我课堂笔记的所有习题都需要包含在试卷中，并不占用出题数（相当于额外加入   你出的卷子中）。 此外，你需要持续维护一个文档，叫A4_final.docs，用于记录每一章的核心要点，因为我们允许带一张手写    稿进入考场，要尽可能压缩用语。可以有图片，如果你无法从我的课堂笔记中抓取到图片并插入这个文档，请你在需要插入图片    的地方标注【图片内容/描述+位置】。中途有任何不明确的需求请你咨询我。遇到问题请看看有没有合适的skill可以使用。       在我审核第一单元的所有内容符合期望后，会逐步让你生成后续章节的笔记和试题的。

注意事项

抄写时可写在一行，如果空间足够换行也是不错的选择，用荧光笔高亮开头节省空间。

红色区是1000%必考 绿色区是85%考查，数据来源于往届题库、AI出的题库。

第一章 背景介绍

认知科学是研究人的智能、其它动物的智能及人造系统的智能的科学 。
类脑计算，是借鉴生物大脑的信息处理方式
类脑特点：存算一体 运算异步、事件驱动
大脑特点：dp 存算 异步 稀疏编码 并行 容错
SNN VS ANN： 

对比维度 ANN（人工神经网络） SNN（脉冲神经网络）
信息形式 连续值 离散2
时间维度 仅空间域/层间传播 时空2
运算方式 同步 异步、事件驱动
能耗 高 低
生物合理性 低 高

瓶颈：高大差 存算分 摩尔无

第二章 神经系统的生理学基础

胶质细胞 后勤(营养 结构) 神经元(处理 传递)
神经元性质：①兴奋性②动态极化(单向传播)③连接特异性(特定接触点连接)
神经元结构 轴 树 胞体
神经元类别：单(1分2)双多/感觉单中间运动多
突触传递：动作电位传递到轴突末梢 转为化学信号(Ca内流激活突触囊泡 含 神经递质)，在另一神经元突触后膜转为电信号
突触前膜(突触囊泡)-突触间隙-突触后膜(受体蛋白)
细胞膜：磷脂双分子层 
离子通道/离子泵：跨膜蛋白质
泵：水解1ATP，泵出3NA  泵入2K
类型：受控 被动   性质：①离子选择性②门控(响应信号) ③跨膜传导(开放传导离子)

膜电位：内-外电位差
(静息)极化-(上升 并发放电位)去极化-(下降)复极化-(更负值)超极化
静息电位：无刺激下产生的跨膜电位差
影响因素：①离子通道开放性②选择性③浓度差 
静息电位形成：NAK泵 Na外K内扩散流 K通透好K走多 内负外正负电位 浓度梯度=电荷梯度 静息形成。

第三章 神经信号与突触传递

神经信号特征：①相似脉冲②刺激增加频率 幅度形态不变③数量/时间模式传递信息④超阈发
动作电位特征：①幅态恒定②全有或无③单向传导④不衰减 VS
局部电位：①幅态可变②可衰减③短距离④可叠加 
动作电位形成：
去极化：Na受刺激开 浓度差+电位差 Na快速入 电位突高
复极化：Na堵K开K外流 浓度差+电位差 电位突降
超极化：K关慢 K继续流

突触类型：轴突-(树 轴 胞体)
化学(单宽多慢 化学-电-化学)
电(双窄少快 直接离子通过)
突触后电位的触发：
动作电位->Ca内流->前膜释放递质与后膜受体结合->改变后膜通透性->
EPSP(后膜透Na Na内流 后元兴奋 V↑ 去极化) 
IPSP(后膜透Cl Cl内流 后元抑制 V↓ 超极化)
神经递质：①可合成(于神经元) ②可释放(存于突触前末梢并释放) ③可移除(从特定位移除)
突触整合：神经计算的基本形式，整合IE输出动作电位
时空求和(多点同时IE在后膜叠加/单突触高频释放递质)
突触位置效应：①膜CR衰减 随距离衰减②越近越强
分流抑制：少量近胞I抵消大量E
神经环路：①前馈兴奋(发散/汇聚)②前馈抑制(IE共同影响下一个)③反馈抑制(E->I->E)④侧向抑制(掣肘 增加并行差异 提高信号选择性)⑤相互抑制

第四章 神经元模型与计算机制

MP特点：①多入单出②输入分IE③空间整合+阈值特性 无时间整合+不应期④突触强度/时延不随时变⑤过阈输出01
MP VS ANN：①输入:01/连续②激活:阶跃/连续函数③不学习/反传④网络:单/深

脉冲神经元特点：①全有全无②前传不可逆③有不应期④不衰减
ANN VS SNN：①输入:静态/时间序列②输出:连续/时间脉冲序列③激活机制:激活函数/阈值放电④计算方式:每层计算，逐层传播/事件驱动，触发才算⑤耗能高/低⑥硬件:GCPU/类脑芯片⑦生物性:差/好

HH模型：由基尔霍夫电流定律 注入细胞的总电流 = 用于改变膜电位的“充电电流” + 流过各离子通道的电流（钾、钠、漏） I=dq/dt=dCu/dt=Cdu/dt

参数：
Vl:离子平衡电位
gion​：离子电导（取决于离子通道开放概率）
n:K激活门开放概率0-1
m:Na激活门开放概率0-1
h:Na失活门关闭概率1-0
通道：
Na->去极化：Na⁺内流使V↑
K->去极化：K⁺外流使V↓
漏->保持静息电位
优点：生物拟合好 离子通道动力学
缺点：参数多 计算难

LIF模型：区别于HH:跨膜电阻视作整体不变
漏电项：−(V−Vrest​) 
输入电流项：R⋅I(t)


脉冲发放周期与频率计算：

LIF VS HH：①复杂度②生物拟合③计算④应用(仿真/计算)

基于突触的计算：
简化①时间窗刻画脉冲发放时刻②权重代表突触传递效率③LIF

单感->多感:只干分类/XOR无解
更新权重：
正向传播：输入层(原始特征)->隐藏层(权重+偏置)->输出(预测结果)
输出依赖 当前层参数+前层激活值
反向传播:通过调参最小化实际与预期输出
过程：前向传播 → 误差计算 → 反向传播 → 参数更新
梯度爆炸/消失：(反传到输入层梯度为0不更新/梯度累计放大溢出) 残差链接 梯度截断/批归一化

第五章 神经编码与信息表示

感知编码机制：脑依赖感知神经元把外界刺激转换成脉冲信息
视(亮:视网膜的神经节细胞具有感受野 中心环绕结构 ON亮OFF暗 扩环反弱 色:P型神经节细胞)
听(声音传播到耳蜗→引发毛细胞形变 外放大 内转神经信号)
味(单个细胞响应多种味道，一种味道由多个细胞感受)
嗅(气分在纤毛中产生缓慢受体电位→触发动作电位)
触(形变触发离子通道变化 → 产生动作电位)

脉冲编码：将感知信号转换为脉冲序列的过程
频率 VS 时间：①编码方式：时间窗内脉冲个数与输入成正比/时间间隔表意②信息载体：脉冲频率数量/精确发放时间③优势：抗噪易测/事件驱动 信息量多④劣势：忽略时序信息/复杂

时间编码必要性：①频编忽略精确时间 → 无法解释快速响应②信息量大

迟滞TTFS：刺激越强，脉冲发放越早。/计算少 但精度低
等级排序：相对大小划分强度等级,每级对应固定发放时间/(↑)只需发一;无需精确;计算快(↓)丢弃后信息;忽略内部差异
相位：由正负OUT神经元组成编码单元，对应一个像素点和其阈下膜电压震荡相位，相位间存在固定相位差。
群体/簇：组脉冲表达，信息在发放时间/数量/间隔，兼顾频编和时编，计算量大
网络直接：编码方式可被学习/优化

编码方式 核心思想 优点 缺点
Direct coding (直接编码) 用连续值直接表示信号 • 无采样误差，信息保真度高
• 无时间延迟
• 实现简单		 • 不符合生物神经机制
• 不是脉冲表示（非事件驱动）
• 能耗高
Rate coding (频率编码) 泊松+均匀 用时间窗口内平均发放率表示信息 • 生物合理性强
• 稳定、易实现
• 易与ANN对接
• 表达能力强

• 延迟高（需要统计时间）
• 能耗高（spike多）
• 对动态信号不敏感
• 补充说明：忽略精确时间，无法解释快速响应

均匀：像素归一化作为发放频率/脉冲间隔一致(发早刺激大)
泊松：每刻生成[0,1]随机数→小就发/变异但有噪声
Phase coding (相位编码) 用spike在振荡周期中的相位表示信息 • 传输效率高
• 抗噪声能力强
• 时间精度高		 • 受振荡频率限制
• 难以表示快速变化信号
• 实现复杂（需振荡机制）
• 补充说明：由正负OUT神经元组成编码单元，对应像素点和膜电压震荡相位
Burst coding (爆发编码) 用一组高频spike（burst）结构表示信息 • 信息表达丰富（burst结构）
• 抗噪声强
• 传输效率高		 • 计算复杂（需跟踪ISI）
• 解码困难
• 模型实现复杂
• 补充说明：信息在发放时间/数量/间隔，兼顾频编和时编
TTFS coding (首脉冲时间编码) 用第一个spike的时间表示信息 • 速度最快
• 能耗最低（spike少）
• 推理高效		 • 对噪声敏感
• dead neuron问题
• 训练不稳定
• 补充说明：刺激越强，脉冲发放越早；计算少但精度低
Rank-order coding (等级排序编码) 相对大小划分强度等级，每级对应固定发放时间 • 只需发一个脉冲，计算快
• 无需精确时间		 • 丢弃后信息
• 忽略内部差异
Population/Cluster coding (群体/簇编码) 一组脉冲表达信息 • 兼顾频率编码和时间编码的特性 • 计算量大
Network-based coding (网络直接编码) 编码方式可被学习/优化 • 具备可学习性和自适应性 • 依赖网络训练结果

信息压缩：感受野->神经元：编码 对齐 压缩

第六章 神经可塑性

（这个不用抄 我讲课用）

有/无监督学习(对应第八章-第六七章内容，本括号内不用抄)
无需指导信号自行探索规律，减少外部依赖、资源效率、演化适应

监督学习 无监督学习
标签 需要 不需要
驱动信号 实际与期望输出的误差 突触可塑性
生物合理性 低 高

神经可塑性：大脑在内外条件或目标驱动下，主动调整其结构与功能的能力。
目标(变与不变)：保持可塑性 维持稳定性
可塑性分类：结构可塑性(改物理结构)、功能可塑性(将受损转移健康区)
↓本质通过改变突触的联系和结构实现↓

突触可塑性：神经元通过改变前神经递质释放量/后受体数量实现对突触强度的控制
影响因素：神经调质、整体电活动水平、神经递质(传递效率)、神经元内部/之间精确定时
分类:短期STP(前脉序列) /长期LTP LTD(前后交互)

短期突触可塑性: STD STE(递质释放/枯竭)
三种情况：
(短 脉冲诱发后电位)神经促进/成对脉冲促进(PPF)
(中 囊泡释放概率)突触增强
(长 高频重复刺激)后强直性增强(PTP)
长期突触可塑性LTP
定义：电刺激后突触反应水平持续性增强/减弱，久。
路径特异性：仅限参与增强/减弱过程的通路。

LTP VS LTD

对比维度 LTP LTD
效应 突触增强 突触减弱
频率 高 低
Ca浓度 高（快速上升） 低（缓慢上升）
功能 记忆形成 记忆修饰与选择
共同点 依赖前后脉冲相关性

同 VS 异质可塑性

类 特点 意义
同 输入特异性：仅改变被刺激的突触 调控特定通路
异 非特异性：一个神经元活动改变影响其他未被激活的突触 联想学习、回路形成

赫布规则
若前神经元A的轴突与后神经元B够近
且A反复/持续刺激B使其脉冲发放
则A到B的突触效能增强

脉冲时序依赖可塑性(STDP)
定义：根据输入输出脉冲的相对时间关系来调节突触强度的生物过程。(前后强 后前弱)

稳态可塑性(突触缩放)
神经元通过突触缩放等比调节所有兴奋性突触的强度，将放电频率维持在合理范围内。

第七章 赫布法则与STDP规则

(我讲课用 不用抄)

五种Hebb规则变体(下两表必须抄写在同一页相邻处！)

请注意，这里是变化量，不是值

发放频率越大，权重变化量越大

常量C(wij)定义为一个函数

(是否更新)只有当门激活时，才会发生权重更新。
(更新多少)由(vi-vθ)决定


（6）突触前门控BCM推广
Vi拔：动态变化的阈值（输出频率滑动平均值）

五种规则下权重变化总览

后活动viv 前活动vj 标准 衰减 前门控 后门控 协变
ON ON + + + + +
ON OFF 0 − 0 − −
OFF ON 0 − − 0 −
OFF OFF 0 − 0 0 +

Hebb规则三大特性
①协同(前后同活跃)②有界③竞争(此消彼长 归一化不变)

20神经元，按10个分两组。一组发放时另一组不发放。阈值一开始θ=20Hz
（a）（b）题采用固定阈值前门控，（c）题采用BCM动态阈值。
（a）问组1(10个)按3Hz发放，再让组2(10个)按1Hz发放，再让组1(10个)按3Hz发放。
（b）问组1(10个)按3Hz发放，再让组2(10个)按2.5Hz发放，再让组1(10个)按3Hz发放。
（c）问和b一样，但是θ采用平均发放率（BCM规则）。

会发生什么？

（a）一开始30Hz，发放。然后10Hz，不发放。最后30Hz，发放。
（b）一开始30Hz，发放。然后25Hz，发放。最后30Hz，发放。
（c）一开始30Hz，发放，θ升为近30Hz。然后25Hz，可能发放，θ降低小于30Hz。最后30Hz，发放。

另AI说，一定会使θ稳定后才会切换到下一组去发放。且前两组也应使用BCM规则。

STDP
Hebb基于频率→忽略精确时序
STDP证明突触效能改变方向和幅度与精确时序相关

两大核心原则
时间因果性：前后强 后前弱
时间窗口：变化幅度随时间窗口增大而指数衰减

(第一个式子漏了负号 正确是：exp(-Δt/τ+)) 感谢zwq同学指正！

其中\Delta t = t_{post} - t_{pre}，Δt越小Δw越大。

权重依赖STDP

在线STDP(多脉冲计算Δt代价高)
方案：引入迹记录脉冲活动累积效应

x_j=\delta(t - t_j^{pre})-\tau_+ \frac{dx_j}{dt}
y_i= \delta(t - t_i^{post})-\tau_- \frac{dy_i}{dt}
\Delta w = A_+ x_j(t_i^{post}) - A_- y_i(t_j^{pre})
无论是pre还是post只要前到达或者后发放了都会更新突触权重。

  • 权重增加条件：突触后神经元发放脉冲（触发t_i^{post}事件）。此时要看突触前有没有刚发过脉冲（也就是看 xj 的值大不大）。

  • 权重减小条件：突触前神经元发放脉冲（触发t_j^{pre}事件）。此时要看突触后有没有刚发过脉冲（也就是看 yi 的值大不大）。

  • Post 发（看 xj​）：如果 Pre 刚发过（xj​ 大）-> 权重增加（LTP）。

  • Pre 发（看 yi​）：如果 Post 刚发过（yi​ 大）-> 权重减小（LTD）。

三元STDP
每个突触维护：1个前迹$a_{pre}$+2个后迹$a_{post1}, a_{post2}$
更新看当下脉冲对，也看后神经元更前面的脉冲。丰富时序信息
后发post时看前pre和自己更早是否发过，高频发放给更大权重。

STDP特点：
①快速响应:后神经元发放越来越早
②时间精度：高精度脉冲->STP 低->STD 降低 噪声，提高时间精度

WTA机制
输出神经元间侧向抑制连接（不可塑）
一个发放→向其他神经元发送IPSP→抑制其他发放

第八章 脉冲神经网络有监督学习

A NN的前向传播与反向传播

流程：一轮正向+BP求偏导+缩放学习率+画图+二轮正向

t-y=-0.8232 E=0.3389<E1

（上面是ANN的BP但是SNN如何学习呢？这句不用抄）

单层SNN算法(在时间维度上，学习如何精准地解码输入脉冲序列的时空模式)
Temptron


维护一个K函数，K函数是可导的，且单个K包含加压和漏电两个过程，那么可导函数的和/积函数也是可导的，所以V=ΣwΣK也是连续可导的。然后我们训练的时候比对目标序列和这个V函数，取真实发放对应时刻的时间窗口，取其中V的最大值，看看Vmax有没有超过阈值，如果小于那么就提高权重。如果误报就减少权重。
比如 1 2 3 4 5 6时刻，1 3 5都有脉冲输入，正确的输出脉冲序列是在5输出的，那么假设时间窗口就是1-5，那么到5时刻假设没发放，那么就会提高1 3 5对应突触的权重，但是由于1和3比较久远，根据下式（K(1)K(3)趋于0，ω基本不变）权重更新量很小，而5很大。对吗？
权重更新公式：

二分类更新规则：正不发->加权 负发放->减权
多分类Temptron：取最早发放/峰值最高的发放神经元类别


Resume远程监督学习算法
特点：
①与神经元模型无关，仅依赖输入输出脉冲序列和STDP
②关注整个脉冲序列而非单个发放
③希望输出序列与目标序列同时发放

原理：
在t实际>t目标的情况，增加中间这个时段到达的脉冲的突触权重，t目标>t实际的情况，降低中间这个时段到达的脉冲的突触权重，从而迫使实际和目标脉冲同时发放

（理解后本图不用抄）

Tempotron vs ReSuMe

Tempotron ReSuMe
驱动信号 膜电位峰值 脉冲序列时序
关注点 是否发放（单次） 整个脉冲序列
模型依赖 特定PSP核函数 与神经元模型无关
分类 可扩展多分类 多分类

深层SNN算法

浅层 vs 深层SNN

浅层SNN 深层SNN
隐藏层 1~2 ≥3
表征 简单 复杂
训练难度 小数据 易收敛 大数据 难收敛
挑战 鲁棒弱 梯度消失/爆炸、时间依赖、高计算成本、数据稀疏、能耗高

核心挑战：不可求导，无法BP->
基于代理梯度(用平滑曲线近似阶跃函数导数)
脉冲发放时间的学习方法(通过脉冲发放时间传播梯度)

STBP算法
三要素：①迭代LIF模型②时空反向传播训练框架③代理梯度函数
迭代LIF
核心是解决BP问题，在LIF中就是求电压的变化率，即du/dt。

但是由于不连续，无法求d，因此微分成若干时刻，通过前后时刻的电压变化实现BP。
u_i^{t+1,n} = u_i^{t,n} \cdot f(o_i^{t,n}) + \left( \sum_{j} W_{ij}^{n} \cdot o_j^{t+1, n-1} \right) + b_i^n
下一刻的电压=这一刻的电压·遗忘门f=(1-o)+下一刻的输入(x+b)

这个式子就包括了空间域和时间域的传递信息。
uf是时间域，代表漏电的衰减，后面的x+b是空间域由前一层传递过来的。

时空反向传播框架
首先定义损函𝐿，最小化时间窗口下所有样本的均方误差

空间域偏导：$\frac{\partial o_i^{t,n}}{\partial x_j^{t,n+1}}$
传到第n层的误差=第n+1层的误差×连接这两层的权重W
时间域偏导：$\frac{\partial u_i^{t+1,n}}{\partial u_i^{t,n}} = \tau(1-o_i^{t,n})$

最终目的是得到权重更新量 ΔW

Case 1 T N 仅来自损失L（无未来时间+无上层） 最后一个时间步、输出层

先计算误差函数L，L是最后一层（所有神经元s个）在整个时间上的平均发放率，用真实值y-平均发放率的平方作为误差


求导：


Case 2 T <N 仅来自空间域SD（无未来时间） 最后时间步、隐藏层

空间域传播


第n层传导的误差=对第n+1层所有与当前神经元有连接求导求和
第 n 层的神经元同时连接了第 n+1 层的 3 个神经元，它需要把这 3 个神经元传回来的误差全部加在一起


第一张图我理解了，就是总误差传递到第n层时=总误差传到n+1层时，乘以n+1层到第n层的输出偏导。 于是要求相邻层之间的偏导。
第二张图：讲如何求偏导，拆为do(n+1)/du(n) * du/do(n),由于w-x x-u关系式，可以得到这个相邻层的偏导可以转换为权重w的形式，最终就是第三张图的样子，实际上g要用代理梯度函数计算，如果是矩阵类型的话，这一项就是1.

时间域传播

Case 3 <T N 来自时间域TD + 损失L（无上层） 输出层、非最后时间步

时间域传播

最后一个空间层的所有时间域输出参与计算L，因此说当前输出会对L有影响，且还会向上传播，让上面层也影响输出


依旧是迭代式，δ是总误差传递到第n层时=总误差传到n+1层时，乘以n+1层到第n层的输出偏导。 于是要求相邻层之间的偏导。
偏导依旧拆成do(t+1)/du * du/do(t)，
前面这部分正好是代理梯度g的导数，后面正好是LIF迭代式的导数

如何从dL/do到dL/dw

x_i^{t,n} = \sum_{j} W_{ij}^{n} \cdot o_j^{t,n-1}（空间域迭代）
u_i^{t+1,n} = \tau u_i^{t,n} (1 - o_i^{t,n}) + x_i^{t+1,n} + b_i^n（时空域迭代）
（代理梯度）

代理梯度函数
用平滑曲线近似狄拉克函数，αi决定尖锐程度

类型 特点
矩形函数 窗口内=α，外=0
多项式函数 平滑衰减
Sigmoid函数导数 类似高斯型
高斯累积分布导数 连续光滑

特点：
①中心在阈值Vth②远离阈值接近0③阈值附近有较大值④积面1

ANN-SNN转换算法
目的：①训好ANN②权重映射到结构相同SNN③低功耗推理
流程：①ReLU练A②训练时偏置定零③权重映射至IF网络④权重归一化接近无损精度
Rate-Based转换
原理：A激活值 ≈ S发放率
用一段时间窗口内的平均发放率表示神经元输出
假设：无不应期、无漏电
数量=累计膜电压/阈值 频率=数量/时间 可证明与A近似




精度损失来源：①欠激活②过(输入太强，单步spi>1)③脉冲随机性(泊松)

怎么办？(这句不用抄)

归一化方法
MB VS DB
MB原理：假设所有脉冲同时达，单步输入不会击穿阈值。
步骤：①遍历该层所有神经元。
②把连到该神经元所有正权重的绝对值加和=最大可能输入。
③把所有权重/最大可能输入。
DB原理：给ANN输入真实数据，记录每一层最大激活值。
步骤：①找 max_act：记录这层的最大输出值。
②找max_wt：防单个输入脉冲权重过大。计算连到一个神经元上的最大单个权重。
③取最大：安全缩放因子 = max(最大网络输出, 最大单个权重)
④层间解耦：
不仅除这层的scale，还要除掉前一层缩放倍数
公式为：applied_factor = scale_factor / previous_factor

方法 依据 优点 缺点
Model-Based 仅看最大权重 安全，无需数据 保守->发放不足
Data-Based 训练集统计最大激活值 精度高，延迟低 依赖训练集代表性

λ=每层最大值 r=缩放倍数 W拔=缩放后权重

TTFS-Based转换
ANN使用ReLu1，把权重压缩在01之间。
SNN：

前一层多次发放脉冲，一堆K就会累加并乘以w，使得快速达到阈值发放。K是线性累计函数。

首脉冲发放时间就是破阈值时间
A激活值与S发放时间关系：

特别地，当窗口T=1时有
问题：

问题 现象 解决方案
过早放电 正输入先到→在负输入到达前就发放 动态阈值：窗口前阈值=∞
漏放电 多个小正输入分散→窗口内达不到阈值 窗口边界处理→强制发放0而不是NULL
时间扭曲 权重和不同→同一激活值→不同spike time Soft约束(正则项L_w)+Hard约束(权重和=1)

TB VS RB

维度 Rate-Based TTFS-Based
信息编码 脉冲数频 脉冲时间（首次发放）
窗口 长（稳定统计） 短
ANN激活函数 ReLU ReLU1（限制[0,1]）
脉冲数 多个 1个
对应关系 激活值→发放率 激活值→发放时刻（越大越早）

转换 VS 直接训练

对比项 Conversion-based Direct Training
思想 A转S 直接训练SNN
难度 低 高
时间动态 未充分优化 显式建模优化
精度 转换误差小→高精度 取决于代理梯度
生物合理性 弱 强
适用场景 分类、转换任务 时序、事件数据、动态任务

第九章 类脑计算应用

两大类视觉采样模型

类型 原理 代表设备
差分型（事件相机） 亮度变化超阈值→产生事件 DVS, ATIS, DAVIS, CeleX
积分型（脉冲相机） 累积光强至阈值→发放脉冲 Vidar (Spike Camera)

工作原理

触发机制：
亮变超过对比度灵敏度C→触发事件
增加→ON（极性+1）
减少→OFF（极性-1）
事件格式：(t,x,y,p)— 时间、坐标、极性

事件相机VS传统相机

优势 原因
异步 像素独立，无全局帧率
稀疏 仅亮度变化处产生事件，数据量小
高时间分辨率
高动态范围

三种传感范式对比

生物神经信号 SNN 事件相机
特点 异步、事件驱动 异步、事件驱动传递 异步、事件驱动感光

事件流编码方式：将异步事件流转换为网络可处理的格式
时间计数编码：

原理：固定窗口，统计每个像素发生了多少次亮度变化
二值时间帧编码：
原理：只看有无事件发生01
TimeSurface编码：

原理：记录像素最近一次事件的时间。越近发生值越高；指数衰减变暗。

PK

编码方式 优点 代价 丢失信息
计数 (Count) 最快，简单 无时间轴 前后顺序、速度变化
二值 (Binary) 数据量小 简陋 频次、时间、顺序全丢
Time-Surface 信息保留好 要调参 无

语音信号三个子任务

任务 目标 输出
语音活动检测（VAD） 有无人声 二分类
语音命令识别 哪个短命令 多分类
声源定位 找声源 角度类别（1°-360°）

语音信号处理
①STFT（短时傅里叶变换）：语音→时频谱
②Mel滤波器组：按Mel尺度划分频带（符合人耳对低频敏感的特性）
③GCC-PHAT（广义互相关相位变换）：多麦克风相位差→提取声源方向时延特征

第十章 脑机接口

脑机接口：在大脑与外部设备之间建立直接通信的技术，通过读取神经信号实现对外部设备的控制

信号获取技术的三个层次

类型 采集位置 信号质量 侵入性 典型技术
侵入式 大脑皮层内部 ⭐⭐⭐ 手术 犹他电极（Utah Array）
半侵入式（ECoG） 皮层表面 ⭐⭐  开颅但不穿透 高密度皮层脑电
非侵入式（EEG） 头皮表面 ⭐  无 脑电图帽
对比维度 侵入式 半侵入式(ECoG) 非侵入式(EEG)
信号分辨率 单个神经元 神经元群体 神经元平均
空间精度 最高 中等 最低
噪声 最低 中等 最大（颅骨衰减+肌电干扰）
安全性 需手术，风险最高 需开颅 安全无创
测量范围 小 中 大
长期稳定性 瘢痕组织影响 较好 最好

挑战：①信号差②稳定差③生物相容性④带宽低⑤解码难⑥伦理⑦读写闭环

# 类脑计算
Logo
脑启社区

脑启社区是一个专注类脑智能领域的开发者社区。欢迎加入社区，共建类脑智能生态。社区为开发者提供了丰富的开源类脑工具软件、类脑算法模型及数据集、类脑知识库、类脑技术培训课程以及类脑应用案例等资源。

更多推荐

具身智能VLA模型全景图：从Pi0到HoloBrain-0的15大开源力作

从Physical Intelligence的Pi0到地平线的HoloBrain-0，这15个模型不仅代表了当前VLA技术的水平，更展示了具身智能从‘单一任务’向‘通用操作’迈进的坚定步伐。无论是追求极致的灵巧控制，还是探索类脑架构的安全性，开源社区正在以前所未有的速度缩小仿真与现实的差距。同步开源了仅 0.2B 参数的端侧友好版本及全栈基础设施 RoboOrchard，提供从数据采集、标准化规范

avatar 脑启社区
cover

03-AI的下半场记忆引擎与大模型同样重要

avatar 脑启社区
cover

AI进入现实世界的新考验：类脑智能如何破解物理AI“跑不久”的难题

avatar 脑启社区