第九章：类脑计算应用 — 知识点笔记

综合来源：课件9-10（PDF）、课堂笔记（CSDN）、期末复习课录音

---

占位图

超级压缩

9.1 神经形态相机（事件相机）

生物启发

• 光感受器的局部自适应增益控制→高动态范围
• 视杆细胞的空间带通滤波器→滤除冗余和噪声
• ON和OFF脉冲信号编码→提高发放效率
• 感光功能区划分：中央凹（精细纹理）+ 外周（快速运动）

两大类视觉采样模型

类型	原理	代表设备
差分型（事件相机）	亮度变化超阈值→产生事件	DVS, ATIS, DAVIS, CeleX
积分型（脉冲相机）	累积光强至阈值→发放脉冲	Vidar (Spike Camera)

事件相机工作原理 ⭐

核心公式：
$$C=\log I(\mathbf{x},t)-\log I(\mathbf{x},t-\Delta t)$$

• 亮度对数变化超过对比度灵敏度C→触发事件
• 亮度增加→ON事件（极性+1）
• 亮度减少→OFF事件（极性-1）

事件格式：$(t,x,y,p)$ — 时间戳(μs)、像素坐标、极性(±1)

与传统相机对比：

• 传统：固定帧率输出整帧图像
• 事件相机：每个像素独立异步输出事件流

四大核心优势

优势	原因
异步	每个像素独立，无全局帧率
稀疏	仅亮度变化处产生事件，数据量小
高时间分辨率	微秒级精度（可达1000fps等效），远超传统相机
高动态范围	>120dB，远超传统相机（~60dB）

应用场景

• 高速运动物体检测与追踪
• 弱光/强光/逆光等极端场景
• 动作识别与行为分析
• 自动驾驶（比亚迪"天神之眼"平台搭载闪拍摄像头）
• 场景感知增强

【图片：事件相机vs传统相机输出对比 — 课件910 第10页】

三种传感范式对比

	生物神经信号	SNN	事件相机
特点	异步、事件驱动	异步、事件驱动传递	异步、事件驱动感光

---

9.2 事件流编码方法 ⭐

将异步事件流转换为网络可处理的格式：

编码方法	原理	优点	缺点	适用场景
时间计数编码	窗口内统计每像素事件次数（可分正负极性）	简单、计算快	丢失时间信息	高速运动检测
二值事件帧	窗口内是否有事件→0/1	极度压缩、稀疏高效	动态信息丢失	极简嵌入式
Time-Surface	$S(x,y,t)=\exp (-\frac{t-t_{last}}{\tau })$，衰减记忆图	保留局部时间信息	需选τ参数	光流估计、特征追踪

Time-Surface核心：像素值=事件"新鲜度"，τ控制衰减率→越小越敏感

---

9.3 语音信号处理应用

三个子任务

任务	目标	输出
语音活动检测（VAD）	判断是否有人声	二分类：Voice/Non-voice
语音命令识别	判断用户说的哪个短命令（Up/Down/Left等）	多分类
声源定位	判断声音从哪个方向来	角度类别（1°-360°）

信号预处理

1. STFT（短时傅里叶变换）：语音→时频谱
2. Mel滤波器组：按Mel尺度划分频带（符合人耳对低频敏感的特性）
3. GCC-PHAT（广义互相关相位变换）：多麦克风相位差→提取声源方向时延特征

---

笔记中的图片索引

序号	图片内容描述	来源位置
图1	比亚迪闪拍摄像头发布会	课件910 第3-4页
图2	事件相机工作原理（log亮度变化）	课件910 第9页
图3	传统相机vs事件相机输出对比	课件910 第10页
图4	差分型vs积分型对比	课件910 第11页
图5	事件相机应用场景	课件910 第12页
图6	事件流编码方法对比	课件910 第15-17页
图7	语音处理三任务框架	课件910 第19页

---

笔记整理时间：2026年6月25日