近期， 天津大学精仪学院和医工院联合，在神经科学和神经成像顶刊 Neuroimage中发表题为《LMDA-Net: 一种具有通用性和可解释性的轻量级EEG解码网络》的学术论文, 为解决人工神经网络模型在EEG解码时面临的跨数据集泛化性差、预测波动性高和模型可解释性差等问题做出了贡献。本文的论文和代码全部开源，有望在脑机接口系统的应用中发挥重要作用。

EEG信号的解码是神经科学和计算机科学领域的研究热点, 也是脑机接口系统中的关键问题。本文在人工神经网络设计时，充分吸取了EEG解码领域最具影响力的两个网络架构的设计思想---Shallow-ConvNet和EEGNet。前者采用的先时域卷积再空间域卷积的特征提取方式对解码时序EEG数据产生了重要影响, 而后者将可分离卷积的思想应用到人工神经网络的设计中, 让人意识到了轻量级人工神经网络在解码EEG中的优势。

然而在我们之前的工作中,我们注意到Shallow-ConvNet和EEGNet两个经典的网络架构在跨数据的泛化性上表现欠佳， 而且Shallow-ConvNet在训练过程中表现出了较高的测试波动性。同时， 在Shallow-ConvNet和EEGNet原文中, 虽然对人工神经网络模型进行了可视化, 但是可视化结果的可解释性欠佳, 尤其是很难给出符合神经科学先验知识的解读。

为此，本文深刻剖析了EEG信号采集的原理和人工神经网络的设计过程, 提出了一种基于多维注意力机制的轻量级解码网络LMDA-Net. 同时不同范式EEG信号产生的神经机理不同, 本文针对以错误相关负波(error-related negativity (ERN))为代表的诱发反应（evoked responses）信号和以运动想象(motor imagery (MI))为代表的内源性活动（endogenous activities）, 提出了对应的人工神经网络特征可解释性算法。

# LMDA-Net模型简介

图1：LMDA-Net网络架构图

LMDA-Net主要包含以下三部分。

(1)基准网络：轻量级浅层网络，主要负责EEG特征提取和分类。该部分主要借鉴了Shallow-ConvNet和EEGNet的解码架构设计, 并对卷积网络的参数, 激活函数, 下采样方式做了一些调整。文中为了体现实验的公平性，固体了卷积网络中的超参数。这些超参数也可以根据不同的脑机接口任务进行微调。

(2)通道注意力模块：受源重建（source reconstruction）启发, 通过张量乘积将输入EEG的空间信息扩展到深度维度。该部分的同样存在超参数D，其表示深度信息的维度。在实验中将D固定为9，其同样可以根据不同的任务进行微调。

(3)深度注意力模块：受模糊学习(fuzzy learning)启发, 以促进高维特征的交互。该部分的超参数是K，在文中固定为了7。在论文对应的Github主页， 我们针对超参数K提供了可更新和不可更新两种类型的实验设置。在正文中，采用的是不可更新的方式，用来实现高维特征的交互。

实验结果简介:

图2：竞争模型在BCI4-2A，BCI4-2B，BCI3-4a和Kaggle-ERN数据集上的分类性能

作者注: LMDA-Net是一种轻量级的人工神经网络模型, 以BCI4-2A数据集为例, 其只有4284个可学习参数. 在图2中的各个场景中, LMDA-Net也都只训练了300个轮次. LMDA-Net的分类表现使其有潜力在在线脑机接口系统中发挥重要作用.

# 可解释性分析

对ERN信号的可解释性分析:

作者注1：因为ERN信号具有锁时的特点，因此可以将LMDA-Net所学到时域特征和Cz导联ERP的时域特征进行对比。因为Cz导联的ERP曲线图是有神经科学依据的，为此作为人工神经网络时域特征合理性的依据。如果人工神经网络的时域特征具有神经科学可解释性， 那么可以进一步定位人工神经网络的空间特征， 以此来研究人工神经网络在决策时对空间导联的关注程度。该过程要考虑噪声对可视化结果的干扰， 为此我们提出了算法1来降低噪声对结果的影响。

作者注2: 算法1是人工神经网络模型在诱发反应（evoked responses）信号解码中的通用可解释性思想, 也适用于其他场景。

图3：LMDA-Net特征可视化和Cz导联ERP的时域特征以及不同导联显著性时刻的脑地形图的对比

对MI信号的可解释性分析:

作者注1：运动想象信号因为不具有锁时的特点，因此LMDA-Net的时域特征没有明显的单峰性. 因此很难定位到某一个特点时间点对应的显著特征。因此在该部分的可视化中，我们假设运动想象的空间特性是多峰值时间下综合作用的结果, 为此我们提出了算法2, 来可视化多个显著性时间综合作用下的LMDA-Net的空间特征.

作者注2: 算法2是人工神经网络模型在内源性活动（endogenous activities）信号解码中的通用可解释性思想, 也适用于其他场景。

图4：LMDA-Net特征在脑地形图中的映射（以BCI4-2A中A03和A06被试为例）

# 主要作者简介：

苗政清，天津大学精仪学院博士研究生，师从赵美蓉教授, 主要研究方向为轻量级人工神经网络技术在脑机接口中的应用。

写在最后: 如果您对这项工作感兴趣, 欢迎大家去Github中支持我们的工作. 如果您有任何疑问, 也欢迎大家在Github中提问, 我将尽我所能为您解答疑惑.

关于LMDA-Net的详细解读可以查看另一篇：

LMDA-Net：一种基于脑电的通用脑机接口范式和可解释性的轻量级多维注意力网络

原文链接为：

https://doi.org/10.1016/j.neuroimage.2023.120209

源代码链接为：https://github.com/MiaoZhengQing/LMDA-Code

---

版权声明：本文版权属于原作者，仅用于学术交流

更多阅读

新型脑机接口最新临床前神经数据公布

中国信通院招聘脑机接口方向研究员

支持灵活学习和记忆的神经网络

基于耳-脑电图的脑机接口研究进展

呼吸如何塑造我们的大脑？

无屏幕BCI系统也有强大的分类性能

瘫痪患者借助脑机接口可进行数字绘画

   加入社群  

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

加QQ群：104048131

  欢迎来稿  

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

2.加入社区成为兼职创作者，请联系微信：RoseBCI

点个在看祝你开心一整天!