孟任巍
返回

Group Resonance Network:让 EEG 情绪识别学会“听见群体”

一种面向跨被试 EEG 情绪识别的群体建模框架:将个体脑电表征、可学习群体原型与多被试共振建模结合起来,以提升跨被试泛化能力。

Group Resonance Network:让 EEG 情绪识别学会“听见群体”
2025年9月1日OngoingFirst author
EEG情绪识别情感计算跨被试原型学习神经同步PLVCoherenceTransformer可解释性

Group Resonance Network:让 EEG 情绪识别学会“听见群体”

EEG 情绪识别一直有一个很尴尬的现实:同样一段刺激,不同人的脑电反应往往差别很大。有人反应明显,有人反应温和,还有人仿佛大脑在另一个频道上工作。于是,一个在训练集上表现不错的模型,到了新被试身上,常常就失灵了。

很多现有方法都在努力做一件事:学习“跨被试不变”的特征。这当然重要,但它只说对了一半。

另一半问题是:

除了压制个体差异,我们能不能主动去建模“群体共享的神经模式”?

这就是我们提出 Group Resonance Network(GRN) 的出发点。


为什么 EEG 情绪识别难

在被试内设置下,EEG 情绪识别通常已经能取得不错效果。真正困难的是 跨被试设置:模型必须在从未见过的人身上做出正确判断。

难点主要来自三方面:

  1. 跨被试差异大:不同人的基线脑活动差异明显。
  2. EEG 噪声重:信号丰富,但也脆弱。
  3. 共享结构利用不足:很多方法把每个被试看成一个彼此独立的域。

然而,在 SEEDDEAP 这类标准情绪数据集中,所有被试都观看相同刺激,实验流程也严格对齐。这意味着,数据里可能不仅有“个人反应”,还包含某种 由共同刺激诱发的共享神经结构

换句话说,被试不是一座孤岛。
在同一个情绪场景里,他也是群体的一部分。


核心想法:从个体信号走向群体共振

GRN 建立在一个非常朴素的直觉上:

情绪不仅编码在“我自己的脑电变化”里,也编码在“我的神经反应与群体模式对齐得有多强”里。

因此,我们不再只依赖单一被试的表示,而是引入两个互补的群体视角:

  • 可学习群体原型(learnable group prototypes)
  • 多被试共振特征(multi-subject resonance features)

这使得最终的情绪表征同时包含两部分:

  • 一部分来自个体
  • 一部分来自群体

用一句话概括方法结构

GRN 最终学习三个表示:

  • F:个体 EEG 表征
  • R:原型诱导的群体共振表征
  • G:多被试同步共振表征

然后把它们融合起来做分类。

融合过程可以简洁地写成:

H=Fusion(F,R,G,FR,FG,FR,FG)H = \mathrm{Fusion}(F, R, G, F-R, F-G, F\odot R, F\odot G)

这里的思想并不复杂:
既保留“我和别人不一样的部分”,也保留“我和别人相似的部分”。


第一步:先看“这个人自己”

首先,我们从 EEG 中提取频带特征,并送入编码器,得到个体表征:

F=Enc(X)F = \mathrm{Enc}(X)

这一步回答的问题是:

这个人的脑电整体状态是什么样子?

很多方法到这里就结束了。GRN 从这里才刚刚开始。


第二步:不再固定一个 prototype,而是让模型自己学

过往一些工作会选一个“prototype subject”,也就是固定一个参考被试,拿当前样本去和他比较。但这种设计有个明显问题:一个人可能并不代表整个群体,甚至可能恰好是个噪声较大的例外。

所以,我们引入 可学习群体原型

P={p1,p2,,pM}\mathcal{P} = \{p_1, p_2, \dots, p_M\}

这些原型不是人工平均出来的,而是模型训练过程中一起学出来的参数。于是模型不再问:

“这个被试像不像某一个具体的人?”

而是转而去问:

“这个被试更接近哪一种潜在的群体情绪模式?”

通过相似度计算和注意力加权,模型得到原型诱导的群体共振表示:

R=mαmpmR = \sum_m \alpha_m p_m

这一步,本质上是在给模型一套“群体记忆”。


第三步:显式计算与其他人的共振

原型是抽象的,但我们还想让模型直接“看见”真实的群体同步关系。

因此,GRN 会从训练折中选取一个小型参考集合,把当前被试与这些参考被试逐一比较,并计算:

  • PLV:相位同步
  • Coherence:频域耦合

这些矩阵被堆叠成一个 多被试共振张量,再送入共振编码器,得到:

G=ResEnc(Mres)G = \mathrm{ResEnc}(M_{\text{res}})

如果说 RR 是模型在高层空间里学到的“群体经验”,那么 GG 就是群体在信号层面直接发出的声音。


为什么原型和共振要同时存在

这两个模块虽然都和“群体”有关,但作用其实不一样。

可学习群体原型

它在嵌入空间里捕获 紧凑、可训练、群体一致的情绪结构

多被试共振

它在信号层面显式编码 真实同步关系

一个更抽象,一个更生理。
一个像“群体记忆”,一个像“群体证据”。

它们结合起来,能让模型不那么容易被个体噪声带偏。


实验怎么设计

我们在两个公开 EEG 情绪数据集上评估方法:

  • SEED:三分类情绪识别
  • DEAP:Valence / Arousal 分类

同时采用两种评测设置:

  • Subject-dependent
  • Subject-independent(LOSO)

其中第二种最关键,因为它直接检验模型是否真的能跨被试泛化。

为了保证实验严格,我们在构造多被试共振时,只从 训练折 中选择参考被试,绝不使用测试被试,避免信息泄露。

此外,我们还做了:

  • baseline 对比实验
  • 消融实验
  • 参考人数与原型数的敏感性分析
  • confusion matrix 分析
  • 训练过程可视化

我们观察到了什么

实验结果说明,GRN 在多个设置下都优于强基线,尤其是在跨被试场景中更明显。

消融实验进一步表明:

  • 去掉 prototype 模块,性能下降
  • 去掉 multi-subject resonance 模块,性能也下降
  • 两者同时存在时效果最好

这说明群体建模不是一个装饰性设计,而是真正带来了增益。


这项工作的意义,不只是精度提升

从技术上讲,GRN 是一个新的 EEG 情绪识别框架。

但从更深的角度看,它想表达的是:

情绪相关脑电,不一定只能被看作“个体孤立的神经痕迹”;它也可以被理解为“嵌入在群体上下文中的部分共享响应”。

这正是 group resonance 这个名字的含义。
模型不只是问:

“这个人现在是什么情绪?”

它还在问:

“这个人的神经反应,与群体在同一情绪场景中的共振程度有多高?”

这是一种很小的建模转向,但会带来很不一样的方法设计。


最后

EEG 常被形容为 noisy、fragile、难以泛化。这些都没错。但它还有另一个容易被忽略的面向:它并不总是完全个体化的,它有时也是群体性的。

当很多人面对同一个情绪刺激时,他们的大脑不会完全一样,但也绝不是彼此毫无关联。

GRN 试图把这种“既不同、又相连”的事实,变成一个可学习的原则。

如果说个体 EEG 是独奏,
那么群体共振就是它背后的合唱。

而有时候,正是合唱,帮助我们真正听清旋律。