基于脑功能连接网络和CNN识别情绪的研究
现代电子技术
Modern Electronics Technique
Nov.  2023Vol. 46  No. 22
2023年11月15日第46卷第22期
0  引  言
当今社会，情绪识别已经成为人类交流和互动的重要方面。它不仅帮助人们更好地理解他人的感受和情绪，同时也有助于改善人们的人际交往和生活质量[1]。情绪识别已经广泛应用于各种领域，包括医疗保健、教育、商业和娱乐等[2]。最近，利用脑电信号（EEG ）和功能性脑网络进行情绪识别的方法引起了广泛关注[3]。EEG 是一种无创的大脑电活动记录方法，它通过在头皮上放置电极来检测大脑的电信号。
功能脑网络是大脑区域的复杂网络，这些区域相互连接并共同执行不同的认知功能。这些网络已经在神经科学领域得到广泛研究。近年来，随着技术的不断进
步，研究人员可以利用功能性磁共振成像等技术来研究这些网络[4]。功能脑网络的研究已经取得了一些重要进展，例如发现了许多具有不同认知功能的脑区域，并且这些区域之间的连接可以预测个体的行为
和认知表现[5]。将EEG 和功能脑网络结合起来进行情绪识别是一种较为全面的方法，通过同时分析脑电信号和功能性脑网络，研究人员可以更准确地识别情绪和情感加工的神经机制。
将EEG 和功能脑网络结合起来进行情绪识别还具有重要的应用价值[6]。在医疗保健领域，情绪识别可以帮助医生更好地理解患者的情感状态，从而更好地诊断和各种心理疾病。在教育领域，情绪识别可以帮助教师更好地了解学生的情感状态和学习需求，从而更好地指导和辅导学生。在商业领域，情绪识别可以帮助企业更好地了解消费者的需求和情感体验，从而更好地定
DOI ：10.16652/j.issn.1004⁃373x.2023.22.031
引用格式：钟志文，朱士轩.基于脑功能连接网络和CNN 识别情绪的研究[J].现代电子技术，2023，46（22）：183⁃186.
基于脑功能连接网络和CNN 识别情绪的研究
钟志文， 朱士轩
（昆明理工大学 信息工程与自动化学院， 云南 昆明  650500）
摘  要： 基于脑电信号的情绪识别是当前的研究热门，属于人机交互技术的一种。文章设计一种基于
脑功能连接网络和CNN 识别情绪的模型。研究中采用滑动窗口方法扩充样本量，筛选出与含有最多情绪特征信息的通道，再利用皮尔森相关系数构建脑功能连接网络。不同的网络密度控制下，将脑网络输入至CNN ，并识别三类情绪。脑网络密度为30%时，识别精度达到82.3%±1.4%。实验结果表明，所提模型能有效识别积极、中性和消极三类情绪，为情绪识别提供了一种方法。
关键词： 脑功能连接网络； CNN ； 情绪识别； 脑电信号； 滑动窗口； 皮尔森相关系数； 网络密度
中图分类号： TN915⁃34； TP391                  文献标识码： A                      文章编号： 1004⁃373X （2023）22⁃0183⁃04
Research on emotion recognition based on brain functional connectivity
network and CNN
ZHONG Zhiwen, ZHU Shixuan
(School of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China)
Abstract ： Emotion recognition based on EEG signals is currently hot research topic and is a type of
human ⁃computer interaction technology. A emotion recognition model based on brain functional connectivity networks and CNN is designed. The sliding window method is used to expand the sample size, and screen out the channels with the most emotional feature information, and then the Pearson correlation coefficient is used to construct the brain functional connectivity network. The brain network at different network densities is inputted into the CNN network to recognize three emotions. When the brain network density is 30%, the recognition accuracy can reach 82.3%±1.4%. The experimental results show that the proposed model can effectively identify three emotions: positive, neutral and negative, providing a method for emotion recognition.Keywords ： brain functional connectivity network; CNN; emotional recognition; EEG signal; sliding window; Pearson
correlation coefficient; network density
收稿日期：2023⁃04⁃05          修回日期：2023⁃05⁃05
183
现代电子技术2023年第46卷
制产品和服务。在娱乐领域，情绪识别可以为电影、音乐和游戏等娱乐产品提供更加丰富和个性化的体验。
情绪识别是一项具有广泛应用前景的研究领域，利用EEG和功能脑网络进行情绪识别，提供了一种更加全面和深入的方法。本研究通过计算EEG各通道之间皮尔森相关系数，调节脑网络密度以确定不同脑网络参数，将构建的脑功能连接网络使用CNN实现对积极、中性和消极三类情绪的识别。
1 材料与方法
1.1 数据集
本研究的数据来自SEED数据集[7]，其中包含15名受试者，7名男性，8名女性，平均年龄为23.27岁。每个受试者参与3次实验，每次实验间隔时间为一周或更长。在每次实验中，受试者观看15个电影片段，这些片段涵盖积极、中性和消极三种情绪，每种情绪有5个片段，每个片段被标记为-1、0或+1，分别表示消极、中性或积极情绪。实验开始后，有5 s的提示，提醒受试者做好准备，然后观看约4 min的电影剪辑片段，每个片段播放结束后，受试者花费约45 s的时间填写自我评估量表。填写自评量表后，受试者休息15 s。SEED数据集共有675个文件，每个文件包含与15个电影剪辑片段对应的EEG信号。EEG信号由62通道的ESI NeuroScan 设备记录，采样率为1 000 Hz。另外，这些EEG信号降采样至200 Hz，便于进一步的处理和分析。
1.2 数据预处理
1）通道选择。将同一类情绪的数据按照通道进行分组，计算每个通道内该类情绪数据的方差；同样地，对异类情绪的数据进行分组并计算每个通道内该类情绪数据的方差。接着，将同类情绪的数据按照通道内方差从小到大进行排序，异类情绪的数据按照通道内方差从大到小进行排序。最后，选取既能代表同类情绪又能代表异类情绪的通道作为后续使用的数据，以保证所选通道具有对于不同情绪的较好区分能力[8]。
2）滤波。有效的情绪EEG信息存在于delta（1~ 3 Hz）、theta（4~7 Hz）、alpha（8~13 Hz）、beta（14~30 Hz）和gamma（31~50 Hz)五个频段中[9]，本研究使用了0.1~ 49 Hz的带通滤波进行初步信息筛选及工频干扰去除。3）数据扩容。在本研究中，原始数据样本量为675个，由于样本量较少，无法充分满足基于深度学习网络（如CNN）的需求。为此，参考Lashgari等人的研究，本研究采用时域数据分段重组的方法，以保证数据信息的完整性和提高数据扩容的效果，进而提高分类精度[10]。SEED数据集中，每个实验试次最少包含185 s情
绪EEG数据，本研究将1 s作为一个时间窗口，对信号进行截取，每个试次中获得185段，每段包含200个采样点的样本，共得到124 875个样本。
1.3 脑功能连接网络
1.3.1 相关性分析
EEG信号是非平稳的随机信号，本研究采用皮尔森相关系数构建相关系数矩阵，EEG的不同通道信号X i 和Y i的PCC（皮尔森相关系数）计算公式[11]为：
PCC=
∑
i=1
n(X i--X)·(Y i--Y)
∑
i=1
n(X i--X)·∑
i=1
n(Y i--Y)（1）式中：n表示样本的序列长度；X i和Y i代表不同通道中的元素；
-X和-Y代表序列X
i
和Y i的平均值。PCC的取值范围是[-1,1]，当相关性很强时，PCC的值趋向1或-1，PCC 为0时，表示变量间没有相关性。相关系数表示这一通道所在的脑区活动随着另一通道所在脑区活动的增加（正相关）或减少（负相关）。
1.3.2 稀疏化阈值
将情绪EEG按照通道进行相关性分析后，采用得到的相关系数来判断两个通道之间是否存在连接边[12]。如果两个通道间的相关系数值大于阈值时，相对应的两个通道建立连接边（邻接矩阵相应位置的值置1）；如果两个通道间的相关系数值小于阈值时，相对应的两个通道不建立连接边（邻接矩阵相应位置的值置0）。但是，邻接矩阵的主对角线预先设置为0，避免网络中出现自动连接边。值得注意的是，这里的连接边是否建立不必考虑在生理角度上这两个通道对应的位置是否存在物理连接。网络密度用S表示，公式如下：
S=1N(N-1)∑i=1N k i（2）式中：k i是第i个节点的度；N为节点数。
阈值的设定在脑功能网络构建中具有较高的灵活性。一般认为，脑功能网络是由大量的短程边为主、较少的长程边（即捷径）为辅的复杂且稀疏的网络结构[12]。阈值的作用是将弱连接（即小的相关值）
视为噪声边并加以去除，同时要保证网络连通性，即保证不存在孤立的脑区。为了保证网络密度不超过50%，本研究选择的阈值选取策略是：在对每个受试者分别计算相关性后，从15%的密度开始，以5%为步进增加，逐一计算每类情绪适用的阈值。这样的阈值选择策略可以保证网络的稀疏性，并且能够准确地计算出每个情绪类别的适当阈值。
1.3.3 平均路径长度
平均路径长度L是脑功能网络中各个节点之间最
184
第22期
短路径的平均长度[12]，是描述网络跨越性和信息传递效率的重要指标。在脑功能网络中，平均路径长度越短，信息传递的速度就越快，全局通信的效率就越高。在计算平均路径长度时，需要遍历所有节点对之间的最短路径，计算公式如下：
L=1N∑i=1N L i=1N∑i=1N ∑
j=1,J≠i
N
d
ij
N-1（3）
式中d ij是节点i和j的最短路长。在随机网络模型中，其平均路径长度通常是L random ≈ln N ln k。
1.4 CNN
卷积神经网络（CNN）是一种深度学习模型，其核心思想是通过一系列的卷积层、池化层和全连接层等组成的网络结构，对输入数据进行特征提取和分类。这些层之间的相互关系和影响也十分重要。卷积层可以提取输入数据的特征，而池化层可以减小特征图的尺寸和参数数量，降低模型的复杂度和过拟合的风险。全连接层可以将特征映射到输出空间，激活函数可以增强模型的表达能力。通过不同的层之间的组合和调整，可以有效地提高CNN的表征能力和泛化能力，从而在各种视觉任务中取得优异的性能[13]。
本研究的卷积神经网络模型中的第一个和第二个卷积层（Conv1&Conv2）均采用6个卷积核，大小均
为5×5。在本研究中，所有的卷积层均使用ReLU激活函数[14]。为了减少数据量和参数数量并缓解过拟合现象，卷积运算后使用了大小为2×2的池化层。最终，本研究的CNN模型通过3个全连接层输出情绪识别结果。
2 结果与讨论
按照类内方差最小、类间方差最大的方法，筛选出该数据集中与情绪相关的EEG通道以构建功能脑网络，所选的通道为FP1、FPZ、FP2、AF3、AF4、F7、F5、F2、F8、FT7、FC5、FCZ、FC2、T7、C1、C2、T8、CP6、P7、P5、P3、P1、P4、PO3、POZ、PO4、PO6。所选通道主要位于前额叶和颞叶的位置，部分通道位于枕叶，这三个脑区均是与情感和记忆紧密相关的脑区[15]。其中，FP1⁃FP2、AF3⁃AF4、F7⁃F8、T7⁃T8、C1⁃C2和P3⁃P4这6组为对称分布的电极。根据表1的阈值，对三类情绪的相关系数矩阵进行稀疏化，并输入至所提模型进行情绪识别，结果如图1所示。当脑网络密度控制为30%以上时能获得相对稳定的情绪识别结果，获得最佳情绪识别准确率的脑网络密度是30%。图2为当网络密度30%时，三类情绪脑功能网络的参数，包括每类情绪所对应的阈值和平均路径长度。
表1  不同网络密度下脑网络的参数
网络密度
0.40
0.35
0.3
0.25
0.20
0.15
积极（阈值、路长）
0.482 0、1.746 4
0.506 2、1.884 7
0.568 5、1.924 8
0.579 7、1.992 7
0.628 0、1.641 0
0.668 4、1.877 1
中性（阈值、路长）
0.528 3、2.892 2
0.547 2、3.137 4
0.614 3、1.988 3
0.627 3、2.136 5
0.658 3、1.661 7
0.707 0、1.784 4
消极（阈值、路长）
0.491 3、2.871 5
0.517 8、3.093 1
0.594 6、3.216 9
0.596 4、2.065 9
0.639 8、1.671 6
0.671 9、
2.054 1
图1
不同网络密度下三类情绪的识别准确率图2  网络密度30%时，三类情绪脑功能网络的参数
钟志文，等：基于脑功能连接网络和CNN识别情绪的研究185
现代电子技术2023年第46卷
研究结果表明，使用相对较少的通道构建脑网络可以实现情绪识别的结果，与62个通道相当。通过控制脑网络密度，可以用更少的信息量来获得更高的情绪识别准确率。这可能是由于所选择的通道覆盖了情绪变化时产生EEG的脑区，并去除了不含情绪的通道或噪声通道的影响。
3 结语
本研究所提出的基于脑网络和CNN识别三类情绪的模型在SEED数据集上得到验证，在30%网络密度下取得最优结果，验证了该方法的有效性，为识别情绪提供了一种思路。网络连接被重设
注：本文通讯作者为钟志文。
参考文献
[1] 伏云发，杨秋红，徐宝磊，等.脑机接口原理与实践[M].北京：
国防工业出版社，2017.
[2] RAHMAN M M, SARKAR A K, HOSSAIN M A, et al. Recognition of human emotions using EEG signals: a review [J]. Computers in biology and medicine, 2021, 136: 104696.
[3] HANDOJOSENO A M A, SHINE J M, NGUYEN T N, et al. Using EEG spatial correlation, cross frequency energy, and wavelet coefficients for the prediction of Freezing of Gait in Parkinson's Disease patients [C]// 2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. [S.l.]: IEEE, 2013: 4263⁃4266. [4] LYNN C W, BASSETT D S. The physics of brain network structure, function and control [J]. Nature reviews physics, 2019, 1(5): 318⁃332.
[5] ISMAIL L E, KARWOWSKI W. A graph theory⁃based modeling of functional brain connectivity based on EEG: A systematic review in the context of neuroergonomics [J]. IEEE access, 2020, 8: 155103⁃155135.[6] ZANGENEH SOROUSH M, MAGHOOLI K, KAMALEDIN SETAREHDAN S, et al. A review on EEG signals based emotion recognition [J]. International clinical neuroscience journal, 2017, 4(4): 118⁃129.
[7] DUAN R N, ZHU J Y, LU B L. Differential entropy feature for EEG⁃based emotion classification [C]/
/ 2013 6th International IEEE/EMBS Conference on Neural Engineering. San Diego: IEEE, 2013: 81⁃84.
[8] ARI S. An overview of the research work on multispectral imaging, hand gesture recognition, EEG and ECG signal processing [J]. CSI transactions on ICT, 2019, 7: 75⁃79. [9] LU Y, WANG M, WU W, et al. Dynamic entropy⁃based pattern learning to identify emotions from EEG signals across individuals [J]. Measurement, 2020, 150: 107003. [10] LASHGARI E, LIANG D, MAOZ U. Data augmentation for deep⁃learning⁃based electroencephalography [J]. Journal of neuroscience methods, 2020, 346: 108885.
[11] LAI C Q, IBRAHIM H, ABDULLAH M Z, et al. A literature review on data conversion methods on EEG for convolution neural network applications [C]// 10th International Conference on Robotics, Vision, Signal Processing and Power Applications: Enabling Research and Innovation Towards Sustainability. Singapore: Springer, 2019: 521⁃527. [12] 薛绍伟，唐一源，李健，等.一种基于fMRI数据的脑功能网络
构建方法[J].计算机应用研究，2010，27（11）：4055⁃4057. [13] CRAIK A, HE Y, CONTRERAS⁃VIDAL J L. Deep learning for electroencephalogram (EEG) classification tasks: a revie
w [J]. Journal of neural engineering, 2019, 16(3): 031001. [14] YILDIRIM C. A review of deep learning approaches to EEG⁃based classification of cybersickness in virtual reality [C]// 2020 IEEE international conference on artificial intelligence and virtual reality. [S.l.]: IEEE, 2020: 351⁃357. [15] LI X, ZHANG Y, TIWARI P, et al. EEG based emotion recognition: A tutorial and review [J]. ACM computing surveys, 2022, 55(4): 1⁃57.
作者简介：钟志文（1998—），男，广东人，硕士，研究方向为脑机接口。
朱士轩（1998—），男，山东人，硕士，研究方向为脑机智能融合。186

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。