基于多任务学习的多语言语音情感识别方法
  收稿日期：２０２０ ０４ １６；修回日期：２０２０ ０６ １１  基金项目：国家自然科学基金面上资助项目（６１６７２２６７）
  作者简介：薛艳飞（１９９３ ），男，河南周口人，硕士研究生，主要研究方向为语音识别；毛启容（１９７５ ），女，四川泸州人，教授，博导，博士，主要研究方向为情感计算、模式识别和多媒体分析（Ｍａｏ＿ｑｒ＠ｍａｉｌ．ｕｊｓ．ｅｄｕ．ｃｎ）；张建明（１９６４ ），男，江苏丹阳人，教授，硕导，博士，主要研究方向为图像处理与模式识别．
基于多任务学习的多语言语音情感识别方法
薛艳飞，毛启容，张建明
（江苏大学计算机科学与通信工程学院，江苏镇江２１２０１３）
摘　要：由于人类情感的表达受文化和社会的影响，不同语言语音情感的特征差异较大，导致单一语言语音情
感识别模型泛化能力不足。针对该问题，提出了一种基于多任务注意力的多语言语音情感识别方法。通过引入语言种类识别辅助任务，模型在学习不同语言共享情感特征的同时也能学习各语言独有的情感特性，从而提升多语言情感识别模型的多语言情感泛化能力。在两种语言的维度情感语料库上的实
验表明，所提方法相比于基
准方法在Ｖ
ａｌｅｎｃｅ和Ａｒｏｕｓａｌ任务上的相对ＵＡＲ均值分别提升了３．６６％～５．５８％和１．２７％～６．５１％；在四种语言的离散情感语料库上的实验表明，所提方法的相对ＵＡＲ均值相比于基准方法提升了１３．４３％～１５．７５％。因此，提出的方法可以有效地抽取语言相关的情感特征并提升多语言情感识别的性能。关键词：多任务学习；多语言情感识别；卷积神经网络；循环神经网络；注意力机制中图分类号：ＴＰ１８３  　文献标志码：Ａ  　文章编号：１００１ ３６９５（２０２１）０４ ０１９ １０６９ ０５ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０２０．０４．０１０３
Ｍｕｌｔｉ ｌａｎｇｕａｇｅｓｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎｍｕｌｔｉ ｔａｓｋｌｅａｒｎｉｎｇ
ＸｕｅＹａｎｆｅｉ，ＭａｏＱｉｒｏｎｇ，ＺｈａｎｇＪｉａｎｍｉｎｇ
（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆ＣｏｍｍｕｎｉｃａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＪｉａｎｇｓｕＵｎｉｖｅｒｓｉｔｙ，ＺｈｅｎｊｉａｎｇＪｉａｎｇｓｕ２１２０１３，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｄｕｅｔｏｔｈｅｉｎｆｌｕｅｎｃｅｏｆｃｕｌｔｕｒｅａｎｄｓｏｃｉｅｔｙｏｎｔｈｅｅｘｐｒｅｓｓｉｏｎｏｆｈｕｍａｎｅｍｏｔｉｏｎ，ｔｈｅｆｅａｔｕｒｅｓｏｆｓｐｅｅｃｈｅｍｏｔｉｏｎｉｎｄｉｆｆｅｒｅｎｔｌａｎｇｕａｇｅｓｖａｒｙｇｒｅａｔｌｙ，ｗｈｉｃｈｌｅａｄｓｔｏｔｈｅｉｎｓｕｆｆｉｃｉｅｎｔｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｏｆｓｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｍｏｄｅｌｉｎａ
ｓｉｎｇｌｅｌａｎｇｕａｇｅ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ
，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｍｕｌｔｉ ｌｉｎｇｕａｌｓｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｍｕｌｔｉ ｔａｓｋａｔｔｅｎｔｉｏｎ．Ｂｙｉｎｔｒｏｄｕｃｉｎｇｔｈｅａｕｘｉｌｉａｒｙｔａｓｋｏｆｌａｎｇｕａｇｅｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ｔｈｅｍｏｄｅｌｃｏｕｌｄｎｏｔｏｎｌｙｌｅａｒｎｔｈｅｅｍｏｔｉｏｎａｌｆｅａ ｔｕｒｅｓｓｈａｒｅｄｂｙｄｉｆｆｅｒｅｎｔｌａｎｇｕａｇｅｓ，ｂｕｔａｌｓｏｌｅａｒｎｔｈｅｕｎｉｑｕｅｅｍｏｔｉｏｎａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｅａｃｈｌａｎｇｕａｇｅ，ｓｏａｓｔｏｉｍｐｒｏｖｅｔｈｅｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｏｆｔｈｅｍｕｌｔｉ ｌａｎｇｕａｇｅｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｍｏｄｅｌ．Ｅｘｐｅｒｉｍｅｎｔｓｏｎｔｈｅｄｉｍｅｎｓｉｏｎａｌａｆｆｅｃｔｉｖｅｃｏｒｐｏｒａｏｆｔｗｏｌａｎｇｕａｇｅｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉｍｐｒｏｖ
ｅｓｔｈｅｍｅａｎｖａｌｕｅｓｏｆｒｅｌａｔｉｖｅＵＡＲｏｆｔｈｅＶａｌｅｎｃｅａｎｄＡｒｏｕｓａｌｔａｓｋｓｂｙ
３．６６％～５．５８％ａｎｄ１．２７％～６．５１％，ｒ
ｅｓｐｅｃｔｉｖｅｌｙ，ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｂｅｎｃｈｍａｒｋｍｅｔｈｏｄｓ．Ｅｘｐｅｒｉｍｅｎｔｓｏｎｄｉｓｃｒｅｔｅａｆｆｅｃ ｔｉｖｅｃｏｒｐｏｒａｏｆｆｏｕｒｌａｎｇｕａｇｅｓｓｈｏｗｔｈａｔｔｈｅｍｅａｎｖａｌｕｅｓｏｆａｂｓｏｌｕｔｅＵＡＲｉｍｐｒｏｖｅｓｂｙ１３．８２％～１５．７５％ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅ
ｂｅｎｃｈｍａｒｋｍｅｔｈｏｄｓ．Ｔｈｅｒｅｆｏｒｅ
，ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎｅｆｆｅｃｔｉｖｅｌｙｅｘｔｒａｃｔｔｈｅｌａｎｇｕａｇｅ ｒｅｌａｔｅｄｅｍｏｔｉｏｎｆｅａｔｕｒｅｓａｎｄｉｍ ｐｒｏｖｅｓｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｍｕｌｔｉ ｌｉｎｇｕａｌｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．Ｋｅｙｗｏｒｄｓ：ｍｕｌｔｉ ｔａｓｋｌｅａｒｎｉｎｇ；ｍｕｌｔｉ ｌａｎｇｕａｇｅｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ；ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ；ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔ ｗｏｒｋ；ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ
０　引言
自动识别人类的情感状态对智能人机交互有着重要的影响。对于智能语音交互系统、识别副语言信息，尤其是情感信息，可以增强对用户意图的理解，帮助改善用户体验。由于情感受文化和社会的影响，情感语音语料库的开发和构建也不尽相同。因此，多语言语音情感识别是一项具有挑战性的任务。
在传统的多语言语音情感识别方法中，大多数的研究主要
集中在特征的选择和抽取上。Ｏｒｉｇｌｉａ等人［１］
提出了一种包含局部和全局韵律学特征的情感特征集，该特征集在两种高度异
质语料库上的情感分类任务中表现良好。周晓凤等人［
２］
提出了一种将语音情感特征进行分类，并将各类情感特征的支持度矩阵利用改进的Ｄ Ｓ证据理论进行决策级融合的语音情感识别方法，在一定程度上提高了语音情感识别方法的识别率和稳定
性。Ｌ
ｉ等人［３］
计算机语言种类
通过对语音信号进行小波变换分析，对语言多样性的情感感知过程进行建模，引入了一组声学特征，显著增强了情感的感知过程。相比于传统的韵律学特征、频谱特征及其联
合特征，该特征在多语言情感识别中取得了更好的性能。
近年来，深度学习在计算机视觉和语音识别领域取得了重大突破，基于深度学习的方法也已经在多语言语音情感识别领
域取得了显著进步。陈闯等人［４］
提出了一种改进的自适应遗
传算法优化ＢＰ神经网络的语音情感识别模型，通过对自适应遗传算法的改进，提升了遗传算法的寻优性能，并以此对ＢＰ神经网络初始的权阈值进行优化，能够有效提高语音情感识别
率并加快网络收敛速度。Ｓ
ａｇｈａ等人［５］
提出了一种通过语言识别来增强多语言语音情感识别性能的方法，针对来自不同语言族的多个语音情
感语料库分别训练一个识别模型，对于一个未知情感的语音片段，先识别该语音所属的语言族，再选择相
应的模型进行情感识别。Ｂｅｒｔｅｒｏ等人［６］
提出了一种基于卷积
神经网络的端到端情感识别模型，在不考虑输入语言类别的情况下，能够从原始波形中自动提取特征并检测情感。Ｎ
ｅｕｍａｎｎ等人［７］提出了一种跨语言和多语言的语音情感识别模型，通
过训练一个基于注意力的卷积神经网络（
ａｔｔｅｎｔｉｖｅｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，ＡＣＮＮ）来对语音的Ａｒｏｕｓａｌ和Ｖａｌｅｎｃｅ进行
第３８卷第４期２０２１年４月　计算机应用研究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３８Ｎｏ．４
Ａｐｒ．２０２１
识别。
多任务学习（ｍｕｌｔｉ ｔａｓｋｌｅａｒｎｉｎｇ，ＭＴＬ）是机器学习中的一
种学习范式，其目的是利用包含在多个任务中的有用信息来帮
助提高所有或者部分任务的泛化性能［８］。多任务学习方法能
够在相关任务间共享表征信息，有效地协调并促进多个任务的
学习。Ｌｅｅ［９］通过对两种高度异质化语言情感的研究，提出了
一种基于深度神经网络（ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ，ＤＮＮ）的多语言
多任务语音情感识别方法。Ｘｉａ等人［１０］提出了一种基于深度
信念网络（ｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋ，ＤＢＮ）框架的多任务学习方法，
利用Ｖａｌｅｎｃｅ和Ａｒｏｕｓａｌ信息进行情感识别，以情感类别识别
任务为主要任务，将Ｖａｌｅｎｃｅ和Ａｒｏｕｓａｌ回归／分类作为多任务
学习中的次要任务。Ｚｈａｎｇ等人［１１］提出了一个新颖的端到端
模型。该模型通过学习Ｖａｌｅｎｃｅ、Ａｒｏｕｓａｌ和Ｄｏｍｉｎａｎｃｅ三个任
务来提升情感识别性能，与传统的系统相比，它能够提取不同
任务之间共享的表征，以缓解过拟合问题。
然而，由于不同语言的语音情感特征差异较大，跨语言语
音情感识别性能较差，如何使多种语言的情感特征相互适应以
促进多语言语音情感识别是当前亟待解决的问题。针对该问
题，本文提出了一种基于硬共享多任务学习的多语言语音情感
识别方法。本文提出了一种基于多任务学习的卷积双向长短
时记忆注意力网络，主任务为情感识别，辅助任务为语种识别。
通过引入语言种类识别辅助任务，模型不仅能够学习多语言共
享的情感特征，同时也能学习不同语言特有的情感特性，以此
来增强模型对不同语言语音情感的泛化能力，进而提升情感识
别性能。通过引入任务相关的注意力机制，能够对不同语言共
享的情感特征进行情感相关的加权表征，使模型能够专注于情
感相关特征的学习，从而提升模型对不同语言语音情感特征的
提取能力。
１　多语言情感特征学习
本文提出了一种基于多任务学习的卷积双向长短时记忆
注意力网络（ｃｏｎｖｏｌｕｔｉｏｎａｌｂｉｄｉｒｅｃｔｉｏｎａｌｌｏｎｇｓｈｏｒｔ ｔｅｒｍｍｅｍｏｒｙ
ａｔｔｅｎｔｉｏｎｎｅｔｗｏｒｋ，ＣＢｉＬＳＴＭＡＮ）用于多语言语音情感识别。该
网络主要由输入层Ｉ、语言相关情感特征编码器Ｇ、多语言情感
分类器Ｆ和语种判别器Ｄ四部分构成，模型结构如图１所示。
其中，输入层Ｉ以相邻元素之间具有高相关性的声学特征
ＦＢａｎｋ作为输入数据，用于多语言情感显著特征的学习。语言
相关情感特征编码器Ｇ采用ＣＮＮ ＲＮＮ神经网络对语言相关
的情感特征进行抽取。情感分类器Ｆ和语种判别器Ｄ均由注
意力层（ａｔｔｅｎｔｉｏｎｌａｙｅｒ）、全连接层（ｆｕｌｌｙｃｏｎｎｅｃｔｉｏｎ，ＦＣ）和输出
层构成，情感分类器Ｆ用于多语言语音情感识别，语种判别器
Ｄ用于语言种类识别。
在序列相关的任务中，为了得到更好的预测模型，常常需
要同时考虑前后上下文关系。相应地使用两个Ｌ
ＳＴＭ，一个使用标准序列，另一个使用反向的序列进行学习，得到两个隐藏状态，将这些状态信息连接起来，形成最终的输出。为了得到
语音序列中过去和未来的上下文信息，
ＣＢｉＬＳＴＭＡＮ模型中采用双向长短时记忆网络抽取不同语言语音情感特征的高层语
义表示。在Ｃ
ＢｉＬＳＴＭＡＮ模型中，使用两层ＢｉＬＳＴＭ对输入的中间序列特征Ｍ进行时序关系建模。ＢｉＬＳＴＭ的隐向量表征
分别来自正向和反向ＬＳＴＭ（分别使用ｈ→ ｎ和ｈ← ｎ表示）
，每层ＬＳＴＭ的隐藏层节点数为１２８，同时使用非线性变换可以得到
最终的隐向量ｈｎ
＝σ
（［ｈ→ ｎ
，ｈ← ｎ
］）
。将得到的所有时间步的输出特征ｈｎ作为最终的不同任务间共享的特征。１ ３　多语言情感分类器
通常在将ＢｉＬＳＴＭ模型生成的所有隐藏状态作为特征进行
分类时，这些特征对于不同的分类任务并不都是同等重要的。因此，引入任务相关的注意力机制可以使分类器对不同的任务专注于序列中不同的状态，从而学习得到一个更适合当前任务
的特征表示，进而提升相关任务的识别性能。在Ｃ
ＢｉＬＳＴＭＡＮ模型中，使用多语言情感注意力机制对多语言语音情感识别任务
和语言分类任务共享的特征序列ｈｎ
＝σ
（［ｈ→ ｎ
，ｈ← ｎ
］）
进行情感相关的加权表征。
对于语言相关情感特征编码器提取的共享特征序列ｈｎ＝（ｈ１，ｈ２，…，ｈｎ，…，ｈＮ）
，Ｎ为序列的长度。注意力层首先计算序列中每个时间步ｎ的特征ｈｎ对应的权重α
ｅ
ｎ为αｅ
ｎ＝ｅｘｐ（ｆ（ｈｎ
））∑Ｎ
ｔ＝１
ｅｘｐ（ｆ（ｈｔ
））（９）
其中：ｆ（ｈ）＝ＷＴｈ，Ｗ为可训练的参数。注意力层的输出ｃｅ
是输入序列的加权之和，是对一个语音片段整体的表征，其加权方式为
ｃｅ＝∑Ｎ
ｎ＝１
αｎｈｎ
（１０）
最后，将得到的语音情感相关的高层语义特征ｃｅ
输入到
下一层进行情感分类。多语言情感识别任务的分类器由一层
情感相关的注意力机制层、一层有１
２８个神经节点的全连接层和输出层构成。全连接层的非线性激活函数为Ｒ
ｅＬＵ。为了防止模型过拟合，在输出层之前添加了一层失活率为０．５的随机失活层，输出层通过ｓｏｆｔｍａｘ激活函数激活后即可得到当前语音对应的情感类别。１ ４　语种判别器
同样，在语言种类识别任务中也使用了语种相关的注意力机制对语言相关情感特征编码器输出的特征序列ｈ＝（ｈ１，ｈ２，…，ｈｎ，…，ｈＮ）
进行语种相关的加权表征。语种判别器首先计算序列中每个时间步ｎ对应的特征ｈｎ的权重αｌ
ｎ
，计算方式为αｌｎ＝ｅｘｐ（ｆ（ｈｎ））∑Ｎ
ｔ＝１
ｅｘｐ（ｆ（ｈｔ
））（１１）
其中：ｆ（ｈ）＝ＷＴｈ，Ｗ为可训练的参数。语种相关注意力层的
输出ｃｌ
是输入序列的加权之和，是对一个语音片段整体的表征，其加权方式为
ｃｌ
＝∑Ｎ
ｎ＝１αｎｈｎ
（１２）
最后，将ｃｌ
作为后接网络的输入特征依次送入含有１２８个神经节点的全连接层和语言类别输出层进行语言种类识别。
其中，输出层之前添加了一层失活率为０
．５的随机失活层，在将输出层特征进行ｓｏｆｔｍａｘ激活之后即可得到当前语音对应的
语言种类。
令 （ｅ）ｎ（ｙｅ｜ｘ；θｇ，θｅｆ）和 （ｌ）ｎ（ｙｌ｜ｘ；θｇ，θｌｄ）分别表示情感分类任务和语言分类任务的交叉熵损失函数，基于多任务学习的多语言语音情感识别方法整体的损失函数为
ｎ（ｙ｜ｘ；θｇ，θｆ）＝α （ｅ）ｎ（ｙｅ｜ｘ；θｇ，θｅｆ）＋β （ｌ）ｎ（ｙｌ｜ｘ；θｇ
，θｌ
ｄ）（１３）其中：α、β
分别为情感分类器损失和语种判别器损失的权重系数。情感识别任务和语种判别任务的交叉熵损失函数计算方式分别如式（１４）和（１５）所示。
（ｅ）ｎ（ｙｅ｜ｘ；θｇ，θｅ
ｆ）＝－１ｎ∑ｎｉ＝１ｌｏｇＰ（ｙｅｉ｜ｘｉ；θｇ
，θｅ
ｆ）（１４） （ｌ）ｎ（ｙｌ｜ｘ；θｇ，θｌｄ
）＝－１ｎ∑ｎｉ＝１
ｌｏｇＰ（ｙｌｉ｜ｘｉ；θｇ，θｌ
ｄ
）（１５）
其中：θｇ、θｅｆ和θｌ
ｄ分别为语言相关情感特征编码器参数、多语言情感分类器参数和语种判别器参数。
２　实验
为了验证ＣＢｉＬＳＴＭＡＮ模型的有效性，分别在两种不同语言的维度情感语料库和四种不同语言的离散情感语料库上进行了多组对照实验。２ １　实验语料库
１）维度情感语料库
为了验证所提出的基于多任务的多语言语音情感识别模
型的有效性，按照文献［７］中的实验设置，混合了ＩＥＭＯＣＡＰ［１４］和ＲＥＣＯＬＡ［１５］两种不同语言语音的维度情感语料库，设计相
关实验对所提模型的性能进行了实验验证。
ａ）ＩＥＭＯＣＡＰ。交互式情感双向运动捕捉语料库是一个包含五个会话的英语双向会话多模态语料库，时长约１２ｈ，包含语音、视频、面部运动捕捉和对应语音文本转录。其中语音部分包含了频率为４８ｋＨｚ的１００３９个语音片段。每个会话由一名男性和一名女性专业演员执行即兴表演或脚本场景，以引出相应情感。该语料库采用两种标注方式，使用九种情感类别对语音片段进行离散标注，同时从Ｖａｌｅｎｃｅ、Ａｒｏｕｓａｌ和Ｄｏｍｉｎａｎｃｅ三种情感属性维度对情感进行连续标注。
ｂ）ＲＥＣＯＬＡ。该语料库是一个多模态语料库，是在表演者协同解决一个任务过程中收集的法语自发情感互动语料库。共有４６个参与者，包含９．５ｈ的法语音频。这些音频由６名标注者对Ｖ
ａｌｅｎｃｅ和Ａｒｏｕｓａｌ两个维度进行连续标注。该语料库公开可用的版本有２３个不同的参与者，每个人持续时长为５ｍｉｎ。实验中根据该语料库的标注数据对长语音片段进行了切分，共获取１３
０８个频率为２５ｋＨｚ的语音片段。由于两个语料库的标注方案不同，按照文献［７］中的方法将Ｖ
ａｌｅｎｃｅ和Ａｒｏｕｓａｌ两个连续维度的情感值分别映射为两个离散值，原始标注到二值离散标注的映射关系如表２所示。
表２　二值Ａｒｏｕｓａｌ／Ｖａｌｅｎｃｅ映射表
Ｔａｂ．２　ＭａｐｐｉｎｇｓｔｏｂｉｎａｒｙＡｒｏｕｓａｌ／Ｖａｌｅｎｃｅｃｌａｓｓｅｓ
语料库ＡｒｏｕｓａｌＶａｌｅｎｃｅ
低高消极积极ＩＥＭＯＣＡＰ［１，２．５］（２．５，５］［１，２．５］（２．５，５］ＲＥＣＯＬＡ
［－１，０］
（０，１］
［－１，０］
（０，１］
  ２）离散情感语料库
由于公开可用的多语言语音情感语料库较少，本文收集了德语、意大利语、英语和普通话四种不同语言公开可用的离散情感语料库，在该混合语料库上进行了多语言语音情感识别相关对比实验，各语料库详细信息如表３所示。
为了获取一致的情感标签，本文按照文献［
５］中的方案将不同的类别映射为积极和消极两类情感，如表４所示。
·１７０１·第４期薛艳飞，等：基于多任务学习的多语言语音情感识别方法  　
  表３　离散情感语料库
Ｔａｂ．３　Ｃｏｒｐｏｒａｓｏｆｄｉｓｃｒｅｔｅｅｍｏｔｉｏｎ
信息
语料库
Ｅｍｏ ＤＢ［１６］ＥＭＯＶＯ［１７］ＳＡＶＥＥ［１８］ＶＥＳＤ［１９］
语言ＧｅｒｍａｎＩｔａｌｉａｎＥｎｇｌｉｓｈＭａｎｄａｒｉｎ
样本数５３５５８８４８０８７４
采样率１６ｋＨｚ４８ｋＨｚ４４．１ｋＨｚ４４．１ｋＨｚ
女生５３０２
男生５３４２
类别数７６７７
表４　二值离散情感映射表
Ｔａｂ．４　Ｍａｐｐｉｎｇｓｔｏｂｉｎａｒｙｄｉｓｃｒｅｔｅｃｌａｓｓｅｓ
语料库积极消极
Ｅｍｏ ＤＢｊｏｙ，ｎｅｕｔｒａｌａｎｇｅｒ，ｂｏｒｅｄｏｍ，ｄｉｓｇｕｓｔ，ｆｅａｒ，ｓ
ａｄｎｅｓｓＥＭＯＶＯｊｏｙ，ｓｕｒｐｒｉｓｅｄｉｓｇｕｓｔ，ｆｅａｒ，ａｎｇｅｒ，ｓａｄｎｅｓｓ
ＳＡＶＥＥｈａｐｐｉｎｅｓｓ，ｓｕｒｐｒｉｓｅ，ｎｅｕｔｒａｌａｎｇｅｒ，ｄｉｓｇｕｓｔ，ｆｅａｒ，ｓａｄｎｅｓｓＶＥＳＤｐｌｅａｓａｎｔｓｕｒｐｒｉｓｅ，ｈａｐｐｉｎｅｓｓ，ｎｅｕｔｒａｌｉｔｙａｎｇｅｒ，ｄｉｓｇｕｓｔ，ｆｅａｒ，ｓａｄｎｅｓｓ
２ ２　特征提取和实验设置
１）维度情感语料库实验设置
基准模型采用文献［７］提出的注意力卷积神经网络模型（ＡＣＮＮ）和文献［９］中提出的ＤＮＮ模型，该基准模型是主流的多语言语音情感识别模型。采用文献［７］中的配置，对实验中使用到的语料库中的语音片段进行ＦＢａｎｋ特征提取，所有语音片段固定时间长度为７．５ｓ。如果一个语音样本长度不足７．５ｓ，则使用两边用零填充的方式补齐到７．５ｓ；如果一个语音样本长度超过７．５ｓ，则将其切分为７．５ｓ。帧长为２５ｍｓ，帧移为１０ｍｓ，Ｍｅｌ滤波器的个数为２６。因此，可以从每个语音样本片段中提取得到２６×７５１维的ＦＢａｎｋ谱图特征矩阵，在将扩充一维之后得到的２６×７５１×１维的声学特征作为ＣＢｉＬＳＴＭＡＮ模型的输入。此外，文献［９］中的模型采用分别含有５１２、２５６、１２８个隐藏层节点的五层ＤＮＮ方案。参照文献［
９］中的配置，使用ＯｐｅｎＳＭＩＬＥ［２０］工具对所有语料库抽取了ＩＳ ２０１０情感特征集，将得到的１５８２维的情感特征集作为基准模型［９］的输入特征。
同时，根据样本个数、说话人个数和说话人性别相对均衡的原则，将ＲＥＣＯＬＡ语料库划分为五个部分。在模型训练的过程中，分别选取ＩＥＭＯＣＡＰ和ＲＥＣＯＬＡ语料库中的一个部分作为测试集，将其他四个部分混合之后随机选取８０％作为训练集，其余２０％作为验证集，组成５折交叉验证。
２）离散情感语料库实验设置
在离散情感语料库实验中，选择并复现了文献［７，９］中的方法作为基准方法。采用维度情感语料库实验中的配置对所有语料进行了ＦＢａｎｋ特征和ＩＳ ２０１０特征的提取。分别从四种不同语言的语料库中随机选２０％的样本作为测试集，将其余数据混合之后组成训练集和验证集，每组对照实验重复进行５０次，取５０次实验结果的平均值作为该模型最终的识别性能。
所有的实验均在Ｕｂｕｎｔｕ１６．０４ＬＳＴ操作系统下完成，开发语言为Ｐｙｔｈｏｎ３．６．２，深度学习框架为Ｋｅｒａｓ２．２．０及Ｔｅｎｓｏｒ Ｆｌｏｗ１．８．０，ＧＰＵ为ＮＶＩＤＩＡＴＩＴＡＮＸ。超参数α、β的值均设置为１，优化器采用Ａｄａｍ，学习率设为０．０００１，ｂａｔｃｈｓｉｚｅ设置为６４，迭代次数设置为１００，选取在验证集上损失函数最小的模型作为
性能测试模型。
２ ３　性能评估
在多语言语音情感识别中，不同语言的情感的类别通常是不平衡的，非加权平均召回率（ｕｎｗｅｉｇｈｔｅｄａｖｅｒａｇｅｒｅｃａｌｌ，ＵＡＲ）成为了主流的性能评估标准。因此，实验中采用ＵＡＲ作为模型性能度量的指标，其计算方式为
ＵＡＲ＝
１
Ｎ
∑
Ｎ
ｉ＝１
ｒｅｃａｌｌｉ，ｒｅｃａｌｌ＝
ＴＰ
ＴＰ＋ＦＮ
（１６）其中：Ｎ为类别种类数；ｒｅｃａｌｌ为召回率。以二分类为例，符号ＴＰ和ＦＮ含义如表５所示。
表５　二分类召回率符号含义
Ｔａｂ．５　Ｓｙｍｂｏｌｉｃｍｅａｎｉｎｇｏｆｒｅｃａｌｌｉｎｔｈｅｂｉｎａｒｙｃａｓｅ
真实
预测
（＋）（－）
（＋）ｔｒｕｅｐｏｓｉｔｉｖｅｓ（ＴＰ）ｆａｌｓｅｎｅｇａｔｉｖｅｓ（ＦＮ）
（－）ｆａｌｓｅｐｏｓｉｔｉｖｅｓ（ＦＰ）ｔｒｕｅｎｅｇａｔｉｖｅｓ（ＴＮ）
  １）维度情感语料库实验结果
为了验证ＣＢｉＬＳＴＭＡＮ方法引入语言分类器的有效性，分别将Ｖａｌｅｎｃｅ和Ａｒｏｕｓａｌ识别设置为主要任务，语言种类识别设置为辅助任务，进行了多组对照实验。与此同时，为了验证多任务学习的有效性，实现了仅识别Ｖａｌｅｎｃｅ和Ａｒｏｕｓａｌ的基于单任务的卷积双向长短时记忆注意力网络（ｃｏｎｖｏｌｕｔｉｏｎａｌｂｉｄｉ ｒｅｃｔｉｏｎａｌｌｏｎｇｓｈｏｒｔ ｔｅｒｍｍｅｍｏｒｙａｔｔｅｎｔｉｏｎｎｅｔｗｏｒｋｂａｓｅｄｏｎｓｉｎｇｌｅｔａｓｋ，ＣＢｉＬＳＴＭＡＮ＿ＳＴ）方法。其中，以情感维度属性Ｖａｌｅｎｃｅ的识别为主任务、语种识别为辅助任务的实验结果如表６所示。
表６　Ｖａｌｅｎｃｅ识别任务实验ＵＡＲ性能对比
Ｔａｂ．６　ＣｏｍｐａｒｉｓｏｎｏｆＵＡＲｐｅｒｆｏｒｍａｎｃｅｏｎ
Ｖａｌｅｎｃｅｒｅｃｏｇｎｉｔｉｏｎｔａｓｋ／％方法任务ＩＥＭＯＣＡＰＲＥＣＯＬＡ平均
ＤＮＮ［９］Ｖａｌｅｎｃｅ５８．０７５０．９６５４．５２
ＡＣＮＮ［７］Ｖａｌｅｎｃｅ６１．７３４９．３３５５．５３ＣＢｉＬＳＴＭＡＮ＿ＳＴＶａｌｅｎｃｅ６１．６５４９．２７５５．４６
ＣＢｉＬＳＴＭＡＮ（本文）Ｖａｌｅｎｃｅ６３．５６５１．５５５７．５６
  由表６可知，ＣＢｉＬＳＴＭＡＮ＿ＳＴ在Ｖａｌｅｎｃｅ识别任务上的平均ＵＡＲ为５５．４６％，ＣＢｉＬＳＴＭＡＮ方法的平均ＵＡＲ则达到了５７．５６％的性能。相比于ＣＢｉＬＳＴＭＡＮ＿ＳＴ，其在Ｖａｌｅｎｃｅ识别任务上的相对ＵＡＲ性能均值提升了３．７９％。由此可知，引入语言种类识别辅助任务，该方法不仅能够学习多语言共享的情感特征，同时也能学习不同语言特有的情感特性，进而学习得到语言相关的情感特征，增强该方法对不同语言语音情感的泛化能力。此外，基准方法ＤＮＮ和ＡＣＮＮ在两种不同语言的Ｖａｌｅｎｃｅ识别任务上的平均ＵＡＲ分别为５４．５２％和５５．５３％。相比于基准方法，ＣＢｉＬＳＴＭＡＮ方法的相对ＵＡＲ性能分别提升了５．５８％和３．６６％。因此，引入注意力机制和多任务学习，能够使模型学习得到不同语言情感显著的特征，缓解情感无关因素带来的不利影响，进而提升模型对不同语言语音情感特征的泛化能力和识别能力，提升情感识别准确率。
以情感维度属性Ａｒｏｕｓａｌ的识别为主任务、语种识别为辅助任务的实验结果如表７所示。
表７　Ａｒｏｕｓａｌ识别任务实验ＵＡＲ性能对比
Ｔａｂ．７　ＣｏｍｐａｒｉｓｏｎｏｆＵＡＲｐｅｒｆｏｒｍａｎｃｅｏｎ
Ａｒｏｕｓａｌｒｅｃｏｇｎｉｔｉｏｎｔａｓｋ／％方法任务ＩＥＭＯＣＡＰＲＥＣＯＬＡ平均
ＤＮＮＡｒｏｕｓａｌ６９．０１５７．０４６３．０３
ＡＣＮＮＡｒｏｕｓａｌ７０．０６６２．５１６６．２９ＣＢｉＬＳＴＭＡＮ＿ＳＴＡｒｏｕｓａｌ７１．８９６１．３３６６．６１
ＣＢｉＬＳＴＭＡＮ（本文）Ａｒｏｕｓａｌ７２．１２６２．１３６７．１３
  由表７可知，相比于ＣＢｉＬＳＴＭＡＮ＿ＳＴ，ＣＢｉＬＳＴＭＡＮ方法的相对ＵＡＲ均值提升了０．７８％。此外，相比于基准方法ＤＮＮ和ＡＣＮＮ，ＣＢｉＬＳＴＭＡＮ方法在Ａｒｏｕｓａｌ任务上的相对ＵＡＲ性能分别提升了６．５１％和１．２７％。因此，引入注意力机制可以使模型专注情感相关特征的学习，引入语种识别辅助任务可以使模型学到语言相关的情感特征，进而学到语言相关的情感显著特征，提升模型对不同语言语音情感特征的泛化和识别能力。
同时，对语言分类器的识别准确率进行了统计。在Ａｒｏｕｓａｌ
·
２
７
０
１
·计算机应用研究第３８卷
和Ｖａｌｅｎｃｅ任务上，英语和法语的语言识别准确率均超过９９％，能够准确学习到不同语言语音所具有的特性。其详细准确率如表８所示。
表８　语言识别准确率
Ｔａｂ．８　Ａｃｃｕｒａｃｙｏｆｌａｎｇｕａｇｅｉｄｅｎｔｉｆｉｃａｔｉｏｎ／％
任务英语法语
Ａｒｏｕｓａｌ９９．９９９９．２３
Ｖａｌｅｎｃｅ１００．００９９．２３
  ２）离散情感语料库实验结果
在离散情感语料库上的实验性能如表９所示。相比于ＤＮＮ模型和ＡＣＮＮ模型，在四种语言上，ＣＢｉＬＳＴＭＡＮ模型的相对ＵＡＲ性能的均值分别提升了１３．４３％和１５．７５％。与此同时，
相比于ＣＢｉＬＳＴＭＡＮ＿ＳＴ模型ＣＢｉＬＳＴＭＡＮ模型在四种语言上的相对ＵＡＲ性能均值提升了６．５２％。
表９　离散情感语料库实验ＵＡＲ性能对比
Ｔａｂ．９　ＣｏｍｐａｒｉｓｏｎｏｆＵＡＲｐｅｒｆｏｒｍａｎｃｅｏｎ
ｄｉｓｃｒｅｔｅｅｍｏｔｉｏｎｃｏｒｐｏｒａ／％方法ＥＭＯＤＢＥＭＯＶＯＳＡＶＥＥＶＥＳＤ平均
ＤＮＮ６１．９５６３．６９７１．０２７５．９４６８．１５
ＡＣＮＮ６３．６７６２．２２６１．３６７９．８８６６．７８ＣＢｉＬＳＴＭＡＮ＿ＳＴ６９．４１７３．６４６４．６０８２．６２７２．５７
ＣＢｉＬＳＴＭＡＮ（本文）７５．３８７８．６６６９．９７８５．２０７７．３０
  同时，本文也统计了语言分类器的识别准确率，如表１０所示，四种语言的识别准确率均高于９８％。
无论是在维度情感语料库还是在离散情感语料库上，ＣＢｉＬＳＴＭＡＮ方法相比于基准方法，在ＵＡＲ性能上都有显著提升。由此可见，基于多任务注意力的多语言语音情感识别方法对多语言语音情感具有更强的建模能力和更好的泛化能力。
表１０　语言识别准确率
Ｔａｂ．１０　Ａｃｃｕｒａｃｙｏｆｌａｎｇｕａｇｅｉｄｅｎｔｉｆｉｃａｔｉｏｎ／％
德语意大利语英语普通话
９８．７２９９．８９９９．７４９８．９２
３　结束语
本文提出了一种基于多任务学习的多语言语音情感识别方法。该方法通过引入语言种类识别辅助任务，提升了模型对语言相关语音情感特征提取的能力。同时，使用任务相关的注意力机制对共享特征编码器提取的特征进行任务相关的加权表征，增强了相应任务特征的表征能力，提升了模型对不同语言语音情感特征的泛化能力。实验结果表明，该方法对多语言语音情感有很好的泛化和识别能力。进一步地，本文提出的基于多任务注意力的多语言语音情感识别方法是一个通用的多任务学习方法，未来会进一步探索该方法在跨语言和跨语料库语音情感识别领域的应用。
参考文献：
［１］ＯｒｉｇｌｉａＡ，ＧａｌａｔàＶ，ＬｕｄｕｓａｎＢ．Ａｕｔｏｍａｔｉｃｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｅｍｏｔｉｏｎｓｖｉａｇｌｏｂａｌａｎｄｌｏｃａｌｐｒｏｓｏｄｉｃｆｅａｔｕｒｅｓｏｎａｍｕｌｔｉｌｉｎｇｕａｌｅｍｏｔｉｏｎａｌｄａｔａ ｂａｓｅ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＳｐｅｅｃｈＰｒｏｓｏ ｄｙ．２０１０．
［２］周晓凤，肖南峰，文翰．基于情感特征分类的语音情感识别研究［Ｊ］．计算机应用研究，２０１２，２９（１０）：３６４８ ３６５０，３６７６．（ＺｈｏｕＸｉａｏ ｆｅｎｇ，ＸｉａｏＮａｎｆｅｎｇ，ＷｅｎＨａｎ．Ｒｅｓｅａｒｃｈｏｆｓｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇｎｉ ｔｉｏｎｂａｓｅｄｏｎｅｍｏｔｉｏｎｆｅａｔｕｒｅｓｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］．ＡｐｐｌｉｃａｔｉｏｎＲｅ ｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ，２０１２，２９（１０）：３６４８ ３６５０，３６７６．）
［３］ＬｉＸｉｎｇｆｅｎｇ，ＡｋａｇｉＭ．Ｔｈｅｃｏｎｔｒｉｂｕｔｉｏｎｏｆａｃｏｕｓｔｉｃｆｅａｔｕｒｅｓａｎａｌｙｓｉｓｔｏｍｏｄｅｌｅｍｏｔｉｏｎｐｅｒｃｅｐｔｕａｌｐｒｏｃｅｓｓｆｏｒｌａｎｇｕａｇｅｄｉｖｅｒｓｉｔｙ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ２０ｔｈＡ
ｎｎｕａｌＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＳｐｅｅｃｈＣｏｍｍｕｎｉ ｃａｔｉｏｎＡｓｓｏｃｉａｔｉｏｎ：ＣｒｏｓｓｒｏａｄｓｏｆＳｐｅｅｃｈａｎｄＬａｎｇｕａｇｅ．２０１９：３２６２
３２６６．
［４］陈闯，ＣｈｅｌｌａｌｉＲ，邢尹．改进遗传算法优化ＢＰ神经网络的语音情感识别［Ｊ］．计算机应用研究，２０１９，３６（２）：３４４ ３４６，３６１．（ＣｈｅｎＣｈｕａｎｇ，ＣｈｅｌｌａｌｉＲ，ＸｉｎｇＹｉｎ．ＳｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎｉｍｐｒｏｖｅｄｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｏｐｔｉｍｉｚｅｄＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ［Ｊ］．Ａｐｐｌｉｃａ ｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ，２０１９，３６（２）：３４４ ３４６，３６１．）［５］ＳａｇｈａＨ，ＭａｔｅｊｋａＰ，ＧａｖｒｙｕｋｏｖａＭ，ｅｔａｌ．Ｅｎｈａｎｃｉｎｇｍｕｌｔｉｌｉｎｇｕａｌｒｅｃｏｇｎｉｔｉｏｎｏｆｅｍｏｔｉｏｎｉｎｓｐｅｅｃｈｂｙｌａｎｇｕａｇｅｉｄｅｎｔｉｆｉｃａｔｉｏｎ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ１７ｔｈＡｎｎｕａｌＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＳｐｅｅｃｈＣｏｍｍｕｎｉ ｃａｔｉｏｎＡｓｓｏｃｉａｔｉｏｎ．２０１６：２９４９ ２９５３．
［６］ＢｅｒｔｅｒｏＤ，ＫａｍｐｍａｎＯ，ＦｕｎｇＰ．Ｔｏｗａｒｄｓｕｎｉｖｅｒｓａｌｅｎｄ ｔｏ ｅｎｄａｆｆｅｃｔｒｅｃｏｇｎｉｔｉｏｎｆｒｏｍｍｕｌｔｉｌｉｎｇｕａｌｓｐｅｅｃｈｂｙｃｏｎｖｎｅｔｓ［ＥＢ／ＯＬ］．（２０１９ ０１ １９）．ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１９０１．０６４８６．
［７］ＮｅｕｍａｎｎＭ，ＶｕＮＴ．Ｃｒｏｓｓ ｌｉｎｇｕａｌａｎｄｍｕｌｔｉｌｉｎｇｕａｌｓｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｏｎＥｎｇｌｉｓｈａｎｄＦｒｅｎｃｈ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１８：５７６９ ５７７３．
［８］ＺｈａｎｇＹｕ，ＹａｎｇＱｉａｎｇ．Ａｓｕｒｖｅｙｏｎｍｕｌｔｉ ｔａｓｋｌｅａｒｎｉｎｇ［ＥＢ／ＯＬ］．（２０１８ ０７ ２７）．ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７０７．０８１１４．
［９］ＬｅｅＳ．Ｔｈｅｇｅｎｅｒａｌｉｚａｔｉｏｎｅｆｆｅｃｔｆｏｒｍｕｌｔｉｌｉｎｇｕａｌｓｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇ ｎｉｔｉｏｎａｃｒｏｓｓｈｅｔｅｒｏｇｅｎｅｏｕｓｌａｎｇｕａｇｅｓ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏ ｎａｌＣｏｎｆｅｒ
ｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ．Ｐｉｓｃａ ｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１９：５８８１ ５８８５．
［１０］ＸｉａＲｕｉ，ＬｉｕＹａｎｇ．Ａｍｕｌｔｉ ｔａｓｋｌｅａｒｎｉｎｇｆｒａｍｅｗｏｒｋｆｏｒｅｍｏｔｉｏｎｒｅ ｃｏｇｎｉｔｉｏｎｕｓｉｎｇ２Ｄｃｏｎｔｉｎｕｏｕｓｓｐａｃｅ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＡｆｆｅｃｔｉｖｅＣｏｍｐｕｔｉｎｇ，２０１５，８（１）：３ １４．
［１１］ＺｈａｎｇＺｉｘｉｎｇ，ＷｕＢｉｎｇｗｅｎ，ＳｃｈｕｌｌｅｒＢ．Ａｔｔｅｎｔｉｏｎ ａｕｇｍｅｎｔｅｄｅｎｄ ｔｏ ｅｎｄｍｕｌｔｉ ｔａｓｋｌｅａｒｎｉｎｇｆｏｒｅｍｏｔｉｏｎｐｒｅｄｉｃｔｉｏｎｆｒｏｍｓｐｅｅｃｈ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇ ｎａｌＰｒｏｃｅｓｓｉｎｇ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１９：６７０５ ６７０９．
［１２］ＭａｏＱｉｒｏｎｇ，ＤｏｎｇＭｉｎｇ，ＨｕａｎｇＺｈｅｎｇｗｅｉ，ｅｔａｌ．Ｌｅａｒｎｉｎｇｓａｌｉｅｎｔｆｅａｔｕｒｅｓｆｏｒｓｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔ ｗｏｒｋｓ［Ｊ］．ＩＥＥＥ
ＴｒａｎｓｏｎＭｕｌｔｉｍｅｄｉａ，２０１４，１６（８）：２２０３ ２２１３．［１３］ＨｏｃｈｒｅｉｔｅｒＳ，ＳｃｈｍｉｄｈｕｂｅｒＪ．Ｌｏｎｇｓｈｏｒｔ ｔｅｒｍｍｅｍｏｒｙ［Ｊ］．ＮｅｕｒａｌＣｏｍｐｕｔａｔｉｏｎ，１９９７，９（８）：１７３５ １７８０．
［１４］ＢｕｓｓｏＣ，ＢｕｌｕｔＭ，ＬｅｅＣＣ，ｅｔａｌ．ＩＥＭＯＣＡＰ：ｉｎｔｅｒａｃｔｉｖｅｅｍｏｔｉｏｎａｌｄｙａｄｉｃｍｏｔｉｏｎｃａｐｔｕｒｅｄａｔａｂａｓｅ［Ｊ］．ＬａｎｇｕａｇｅＲｅｓｏｕｒｃｅｓａｎｄＥｖａｌｕａｔｉｏｎ，２００８，４２（４）：３３５ ３５９．
［１５］ＲｉｎｇｅｖａｌＦ，ＳｏｎｄｅｒｅｇｇｅｒＡ，ＳａｕｅｒＪ，ｅｔａｌ．ＩｎｔｒｏｄｕｃｉｎｇｔｈｅＲＥＣＯＬＡｍｕｌｔｉｍｏｄａｌｃｏｒｐｕｓｏｆｒｅｍｏｔｅｃｏｌｌａｂｏｒａｔｉｖｅａｎｄａｆｆｅｃｔｉｖｅｉｎｔｅｒａｃｔｉｏｎｓ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ１０ｔｈＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅａｎｄＷｏｒｋｓｈｏｐｓｏｎＡｕｔｏｍａｔｉｃＦａｃｅａｎｄＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１３：１ ８．
［１６］ＢｕｒｋｈａｒｄｔＦ，ＰａｅｓｃｈｋｅＡ，ＲｏｌｆｅｓＭ，ｅｔａｌ．ＡｄａｔａｂａｓｅｏｆＧｅｒｍａｎｅｍｏｔｉｏｎａｌｓｐｅｅｃｈ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ９ｔｈＥ
ｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＳｐｅｅｃｈＣｏｍｍｕｎｉｃａｔｉｏｎａｎｄＴｅｃｈｎｏｌｏｇｙ．２００５：１５１７ １５２０．
［１７］ＣｏｓｔａｎｔｉｎｉＧ，ＩａｄｅｒｏｌａＩ，ＰａｏｌｏｎｉＡ，ｅｔａｌ．Ｅｍｏｖｏｃｏｒｐｕｓ：ａｎＩｔａｌｉａｎｅｍｏｔｉｏｎａｌｓｐｅｅｃｈｄａｔａｂａｓｅ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ９ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅ ｒｅｎｃｅｏｎＬａｎｇｕａｇｅＲｅｓｏｕｒｃｅｓａｎｄＥｖａｌｕａｔｉｏｎ．２０１４：３５０１ ３５０４．［１８］ＨａｑＳ，ＪａｃｋｓｏｎＰＪＢ，ＥｄｇｅＪ．Ａｕｄｉｏ ｖｉｓｕａｌｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｎｄｒｅ ｄｕｃｔｉｏｎｆｏｒｅｍｏｔｉｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｃ］／／ＰｒｏｃｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅ ｒｅｎｃｅｏｎＡｕｄｉｔｏｒｙ ＶｉｓｕａｌＳｐｅｅｃｈＰｒｏｃｅｓｓｉｎｇ．２００８：１８５ １９０．
［１９］ＬｉｕＰａｎ，ＰｅｌｌＭＤ．ＲｅｃｏｇｎｉｚｉｎｇｖｏｃａｌｅｍｏｔｉｏｎｓｉｎｍａｎｄａｒｉｎＣｈｉｎｅｓｅ：ａｖａｌｉｄａｔｅｄｄａｔａｂａｓｅｏｆＣｈｉｎｅｓｅｖｏｃａｌｅｍｏｔｉｏｎａｌｓｔｉｍｕｌｉ［Ｊ］．ＢｅｈａｖｉｏｒＲｅｓｅａｒｃｈＭｅｔｈｏｄｓ，２０１２，４４（４）：１０４２ １０５１．
［２０］ＥｙｂｅｎＦ，Ｗ ｌｌｍｅｒＭ，ＳｃｈｕｌｌｅｒＢ．ＯｐｅｎＳＭＩＬＥ：ｔｈｅＭｕ
ｎｉｃｈｖｅｒｓａｔｉｌｅａｎｄｆａｓｔｏｐｅｎ ｓｏｕｒｃｅａｕｄｉｏｆｅａｔｕｒｅｅｘｔｒａｃｔｏｒ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ１８ｔｈＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａ．ＮｅｗＹｏｒｋ：ＡＣＭＰｒｅｓｓ，２０１０：１４５９ １４６２．
·
３
７
０
１
·
第４期薛艳飞，等：基于多任务学习的多语言语音情感识别方法  　

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。