面向多模态情感分析的双模态交互注意力

IR > 网络与信息中心

	面向多模态情感分析的双模态交互注意力
	包广斌; 李港乐; 王国雄
	2021
发表期刊	计算机科学与探索
ISSN	1673-9418
卷号	16 期号:04 页码:1-10
摘要	针对现有多模态情感分析方法中存在情感分类准确率不高、难以有效融合多模态特征等问题，通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用，建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元（Bidirectional Gated Recurrent Unit，BiGRU）捕获各模态中话语之间的相互依赖关系，得到各模态的上下文信息。为了学习不同模态之间的交互信息，提出了一种双模态交互注意力机制来融合两种模态的信息，并将其作为条件向量来区分各模态信息对于情感分类的重要程度；然后结合自注意力、全连接层组成多模态特征融合模块，挖掘模态内部和模态之间的关联性，获得跨模态联合特征。最后，将得到的上下文特征和跨模态联合特征进行拼接，经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI（CMU Multimodal opinion-level Sentiment Intensity）上对所提出的模型进行评估，实验结果表明，相比现有模型，该模型在多模态情感分类任务上的表现是有效的和先进的。
关键词	多模态情感分析双向门控循环单元上下文双模态交互注意力特征融合
URL	查看原文
收录类别	北大核心 ; CSCD
语种	中文
资助项目	国家自然科学基金（51668043）;甘肃省自然科学基金（18JR3RA156）~~
中图分类号	TN912.3;TP391.41;TP391.1
来源库	计算机科学与探索
引用统计
文献类型	期刊论文
条目标识符	https://ir.lut.edu.cn/handle/2XXMBERH/149745
专题	网络与信息中心
通讯作者	李港乐
作者单位	兰州理工大学计算机与通信学院
第一作者单位	计算机与通信学院
通讯作者单位	计算机与通信学院
第一作者的第一单位	计算机与通信学院
推荐引用方式 GB/T 7714	包广斌,李港乐,王国雄. 面向多模态情感分析的双模态交互注意力[J]. 计算机科学与探索,2021,16(04):1-10.
APA	包广斌,李港乐,&王国雄.(2021).面向多模态情感分析的双模态交互注意力.计算机科学与探索,16(04),1-10.
MLA	包广斌,et al."面向多模态情感分析的双模态交互注意力".计算机科学与探索 16.04(2021):1-10.

条目包含的文件		下载所有文件
文件名称/大小	文献类型	版本类型	开放类型	使用许可
面向多模态情感分析的双模态交互注意力.p（1038KB）	期刊论文	出版稿	开放获取	CC BY-NC-SA	浏览下载