基于BERT和层次化Attention的微博情感分析研究

IR > 计算机与通信学院

	基于BERT和层次化Attention的微博情感分析研究
	赵宏1 ; 傅兆阳 1; 赵凡 2
	2021
发表期刊	计算机工程与应用
ISSN	1002-8331
卷号	58 期号:05 页码:1-8
摘要	微博情感分析旨在挖掘网民对特定事件的观点和看法，是网络舆情监测的重要内容。目前的微博情感分析模型一般使用Word2Vector或GloVe等静态词向量方法，不能很好地解决一词多义问题；另外，使用的单一词语层Attention机制未能充分考虑文本层次结构的重要性，对句间关系捕获不足。针对这些问题，提出一种基于BERT和层次化Attention的模型BERT-HAN(Bidirectional Encoder Representations from Transformers-Hierarchical Attention Networks)。首先，通过BERT生成蕴含上下文语意的动态字向量；然后，通过两层BiGRU分别得到句子表示和篇章表示，在句子表示层引入局部Attention机制捕获每句话中重要的字，在篇章表示层引入全局Attention机制以区分不同句子的重要性；最后，通过Softmax对情感进行分类。实验结果表明，本文提出的BERT-HAN模型能有效提升微博情感分析的Macro F1和Micro F1值，具有较大的实用价值。
关键词	深度学习情感分析特征提取词向量注意力机制
URL	查看原文
收录类别	北大核心 ; CSCD
语种	中文
资助项目	国家自然科学基金（62166025,51668043）;甘肃省重点研发计划（21YF5GA073）
中图分类号	TP391.1
来源库	计算机工程与应用
引用统计
文献类型	期刊论文
条目标识符	https://ir.lut.edu.cn/handle/2XXMBERH/149522
专题	计算机与通信学院
作者单位	1.兰州理工大学计算机与通信学院; 2.甘肃省科学技术情报研究所
第一作者单位	计算机与通信学院
第一作者的第一单位	计算机与通信学院
推荐引用方式 GB/T 7714	赵宏,傅兆阳,赵凡. 基于BERT和层次化Attention的微博情感分析研究[J]. 计算机工程与应用,2021,58(05):1-8.
APA	赵宏,傅兆阳,&赵凡.(2021).基于BERT和层次化Attention的微博情感分析研究.计算机工程与应用,58(05),1-8.
MLA	赵宏,et al."基于BERT和层次化Attention的微博情感分析研究".计算机工程与应用 58.05(2021):1-8.