联合视口预测和超分辨率重建的实时VR全景视频流式传输方法

	联合视口预测和超分辨率重建的实时VR全景视频流式传输方法
	陈晓雷; 曹宝宁; 卢禹冰; 张鹏程
	2024-03-12
发表期刊	计算机辅助设计与图形学学报
ISSN	1003-9775
页码	1-14
摘要	现有基于视口预测的VR全景视频流式传输方法尚未有效考虑VR视频的时间维度信息，并且忽略了客户端在提高视频重建质量上应发挥的作用. 为进一步提高传输系统的综合性能及用户体验质量，提出一种联合视口预测和超分辨率重建的实时VR全景视频流式传输方法. 该方法在服务器端通过将所提出的时间非局部注意力模块TNAM嵌入GhostNet中对VR全景视频进行全局上下文建模，从而捕获时间维度上的长距离依赖; 在客户端利用所提出的轻量级VR全景视频超分辨率重建模型LVRSR对来自服务器端预测视口内的次要内容进行质量增强及投影失真优化. 在VR全景视频用户头部运动数据集上的实验结果表明，该方法的平均视口预测精度和平均带宽占用分别为95.6%和52.9%，相较于5种代表性传输方法，该方法能够获得更高的视口预测精度和更低的带宽占用，同时具有良好的视频重建质量和较低的计算资源消耗.
关键词	360°视频实时虚拟现实流视口预测超分辨率重建
URL	查看原文
收录类别	北大核心 ; CSCD
语种	中文
资助项目	国家自然科学基金(61967012);甘肃省科技计划资助项目(20JR5RA459)
中图分类号	TN919.8
原始文献类型	学术期刊
引用统计
文献类型	期刊论文
条目标识符	https://ir.lut.edu.cn/handle/2XXMBERH/169719
专题	电气工程与信息工程学院
通讯作者	陈晓雷
作者单位	兰州理工大学电气工程与信息工程学院
第一作者单位	电气工程与信息工程学院
通讯作者单位	电气工程与信息工程学院
第一作者的第一单位	电气工程与信息工程学院
推荐引用方式 GB/T 7714	陈晓雷,曹宝宁,卢禹冰,等. 联合视口预测和超分辨率重建的实时VR全景视频流式传输方法[J]. 计算机辅助设计与图形学学报,2024:1-14.
APA	陈晓雷,曹宝宁,卢禹冰,&张鹏程.(2024).联合视口预测和超分辨率重建的实时VR全景视频流式传输方法.计算机辅助设计与图形学学报,1-14.
MLA	陈晓雷,et al."联合视口预测和超分辨率重建的实时VR全景视频流式传输方法".计算机辅助设计与图形学学报 (2024):1-14.