一种壁画图像色彩还原方法及装置

IR > 计算机与通信学院

	一种壁画图像色彩还原方法及装置
	朱红蕾; 尹文玉; 徐志刚
	2020-09-18
专利权人	兰州理工大学
公开日期	2020-09-18
授权国家	中国
专利类型	发明申请
摘要	本发明提供了一种壁画图像色彩还原方法及装置，该方法包括：获取待还原壁画图像和参考壁画图像；提取待还原壁画图像和参考壁画图像的色彩特征；对待还原壁画图像和参考壁画图像进行语义分割，得到待还原壁画图像的第一标签块和参考壁画图像的第二标签块；在第二标签块中寻找与第一标签块相似度满足第二阈值的目标标签块，根据目标标签块对待还原壁画图像进行色彩还原，得到第一色彩还原图像；最小化第一色彩还原图像与待还原壁画图像的欧氏距离，得到第二色彩还原图像；对第二色彩还原图像进行噪声抑制处理。本发明对壁画图像的褪变色区域具有较好的整体修复效果，能够克服色彩的过渡变形，提高了壁画图像色彩还原的准确性。
申请日期	2020-06-05
优先权日	2020-06-05
专利状态	驳回
申请号	CN202010506054.0
公开（公告）号	CN111681183A
IPC 分类号	G06T5/00 ; G06T5/30 ; G06T7/136 ; G06T7/90 ; G06N3/04 ; G06K9/34
专利代理人	于利晓
代理机构	北京文苑专利代理有限公司
CPC分类号	G06T7/90 ; G06T5/002 ; G06T5/30 ; G06T7/136 ; G06V10/267 ; G06N3/045
权利要求	1.一种壁画图像色彩还原方法，其特征在于，包括：获取待还原壁画图像和参考壁画图像，所述参考壁画图像为与所述待还原壁画图像结构相似度满足第一阈值的图像；提取所述待还原壁画图像和参考壁画图像的色彩特征；根据所述色彩特征，对所述待还原壁画图像和参考壁画图像进行语义分割，得到所述待还原壁画图像的第一标签块和参考壁画图像的第二标签块；在所述第二标签块中寻找与所述第一标签块相似度满足第二阈值的目标标签块，根据所述目标标签块对所述待还原壁画图像进行色彩还原，得到第一色彩还原图像；最小化所述第一色彩还原图像与待还原壁画图像的欧氏距离，得到第二色彩还原图像；对所述第二色彩还原图像进行噪声抑制处理。 2.根据权利要求1所述壁画图像色彩还原方法，其特征在于，所述根据所述色彩特征，对所述待还原壁画图像和参考壁画图像进行语义分割，得到所述待还原壁画图像的第一标签块和参考壁画图像的第二标签块，包括：根据所述色彩特征，对所述待还原壁画图像和参考壁画图像进行语义分割，生成图像分割标签；将分割后的结果作为附加通道添加到所述待还原壁画图像和参考壁画图像中，并且通过连接分割通道和损失函数来增强卷积神经网络，如下式所示： Gc(x)＝[F(x)Mc(xi)][F(x)Mc(xi)]T. Gc(xr)＝[F(xr)Mc(xr)][F(xr)Mc(xr)]T. 式中，C是语义分割标签中的通道数，Nc是膨胀卷积的过滤器个数，F(x)和F(xr)分别是输出壁画图像和参考壁画图像的特征映射图，Mc(xi)和Mc(xr)分别表示通道C的语义分割映射，Gc(x)表示F(x)相应的映射矩阵，Gc(xr)表示F(xr)相应的映射矩阵。 3.根据权利要求1所述壁画图像色彩还原方法，其特征在于，所述在所述第二标签块中寻找与所述第一标签块相似度满足第二阈值的目标标签块，根据所述目标标签块对所述待还原壁画图像进行色彩还原，得到第一色彩还原图像，包括：根据马尔可夫随机场损失函数，使用最近邻算法，在所述第二标签块中寻找与所述第一标签块相似度满足第二阈值的目标标签块，根据所述目标标签块对所述待还原壁画图像进行色彩还原，得到第一色彩还原图像，所述马尔可夫随机场损失函数表示如下： LMRF表示马尔可夫随机场损失函数；表示卷积神经网络中壁画图像的特征映射图，表示参考壁画图像的特征映射，m是的基数，表示从局部块中第i个特征映射图，每个图像块被定义为其大小为k×k×C，其中k是局部块的宽度和高度，C是每层的通道数量。 4.根据权利要求1-3任一项所述壁画图像色彩还原方法，其特征在于，所述最小化所述第一色彩还原图像与待还原壁画图像的欧氏距离，得到第二色彩还原图像，包括：待还原壁画图像特征和第一色彩还原图像特征之间的平方误差损失函数为： xi为待还原壁画图像，x为第一色彩还原图像，F(xi)为待还原壁画图像在第i层中的对应特征映射图，F(x)为第一色彩还原图像在第i层中的对应特征映射图。 5.根据权利要求1-3任一项所述壁画图像色彩还原方法，其特征在于，所述对所述待还原壁画图像和参考壁画图像进行语义分割，包括：膨胀卷积层根据膨胀率扩充卷积核的滤波范围，构造滤波器，第一层和第二层的卷积核为33，膨胀率为1；第三层的卷积核为55，膨胀率为2；第四层的卷积核为99，膨胀率为4；第五层膨胀率为8；第六层的膨胀率为16；第七层的卷积核为11，膨胀率为1；通过膨胀卷积核对待还原壁画图像和参考壁画图像进行滤波和分割，生成图像分割标签。 6.根据权利要求5所述壁画图像色彩还原方法，其特征在于，所述图像分割标签包括面孔、手臂、衣服、头饰。 7.一种壁画图像色彩还原装置，其特征在于，包括：获取单元，用于获取待还原壁画图像和参考壁画图像，所述参考壁画图像为与所述待还原壁画图像结构相似度满足第一阈值的图像；提取单元，用于提取所述待还原壁画图像和参考壁画图像的色彩特征；分割单元，用于根据所述色彩特征，对所述待还原壁画图像和参考壁画图像进行语义分割，得到所述待还原壁画图像的第一标签块和参考壁画图像的第二标签块；寻找单元，用于在所述第二标签块中寻找与所述第一标签块相似度满足第二阈值的目标标签块，根据所述目标标签块对所述待还原壁画图像进行色彩还原，得到第一色彩还原图像；色彩增强单元，用于最小化所述第一色彩还原图像与待还原壁画图像的欧氏距离，得到第二色彩还原图像；噪声抑制单元，用于对所述第二色彩还原图像进行噪声抑制处理。 8.根据权利要求7所述壁画图像色彩还原装置，其特征在于，所述语义分割单元用于：根据所述色彩特征，对所述待还原壁画图像和参考壁画图像进行语义分割，生成图像分割标签；将分割后的结果作为附加通道添加到所述待还原壁画图像和参考壁画图像中，并且通过连接分割通道和损失函数来增强卷积神经网络，如下式所示： Gc(x)＝[F(x)Mc(xi)][F(x)Mc(xi)]T. Gc(xr)＝[F(xr)Mc(xr)][F(xr)Mc(xr)]T. 式中，C是语义分割标签中的通道数，Nc是膨胀卷积的过滤器个数，F(x)和F(xr)分别是输出壁画图像和参考壁画图像的特征映射图，Mc(xi)和Mc(xr)分别是表示通道C的语义分割映射，Gc(x)表示F(x)相应的映射矩阵，Gc(xr)表示F(xr)相应的映射矩阵。 9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-6中任一项所述方法的步骤。 10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-6中任一项所述方法的步骤。
引用专利	CN107862293A;CN108062756A;CN108629747A;CN109345540A;CN109377537A;CN109584178A;CN110728639A;CN110781899A
被引用专利数量	0
简单法律状态	失效
文献类型	专利
条目标识符	https://ir.lut.edu.cn/handle/2XXMBERH/107512
专题	计算机与通信学院
推荐引用方式 GB/T 7714	朱红蕾,尹文玉,徐志刚. 一种壁画图像色彩还原方法及装置[P]. 2020-09-18.