高等学校预防与处理学术不端行为办法

高等学校预防与处理学术不端行为办法网址:

http://www.moe.gov.cn/srcsite/A02/s5911/moe_621/201607/t20160718_272156.html

学术抄袭等不端行为,是可耻的!!

 

 

Advertisements

紧框架特征字典应用于图像修复的方法

作者:深圳大学李炎然

本技术方案提出了一种基于紧框架特征字典的图像修复方法,利用离散余弦变换DCT-Ⅱ型正交矩阵,构造出具有冗余性的离散余弦变换DCT框架系统,并成功应用于图像修复领域,有效的修复图像的文理结构信息。图像在DCT小框架基的分解下,得到的框架系数代表图像不同方向或不同阶的边缘特征信息,同时利用框架系数稀疏的先验知识,建立基于加权范数的DCT框架系数优化模型,提出基于逼近算子的迭代算法获取模型的解。在概率模型的假设下,利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布,同时假设模型噪声的高斯分布条件下,利用MAP技术建立自适应稀疏软阈值算子,对图像进行几何框架系数稀疏表示,既能够保护边缘特征又能滤除噪声。

背景技术

随着计算机处理能力的提高,利用计算机辅助人类完成任务越来越具备智能化处理能力。在日常生活中,信息化程度越来越高,数字信息技术在社会各个领域都得到广泛的应用,特别是各种移动电子设备和无线网络普及度的不断提高,随之而来的是各种纷繁复杂的数据以及如何对这些数据分析和处理,例如对摄像设备获取得到的图像数据进行加工处理,修改画面的某些场景。图像修复(Image Inpainting)问题就是研究图像智能化算法,自动修复图像中部分缺失或破损区域信息,并且修复的效果需要合理符合图像的局部结构。图像修复算法能够让计算机具有艺术家的创作才华,填补完成符合人的视觉要求的图像缺失信息,是数字图像处理领域近年来热门的研究方向之一。

计算机智能化水平越来越高,如智能手机,人与计算机之间的交互更具智能化和人性化,利用图像修复技术能够自动填补视频中某些场景或区域。在人们生活中城市智能化越来越普及,监控摄像头广泛应用于获取城市状况信息,但是由于监控环境和硬件条件的限制,获取的视频信息部分受到遮挡或模糊,需要利用修复技术还原缺失部分并填充放大图像,重现出真实画面的图像信息。如何从被噪声或奇异点污染或部分缺失的观测数据中恢复出原始数据结构信息,已成为图像与计算机视觉、机器学习、数据挖掘等众多研究领域所面临的一个核心的研究课题。

图像修复问题的难点就是要让填补的信息满足人的视觉效果同时符合实际的物理结构。解决图像修复问题大致可分成两大类方法:基于PDE(Partial Differential Equations)方法和基于样本特征(Patch-based)方法。由于在数据缺失的区域并不存在任何有用信息,需要人为地对其进行先验假设,基于PDE或样本基图像修复方法,都需要假设已知数据和填补的数据应该具有同样的统计特性或几何结构信息。在先验的信息的假设下,建立具有先验的信息约束模型,能够将病态的图像修复逆问题转换成适定问题,将局部或全局的图像先验结构特征逐步地扩充到数据缺失区域中。基于样本基算法是利用非局部的图像特征数据,逐片填充缺失区域的信息,对大区域缺失数据的修复可以得到比较好的视觉效果。将缺失区域的边界分成很多图像块(Patch),图像块被赋予不同的优先等级,优先级高的图像块需要优先填补,才能有效修复出图像的边缘结构信息。

基于信号表示的稀疏性和冗余性而提出的稀疏表示(Sparse Representation)方法是一种有效描述信号的方法,能够简单有效地在数学上描述或分析数据,并成功应用于图像处理领域。在冗余紧框架下,利用冗余紧框架系统对图像进行分解,然后对系数进行伸缩处理,能够比正交基更好地保护图像边缘细节;对于图像修复问题,假设已知和未知的图像数据具有相同的稀疏表示特性,建立关于系数冗余基系数稀疏的优化模型,提出迭代算法并利用硬阈值算子或软阈值算子对冗余基系数进行收缩稀疏表示,逐步恢复图像原有结构信息。基于冗余基稀疏表示图像修复算法,如曲波变换系统(Curvelet Transform),紧框架系统(Tight Frame)能有效修复小区域数据缺失信息。然而,与基于PED算法相似,基于冗余基的稀疏表示算法对大的数据缺失区域并不能得到较好的结果。

利用非局部(Nonlocal)图像特征,通过训练学习能够对图像块信息进行稀疏表示的特征字典,能够有效重建出图像结构。利用范数度量对图像块进行聚类,然后利用奇异值分解算法对每一组相似的图像块特征进行训练得到对应的特征字典。对于特征字典的训练学习,K-SVD算法能够比较有效地解决训练学习字典的非凸优化模型问题。特征字典能够有效得表示图像块特征,但是字典中包含的原子特征的个数即字典的维数需要根据实际的特征进行自适应选择。可以利用最小描述长度MDL(Minimum Description Length)原则确定字典维数,并用穷举法求解确定字典维数。但是样本的维数太大时,MDL算法的效率不高。对于字典训练学习很大依赖于图像块样本的选择,如何更好地对将度量图像块特征并对特征进行归类,获取更有代表性特征字典需要进一步研究。

如图1 (a) 所示,黑色区域是数据缺失范围;图1(b)是非专利文献1(Z. Xu and J. Sun, “Image inpainting by patch propagation using patch sparsity”, IEEE Transactions on Image Processing, vol. 19, no. 5, pp. 1153–1165, 2010)中的算法修复得到的结果,图像的文理结构并没有很好得正确填补出来;图1(c)是著名图像处理软件Adobe Photoshop CC 2014的内容识别填充(Content-Aware Fill)技术修复得到的结果,能够填补一定的图像的文理结构信息,但是其结果并不十分满足人的视觉要求。因此,根据先验假设填充满足人的视觉习惯的图像结构信息,保持图像全局与局部一致性相结合的高质量图像是十分关键的。

主要技术内容

为解决现有技术中存在的问题,本技术方案提出了一种基于紧框架特征字典的图像修复方法,本技术方案具体通过如下技术方案实现:

一种基于紧框架特征字典的图像修复方法,所述方法包括以下步骤:

  1. 一种基于紧框架特征字典的图像修复方法,其特征在于,所述方法包括以下步骤:

S1:将图像数据划分成若干个图像块,其中,包括需要修复的目标图像块PT,假设目标结构特征VVV453

S2:利用DCT框架系统,将空间域的图像结构信息变换到DCT框架域中,不同的频带框架系数代表不同的频带特征,其中,所述DCT框架系统利用离散余弦变换DCT-Ⅱ型正交矩阵构造出来;

S3:从已知的图像数据区域中选取与所述目标图像块PT具有相似结构特征的图像块,构成对所述目标图像块PT具有相似特征的样本特征字典VVV4752.png,其中VVV666.png是第i个样本特征,利用框架系数稀疏的先验知识,建立基于加权VVV13211范数的DCT框架系数优化模型,基于逼近算子的迭代算法获取所述模型的解,构造出合适的特征字典VVV1231.png

S4:利用构造的特征字典预测估计出目标图像特征信息即VVV903.png,其中,VVV934.png为线性组合系数;

S5:参照估计得出的目标图像特征信息对图像进行修复。

  1. 其特征在于:所述步骤S3中,在概率模型的假设下,利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布,同时假设模型噪声的高斯分布条件下,利用MAP技术建立自适应稀疏软阈值算子,对图像进行几何框架系数稀疏表示。
  2. 其特征在于:所述利用框架系数稀疏的先验知识,建立基于加权VVV13211范数的DCT框架系数优化模型,基于逼近算子的迭代算法获取所述模型的解,构造出合适的特征字典具体为:构造有约束的正则化模型框架下:VVV1253.png

其中,VVV1394.png是系数约束项,VVV1292.png是特征的线性组合与目标特征的逼近程度,s是解的约束空间,所述约束空间为仿射包、锥包或凸包;系数约束项VVV1394是系数的稀疏性,用VVV13211范数或VVV12048范数度量空间度量;是目标特征与之间逼近程度;利用近似凸优化与的逼近算子作为求解VVV12048的稀疏先验问题。

  1. 其特征在于:大小为VVV1719.png的DCT-Ⅱ型的正交矩阵表示为:

VVV1739.png

将矩阵的每一行系数作为一维滤波器,其中第一行是低通滤波器,其它各行是高通滤波器。

其中是系数约束项,是特征的线性组合与目标特征的逼近程度,是解的约束空间,所述约束空间为仿射包、锥包或凸包;系数约束项是系数的稀疏性,用范数或范数度量空间度量;是目标特征与之间逼近程度,利用近似凸优化与的逼近算子作为求解的稀疏先验问题。

本技术方案的有益效果是:本技术方案利用DCT框架系统在不同频带检测图像结构特征信息,研究DCT小框架域中样本特征选取问题,解决图像块结构相似性的度量技术难点,具有创新性;针对样本特征字典所生成的线性特征结构空间,研究有约束空间特征字典构造问题,具有理论性和针对性;利用近似凸优化与的逼近算子作为求解的稀疏先验问题,有效地求解不可微的非凸优化模型。

附图说明

图1(a)是图像数据缺失区域(黑色);

图1(b)是非专利文献1中的算法的修复结果;

图1(c)是Adobe Photoshop CC 2014内容识别填充技术的修复结果;

图2是图像块示意图;

图3是对候选图像进行与目标图像块PT相似的特征图像块选取;

图4是图像修复问题示意图;

图5(a)是不同频带的框架系数示意图;

图5(b)是框架高频系数大小的统计分布图;

图6(a)是样本在仿射包约束条件下的几何意义;

图6(b)是样本在锥包约束条件下的几何意义;

图6(a)是样本在凸包约束条件下的几何意义;

图7是目标图像块PT与在不同度量下不同结构图像块之间的相似程度示意图。

具体实施方式

下面结合附图说明及具体实施方式对本技术方案进一步说明。

在基于样本特征修复框架下,需要将图像数据划分成很多图像块(Patch),然后对缺失区域逐块进行填补修复图像的结构信息。如附图2所示,对于目标图像块PT,需要从已知的图像数据区域中获取与之具有相似结构特征P1P2,构成对目标图像块具有相似特征的样本特征字典。

估计图像块之间的相似性,不能简单利用范数度量图像块之间差的大小来决定它们之间的相似度,如范数会倾向于选择均匀光滑的图像块与纹理结构的图像块具有相似性,而且结构相似的图像块,其数值也不一定相近。同时图像特征也具有方向性,统计直方图并不具备区分方向性的特点,容易选择出方向性不一致的样本特征。样本基特征字典的构造问题需要能够准确度量图像块之间的相似性距离空间,然而样本特征具有方向性和结构特性,需要研究新理论和技术手段或方法解决问题。

对于给定的目标图像块,可能并不存在与其完全相同的图像块特征,需要研究能够完备地或近似逼近表示图像目标信息的相应特征字典。构造特征字典涉及特征字典的特征数目,过多的特征数会导致过高的计算复杂度,太少的特征数可能又无法表示目标。如附图3所示,左半边图表示与图像块PT特征相似特征,右半边图表示从左边图中有效地选择特征,确定特征数目提高算法效率。同时,由于只已知目标图像块的部分结构信息,而填补的数据需要从具有同样的统计特性或几何结构信息的特征字典中预测估计得到,所以需要考虑将图像的二维几何方向特征信息嵌入到图像特征字典的构造当中。紧框架能够提取图像的局部特征信息,需要利用其方向特性嵌入到特征字典的构造中,特别是当观察得到的图像特征样本数据也存在数据缺失时,建立基于紧框架特征字典学习问题,解决图像特征具有方向性的特征字典构造问题。

图像经过紧框架变换,可以得到不同频带的框架系数,相同区域不同频带的框架系数表征不同的图像局部信息特征。在紧框架变换域中,大的框架系数表示该区域可能是边缘细节,小的系数可能是平滑区域或噪声。局部的框架系数代表某一方向结构特征,度量空间域图像块之间的相似性可以转换到框架域中估计对应位置的框架系数。图像细节信息,例如边缘、点、形状轮廓等特征,某种程度是某一频带的信号特征,利用不同频带的高频特征信息,以便更好地区分图像块特征之间的差异性。因此,研究基于紧框架域的图像特征相似性度量问题是本技术方案首先研究的重点之一。

在结构特征字典的构造过程中,字典需要能够逼近或表示已知目标图像块,预计的局部结构尽量的接近或相似。由非局部的图像特征构成的空间需要满足特定的条件,而不仅仅是数据上的逼近,而且需要满足已知的图像二维几何结构,同时特征字典需要某一特定的空间约束,得到特征字典才能符合视觉需要。在二维几何解空间有约束的先验条件下,建立合适的结构特征字典学习问题。因此,研究有线性约束空间的结构特征字典学习问题是本技术方案的另一关问题。

在图像修复过程中,填补的图像信息与周围区域结构、纹理结构需要一致。紧框架能够提取图像多频带的局部结构信息,利用不同频带的结构特征,研究融合局部特征与区域特征一致性。 在空间域上,利用构造的结构特征字典线性组合预测逼近目标图像块,同时将稀疏性作为先验条件挑选组合字典特征。线性系数稀疏性可以利用作为先验约束条件进行准确度量,是度量向量的非零个数,但是建立特征字典的稀疏约束问题仍然需要融合区域的结构或纹理特征,满足实际的视觉效果。因此,研究紧框架域和空间域结构特征融合问题是本技术方案需要解决的第三关键问题。

紧框架(Tight Frame)简称框架,能够有效检测图像的局部特征信息,图像在框架基的分解下结合稀疏表示技术能够保护图像的边缘细节,在图像处理中得到很好的应用。小框架基没有线性独立的要求,框架系统具有冗余性,比正交基系统可以更灵活,更容易结合图像的先验知识,解决图像中的问题。近年来,以新颖的研究视角构造基于离散余弦变换DCT的框架理论,有效地保护图像的文理结构信息,并应用于图像修复问题。二维离散余弦变换DCT-Ⅱ型正交矩阵,能有效地将信息能量集中到少数的非零变换系数上,广泛应用于图像压缩。以DCT-II型为研究基础,假设大小为VVV1719的DCT-Ⅱ型的正交矩阵表示为:

VVV1739

将矩阵的每一行系数作为一维滤波器,其中第一行是低通滤波器,其它各行是高通滤波器。如果用Ci表示矩阵C除以VVV8215.png的第i行,矩阵VVV8275.png表示滤波器Ci在周期延拓条件下的矩阵表示形式,VVV8350.png表示向量x的滤波器系数。构造VVV8275证明矩阵满足:

(1)VVV8427.png

也就是说,从滤波器系数VVV8350完全重建出向量x。

利用DCT框架系统,可以将空间域的图像结构信息变换到DCT框架域中,不同的频带框架系数代表不同的频带特征。在某种程度上可以认为,空间域上的结构被DCT框架基分解成不同方向不同频带的特征系数。由于图像是二维数据,一维的框架基通过张量的形式,可以扩张成二维的框架系统。例如一维的框架基系统m=3,张成二维的框架系统包括1个低通框架基和8个高通框架基,并对图5(a)左上角的图像进行DCT框架基进行分解,得到不同频带的框架系数,其中,图5(a) 左上角为原图,左下角为低频信息,其它为DCT框架高频系数。由图5(a)所知,在不同的框架基分解下得到的特征是有所差异的,在图像的相同位置不同频带的框架系数是被检测出不同的边缘信息。度量不同的频带上度量特征之差,等价于度量图像块的之间相似度。不同频带的高频特征是区分相似性的重要信息,能够更好地区分不同图像块之间差异性。图5(b)是图5(a)框架高频系数大小的统计分布图,大部分框架系数接近0,也即框架系数确实具有稀疏分布的先验特性。由于图像块数值上的接近程度并不能代表其结构的相似程度,度量图像块之间的相似性可以转换度量图像块的框架系数的概率之间的接近程度。因此研究代表局部特征信息的框架系数,在概率模型框架下度量图像特征的相似性。

假设目标结构特征VVV453,给定的相似样本特征字典VVV4752,其中VVV666是第i个样本特征。对于特征字典的构造,需要确定字典特征数目,减少错误候选特征的干扰,使构造的特征字典VVV1231能够有效预测估计出目标图像特征信息即VVV903,其中线性组合系数为VVV934。在线性空间的假设下,目标特征需要包含于样本特征空间中。然而不同的线性组合所张成的空间具有不同的几何意义,如附图6(a)~(c)所示,也即问题是在不同的空间中需找与目标图像块一致的结构特征。假设集VVV9356.png是样本特征字典中的个样本基组成,每个样本特征看成是中的一个点。由中所有点的仿射线性组合生成的集合称为仿射包(Affine Hull),定义如下:

(2)VVV9539.png

仿射包对组合系数的约束是所有系数之和为1,其几何意义如图6(a)所示,仿射包是经过三点的平面。当仿射包作为解的约束空间,相当于求解经过样本特征的超平面与目标图像块的逼近程度。当中所有点的锥体线性组合生成的集合称为锥包(Conic Hull),定义如下:

(3)VVV9715.png

锥包对组合系数的约束是所有系数大于0,其几何意义如图6(b)所示,锥包是经过0点,并其边界经过两点包含的区域。当锥包作为解的约束空间,相当于求解经过样本的锥曲面与目标图像块的逼近程度。当中所有点的凸的线性组合生成的集合称为凸包(Convex Hull),定义如下:

(4)VVV9894.png

凸包对组合系数的约束是所有系数大于0并且系数之和为1,其几何意义如图6(c)所示,凸包是包括三点的最小凸集(三角形区域)。当凸包作为解的约束空间,相当于求解凸包中与目标图像块的最逼近点。

根据样本特征线性空间的几何意义,系数在不同的空间约束条件下,会在不同的解空间中产生新的目标特征。对于特征字典的构造问题,可以将该问题转换为线性问题对给定特征的逼近,通过对系数的先验假设,嵌入框架结构特征,建立系数的优化模型构造出合适的特征字典,同时约束由特征组合生成的特征空间,满足目标图像块的特征结构。对于本技术方案研究的问题可以归结为有约束的正则化模型框架下:

(5)VVV1253

其中VVV1394是系数约束项,VVV1292是特征的线性组合与目标特征的逼近程度,s是解的约束空间如仿射包、锥包或凸包。系数约束项VVV1394是系数的稀疏性,例如用VVV13211范数度量或VVV12203数度量空间度量。VVV1292 是目标特征y与VVV1556.png之间逼近程度,对于不同的优化问题,需要不同的度量距离估计二者之间的差异程度。在填补修复过程中,对于框架域和空间域结构特征融合问题,交替考虑框架域填补的结构特征与空间域样本特征字典线性组合预计结构特征之间的关系,二者之间既相互约束又互相促进。

建立的稀疏优化模型存在不可导不光滑问题,需要利用新的理论工具进行求解,准确求解模型所定义的解空间。逼近算子(Proximity Operator)理论工具,能有效解决图像处理中不光滑凸的优化问题。假设,实数凸函数,是非负常数,的逼近算子定义为:

(6)VVV10885.png

假设图像受随机高斯白噪声的污染和框架系数满足拉普拉斯独立同分布的情况下,利用逼近算子迭代求解基于加权范数的DCT小框架系数稀疏优化模型,用MAP技术自适应迭代更新正则化参数,成功解决图像恢复问题。在本技术方案基于紧框架特征字典的图像修复中,利用线性约束空间构造特征字典,融合框架域与空间域结构特征,解决图像特征的二维几何方向问题。

稀疏性的先验假设VVV12048空间中,由于VVV12048的非凸性,求解涉及VVV12048的非凸优化模型是困难的问题。VVV12012范数度量空间是度量空间中的最大凸集,用VVV12012范数代替VVV12048,相当于在的度量空间的子空间中,VVV12012用度量的凸空间搜索满足要求的解。近年来直接研究非凸优化模型,为直接求解的优化模型提供理论基础。令VVV10806.pngVVV11568.png,根据凸函数的逼近算子定义(7),将其扩展成的VVV12048逼近算子闭型形式:

(7)VVV11631.png

其中VVV11670.png表示一维非零的度量个数,每一维的逼近算子是硬阈值算子。由于VVV12048的非凸性,VVV12048逼近算子也是非凸函数。VVV12012逼近算子在各种稀疏表示问题中为建立有效地快速迭代算法,起到非常重要的作用。本技术方案相信VVV12048逼近算子同样起到类似VVV12012逼近算子效果,同时能够在更大求解空间中寻找更能满足问题的准确解。在解决非凸不光滑的理论基础上,采用解决VVV12012凸问题模型的思想用VVV12048逼近算子解决VVV12048优化模型问题。研究求解的稀疏优化问题,作为图像修复的重要技术手段,有效解决非凸不光滑问题。将特征字典与稀疏表示技术有机结合起来,研究的非凸优化模型,系统地研究解决病态的图像修复过程中的关键问题。由于优化模型(5)存在不光滑凸或非凸的函数和目标函数的不可微,需要利用迭代方法在高维空间中求解模型的解。利用逼近算子理论工具结合系数稀疏优化模型,研究建立交替迭代算法,解决模型(5)的求解问题。交替迭代方案可以分为两大步骤:步骤1求解模型关于系数稀疏的问题;步骤2求解系数在约束解空间中投影问题。

利用相似的非局部特征来填充目标图像块的缺失数据,需要在已知的数据区域中选择相似的特征结构。估计图像块之间的相似性,利用范数度量图像块之间差的大小来决定它们之间的相似度,但是范数作为度量距离会选择到结构不相似的图像块。如附图7所示,第1行是用范数度量距离下排序的结果,不相似的均匀光滑图像块P6比具有相似结构的图像块P2在度量距离更近似具有文理结构的目标图像块PT。实验表明度量图像块之间的相似性不能简度量其数值之差,同时结构相似的图像块,其数值也不一定相近。因此,需要考虑其结构和方向性,研究新的相似性度量方法,更有效地构造出样本特征字典。如附图7所示,第2行的排序是用DCT框架系数的概率进行排序的结果,能够准确区分出最接近目标的图像块P和最不接近的图像块P6。DCT小框架能够有效提取不同频带的图像局部特征信息,将小框架理论应用于基于样本的图像修复过程中,在小框架系数的统计概率模型下,研究基于DCT小框架域的图像块相似性度量,有效解决图像块之间的相似结构特征估计问题;将DCT框架和框架系数概率分布模型应用于度量图像块的特征结构相似性,图像块结构相似性排序结果如附图7的第2所示。图像块之间的不同结构特征能够准确地区分,初步结果凸显DCT框架系统与概率模型应用于样本特征字典的构造的有效性。

综上所述,本技术方案利用离散余弦变换DCT-Ⅱ型正交矩阵,构造出具有冗余性的离散余弦变换DCT框架系统,并成功应用于图像修复领域,有效的修复图像的文理结构信息。图像在DCT小框架基的分解下,得到的框架系数代表图像不同方向或不同阶的边缘特征信息,同时利用框架系数稀疏的先验知识,建立基于加权范数的DCT框架系数优化模型,提出基于逼近算子的迭代算法获取模型的解。在概率模型的假设下,利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布,同时假设模型噪声的高斯分布条件下,利用MAP技术建立自适应稀疏软阈值算子,对图像进行几何框架系数稀疏表示,既能够保护边缘特征又能滤除噪声。

 

VVV13478

图1(a)

VVV13488

图1(b)

VVV13488

图1(c)

VVV13505

图2VVV13510.png

图3VVV13515.png

图4

图5(a)

VVV13528

图5(b)

VVV13536.png

图6(a)

VVV13544.png

图6(b)

VVV13552.png

图6(c)

VVV13560.png

图7

紧框架特征字典应用于图像修复的方法

作者:深圳大学李炎然

本技术方案提出了一种基于紧框架特征字典的图像修复方法,利用离散余弦变换DCT-Ⅱ型正交矩阵,构造出具有冗余性的离散余弦变换DCT框架系统,并成功应用于图像修复领域,有效的修复图像的文理结构信息。图像在DCT小框架基的分解下,得到的框架系数代表图像不同方向或不同阶的边缘特征信息,同时利用框架系数稀疏的先验知识,建立基于加权范数的DCT框架系数优化模型,提出基于逼近算子的迭代算法获取模型的解。在概率模型的假设下,利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布,同时假设模型噪声的高斯分布条件下,利用MAP技术建立自适应稀疏软阈值算子,对图像进行几何框架系数稀疏表示,既能够保护边缘特征又能滤除噪声。

背景技术

随着计算机处理能力的提高,利用计算机辅助人类完成任务越来越具备智能化处理能力。在日常生活中,信息化程度越来越高,数字信息技术在社会各个领域都得到广泛的应用,特别是各种移动电子设备和无线网络普及度的不断提高,随之而来的是各种纷繁复杂的数据以及如何对这些数据分析和处理,例如对摄像设备获取得到的图像数据进行加工处理,修改画面的某些场景。图像修复(Image Inpainting)问题就是研究图像智能化算法,自动修复图像中部分缺失或破损区域信息,并且修复的效果需要合理符合图像的局部结构。图像修复算法能够让计算机具有艺术家的创作才华,填补完成符合人的视觉要求的图像缺失信息,是数字图像处理领域近年来热门的研究方向之一。

计算机智能化水平越来越高,如智能手机,人与计算机之间的交互更具智能化和人性化,利用图像修复技术能够自动填补视频中某些场景或区域。在人们生活中城市智能化越来越普及,监控摄像头广泛应用于获取城市状况信息,但是由于监控环境和硬件条件的限制,获取的视频信息部分受到遮挡或模糊,需要利用修复技术还原缺失部分并填充放大图像,重现出真实画面的图像信息。如何从被噪声或奇异点污染或部分缺失的观测数据中恢复出原始数据结构信息,已成为图像与计算机视觉、机器学习、数据挖掘等众多研究领域所面临的一个核心的研究课题。

图像修复问题的难点就是要让填补的信息满足人的视觉效果同时符合实际的物理结构。解决图像修复问题大致可分成两大类方法:基于PDE(Partial Differential Equations)方法和基于样本特征(Patch-based)方法。由于在数据缺失的区域并不存在任何有用信息,需要人为地对其进行先验假设,基于PDE或样本基图像修复方法,都需要假设已知数据和填补的数据应该具有同样的统计特性或几何结构信息。在先验的信息的假设下,建立具有先验的信息约束模型,能够将病态的图像修复逆问题转换成适定问题,将局部或全局的图像先验结构特征逐步地扩充到数据缺失区域中。基于样本基算法是利用非局部的图像特征数据,逐片填充缺失区域的信息,对大区域缺失数据的修复可以得到比较好的视觉效果。将缺失区域的边界分成很多图像块(Patch),图像块被赋予不同的优先等级,优先级高的图像块需要优先填补,才能有效修复出图像的边缘结构信息。

基于信号表示的稀疏性和冗余性而提出的稀疏表示(Sparse Representation)方法是一种有效描述信号的方法,能够简单有效地在数学上描述或分析数据,并成功应用于图像处理领域。在冗余紧框架下,利用冗余紧框架系统对图像进行分解,然后对系数进行伸缩处理,能够比正交基更好地保护图像边缘细节;对于图像修复问题,假设已知和未知的图像数据具有相同的稀疏表示特性,建立关于系数冗余基系数稀疏的优化模型,提出迭代算法并利用硬阈值算子或软阈值算子对冗余基系数进行收缩稀疏表示,逐步恢复图像原有结构信息。基于冗余基稀疏表示图像修复算法,如曲波变换系统(Curvelet Transform),紧框架系统(Tight Frame)能有效修复小区域数据缺失信息。然而,与基于PED算法相似,基于冗余基的稀疏表示算法对大的数据缺失区域并不能得到较好的结果。

利用非局部(Nonlocal)图像特征,通过训练学习能够对图像块信息进行稀疏表示的特征字典,能够有效重建出图像结构。利用范数度量对图像块进行聚类,然后利用奇异值分解算法对每一组相似的图像块特征进行训练得到对应的特征字典。对于特征字典的训练学习,K-SVD算法能够比较有效地解决训练学习字典的非凸优化模型问题。特征字典能够有效得表示图像块特征,但是字典中包含的原子特征的个数即字典的维数需要根据实际的特征进行自适应选择。可以利用最小描述长度MDL(Minimum Description Length)原则确定字典维数,并用穷举法求解确定字典维数。但是样本的维数太大时,MDL算法的效率不高。对于字典训练学习很大依赖于图像块样本的选择,如何更好地对将度量图像块特征并对特征进行归类,获取更有代表性特征字典需要进一步研究。

如图1 (a) 所示,黑色区域是数据缺失范围;图1(b)是非专利文献1(Z. Xu and J. Sun, “Image inpainting by patch propagation using patch sparsity”, IEEE Transactions on Image Processing, vol. 19, no. 5, pp. 1153–1165, 2010)中的算法修复得到的结果,图像的文理结构并没有很好得正确填补出来;图1(c)是著名图像处理软件Adobe Photoshop CC 2014的内容识别填充(Content-Aware Fill)技术修复得到的结果,能够填补一定的图像的文理结构信息,但是其结果并不十分满足人的视觉要求。因此,根据先验假设填充满足人的视觉习惯的图像结构信息,保持图像全局与局部一致性相结合的高质量图像是十分关键的。

主要技术内容

为解决现有技术中存在的问题,本技术方案提出了一种基于紧框架特征字典的图像修复方法,本技术方案具体通过如下技术方案实现:

一种基于紧框架特征字典的图像修复方法,所述方法包括以下步骤:

  1. 一种基于紧框架特征字典的图像修复方法,其特征在于,所述方法包括以下步骤:

S1:将图像数据划分成若干个图像块,其中,包括需要修复的目标图像块PT,假设目标结构特征VVV453

S2:利用DCT框架系统,将空间域的图像结构信息变换到DCT框架域中,不同的频带框架系数代表不同的频带特征,其中,所述DCT框架系统利用离散余弦变换DCT-Ⅱ型正交矩阵构造出来;

S3:从已知的图像数据区域中选取与所述目标图像块PT具有相似结构特征的图像块,构成对所述目标图像块PT具有相似特征的样本特征字典VVV4752.png,其中VVV666.png是第i个样本特征,利用框架系数稀疏的先验知识,建立基于加权VVV13211范数的DCT框架系数优化模型,基于逼近算子的迭代算法获取所述模型的解,构造出合适的特征字典VVV1231.png

S4:利用构造的特征字典预测估计出目标图像特征信息即VVV903.png,其中,VVV934.png为线性组合系数;

S5:参照估计得出的目标图像特征信息对图像进行修复。

  1. 其特征在于:所述步骤S3中,在概率模型的假设下,利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布,同时假设模型噪声的高斯分布条件下,利用MAP技术建立自适应稀疏软阈值算子,对图像进行几何框架系数稀疏表示。
  2. 其特征在于:所述利用框架系数稀疏的先验知识,建立基于加权VVV13211范数的DCT框架系数优化模型,基于逼近算子的迭代算法获取所述模型的解,构造出合适的特征字典具体为:构造有约束的正则化模型框架下:VVV1253.png

其中,VVV1394.png是系数约束项,VVV1292.png是特征的线性组合与目标特征的逼近程度,s是解的约束空间,所述约束空间为仿射包、锥包或凸包;系数约束项VVV1394是系数的稀疏性,用VVV13211范数或VVV12048范数度量空间度量;是目标特征与之间逼近程度;利用近似凸优化与的逼近算子作为求解VVV12048的稀疏先验问题。

  1. 其特征在于:大小为VVV1719.png的DCT-Ⅱ型的正交矩阵表示为:

VVV1739.png

将矩阵的每一行系数作为一维滤波器,其中第一行是低通滤波器,其它各行是高通滤波器。

其中是系数约束项,是特征的线性组合与目标特征的逼近程度,是解的约束空间,所述约束空间为仿射包、锥包或凸包;系数约束项是系数的稀疏性,用范数或范数度量空间度量;是目标特征与之间逼近程度,利用近似凸优化与的逼近算子作为求解的稀疏先验问题。

本技术方案的有益效果是:本技术方案利用DCT框架系统在不同频带检测图像结构特征信息,研究DCT小框架域中样本特征选取问题,解决图像块结构相似性的度量技术难点,具有创新性;针对样本特征字典所生成的线性特征结构空间,研究有约束空间特征字典构造问题,具有理论性和针对性;利用近似凸优化与的逼近算子作为求解的稀疏先验问题,有效地求解不可微的非凸优化模型。

附图说明

图1(a)是图像数据缺失区域(黑色);

图1(b)是非专利文献1中的算法的修复结果;

图1(c)是Adobe Photoshop CC 2014内容识别填充技术的修复结果;

图2是图像块示意图;

图3是对候选图像进行与目标图像块PT相似的特征图像块选取;

图4是图像修复问题示意图;

图5(a)是不同频带的框架系数示意图;

图5(b)是框架高频系数大小的统计分布图;

图6(a)是样本在仿射包约束条件下的几何意义;

图6(b)是样本在锥包约束条件下的几何意义;

图6(a)是样本在凸包约束条件下的几何意义;

图7是目标图像块PT与在不同度量下不同结构图像块之间的相似程度示意图。

具体实施方式

下面结合附图说明及具体实施方式对本技术方案进一步说明。

在基于样本特征修复框架下,需要将图像数据划分成很多图像块(Patch),然后对缺失区域逐块进行填补修复图像的结构信息。如附图2所示,对于目标图像块PT,需要从已知的图像数据区域中获取与之具有相似结构特征P1P2,构成对目标图像块具有相似特征的样本特征字典。

估计图像块之间的相似性,不能简单利用范数度量图像块之间差的大小来决定它们之间的相似度,如范数会倾向于选择均匀光滑的图像块与纹理结构的图像块具有相似性,而且结构相似的图像块,其数值也不一定相近。同时图像特征也具有方向性,统计直方图并不具备区分方向性的特点,容易选择出方向性不一致的样本特征。样本基特征字典的构造问题需要能够准确度量图像块之间的相似性距离空间,然而样本特征具有方向性和结构特性,需要研究新理论和技术手段或方法解决问题。

对于给定的目标图像块,可能并不存在与其完全相同的图像块特征,需要研究能够完备地或近似逼近表示图像目标信息的相应特征字典。构造特征字典涉及特征字典的特征数目,过多的特征数会导致过高的计算复杂度,太少的特征数可能又无法表示目标。如附图3所示,左半边图表示与图像块PT特征相似特征,右半边图表示从左边图中有效地选择特征,确定特征数目提高算法效率。同时,由于只已知目标图像块的部分结构信息,而填补的数据需要从具有同样的统计特性或几何结构信息的特征字典中预测估计得到,所以需要考虑将图像的二维几何方向特征信息嵌入到图像特征字典的构造当中。紧框架能够提取图像的局部特征信息,需要利用其方向特性嵌入到特征字典的构造中,特别是当观察得到的图像特征样本数据也存在数据缺失时,建立基于紧框架特征字典学习问题,解决图像特征具有方向性的特征字典构造问题。

图像经过紧框架变换,可以得到不同频带的框架系数,相同区域不同频带的框架系数表征不同的图像局部信息特征。在紧框架变换域中,大的框架系数表示该区域可能是边缘细节,小的系数可能是平滑区域或噪声。局部的框架系数代表某一方向结构特征,度量空间域图像块之间的相似性可以转换到框架域中估计对应位置的框架系数。图像细节信息,例如边缘、点、形状轮廓等特征,某种程度是某一频带的信号特征,利用不同频带的高频特征信息,以便更好地区分图像块特征之间的差异性。因此,研究基于紧框架域的图像特征相似性度量问题是本技术方案首先研究的重点之一。

在结构特征字典的构造过程中,字典需要能够逼近或表示已知目标图像块,预计的局部结构尽量的接近或相似。由非局部的图像特征构成的空间需要满足特定的条件,而不仅仅是数据上的逼近,而且需要满足已知的图像二维几何结构,同时特征字典需要某一特定的空间约束,得到特征字典才能符合视觉需要。在二维几何解空间有约束的先验条件下,建立合适的结构特征字典学习问题。因此,研究有线性约束空间的结构特征字典学习问题是本技术方案的另一关问题。

在图像修复过程中,填补的图像信息与周围区域结构、纹理结构需要一致。紧框架能够提取图像多频带的局部结构信息,利用不同频带的结构特征,研究融合局部特征与区域特征一致性。 在空间域上,利用构造的结构特征字典线性组合预测逼近目标图像块,同时将稀疏性作为先验条件挑选组合字典特征。线性系数稀疏性可以利用作为先验约束条件进行准确度量,是度量向量的非零个数,但是建立特征字典的稀疏约束问题仍然需要融合区域的结构或纹理特征,满足实际的视觉效果。因此,研究紧框架域和空间域结构特征融合问题是本技术方案需要解决的第三关键问题。

紧框架(Tight Frame)简称框架,能够有效检测图像的局部特征信息,图像在框架基的分解下结合稀疏表示技术能够保护图像的边缘细节,在图像处理中得到很好的应用。小框架基没有线性独立的要求,框架系统具有冗余性,比正交基系统可以更灵活,更容易结合图像的先验知识,解决图像中的问题。近年来,以新颖的研究视角构造基于离散余弦变换DCT的框架理论,有效地保护图像的文理结构信息,并应用于图像修复问题。二维离散余弦变换DCT-Ⅱ型正交矩阵,能有效地将信息能量集中到少数的非零变换系数上,广泛应用于图像压缩。以DCT-II型为研究基础,假设大小为VVV1719的DCT-Ⅱ型的正交矩阵表示为:

VVV1739

将矩阵的每一行系数作为一维滤波器,其中第一行是低通滤波器,其它各行是高通滤波器。如果用Ci表示矩阵C除以VVV8215.png的第i行,矩阵VVV8275.png表示滤波器Ci在周期延拓条件下的矩阵表示形式,VVV8350.png表示向量x的滤波器系数。构造VVV8275证明矩阵满足:

(1)VVV8427.png

也就是说,从滤波器系数VVV8350完全重建出向量x。

利用DCT框架系统,可以将空间域的图像结构信息变换到DCT框架域中,不同的频带框架系数代表不同的频带特征。在某种程度上可以认为,空间域上的结构被DCT框架基分解成不同方向不同频带的特征系数。由于图像是二维数据,一维的框架基通过张量的形式,可以扩张成二维的框架系统。例如一维的框架基系统m=3,张成二维的框架系统包括1个低通框架基和8个高通框架基,并对图5(a)左上角的图像进行DCT框架基进行分解,得到不同频带的框架系数,其中,图5(a) 左上角为原图,左下角为低频信息,其它为DCT框架高频系数。由图5(a)所知,在不同的框架基分解下得到的特征是有所差异的,在图像的相同位置不同频带的框架系数是被检测出不同的边缘信息。度量不同的频带上度量特征之差,等价于度量图像块的之间相似度。不同频带的高频特征是区分相似性的重要信息,能够更好地区分不同图像块之间差异性。图5(b)是图5(a)框架高频系数大小的统计分布图,大部分框架系数接近0,也即框架系数确实具有稀疏分布的先验特性。由于图像块数值上的接近程度并不能代表其结构的相似程度,度量图像块之间的相似性可以转换度量图像块的框架系数的概率之间的接近程度。因此研究代表局部特征信息的框架系数,在概率模型框架下度量图像特征的相似性。

假设目标结构特征VVV453,给定的相似样本特征字典VVV4752,其中VVV666是第i个样本特征。对于特征字典的构造,需要确定字典特征数目,减少错误候选特征的干扰,使构造的特征字典VVV1231能够有效预测估计出目标图像特征信息即VVV903,其中线性组合系数为VVV934。在线性空间的假设下,目标特征需要包含于样本特征空间中。然而不同的线性组合所张成的空间具有不同的几何意义,如附图6(a)~(c)所示,也即问题是在不同的空间中需找与目标图像块一致的结构特征。假设集VVV9356.png是样本特征字典中的个样本基组成,每个样本特征看成是中的一个点。由中所有点的仿射线性组合生成的集合称为仿射包(Affine Hull),定义如下:

(2)VVV9539.png

仿射包对组合系数的约束是所有系数之和为1,其几何意义如图6(a)所示,仿射包是经过三点的平面。当仿射包作为解的约束空间,相当于求解经过样本特征的超平面与目标图像块的逼近程度。当中所有点的锥体线性组合生成的集合称为锥包(Conic Hull),定义如下:

(3)VVV9715.png

锥包对组合系数的约束是所有系数大于0,其几何意义如图6(b)所示,锥包是经过0点,并其边界经过两点包含的区域。当锥包作为解的约束空间,相当于求解经过样本的锥曲面与目标图像块的逼近程度。当中所有点的凸的线性组合生成的集合称为凸包(Convex Hull),定义如下:

(4)VVV9894.png

凸包对组合系数的约束是所有系数大于0并且系数之和为1,其几何意义如图6(c)所示,凸包是包括三点的最小凸集(三角形区域)。当凸包作为解的约束空间,相当于求解凸包中与目标图像块的最逼近点。

根据样本特征线性空间的几何意义,系数在不同的空间约束条件下,会在不同的解空间中产生新的目标特征。对于特征字典的构造问题,可以将该问题转换为线性问题对给定特征的逼近,通过对系数的先验假设,嵌入框架结构特征,建立系数的优化模型构造出合适的特征字典,同时约束由特征组合生成的特征空间,满足目标图像块的特征结构。对于本技术方案研究的问题可以归结为有约束的正则化模型框架下:

(5)VVV1253

其中VVV1394是系数约束项,VVV1292是特征的线性组合与目标特征的逼近程度,s是解的约束空间如仿射包、锥包或凸包。系数约束项VVV1394是系数的稀疏性,例如用VVV13211范数度量或VVV12203数度量空间度量。VVV1292 是目标特征y与VVV1556.png之间逼近程度,对于不同的优化问题,需要不同的度量距离估计二者之间的差异程度。在填补修复过程中,对于框架域和空间域结构特征融合问题,交替考虑框架域填补的结构特征与空间域样本特征字典线性组合预计结构特征之间的关系,二者之间既相互约束又互相促进。

建立的稀疏优化模型存在不可导不光滑问题,需要利用新的理论工具进行求解,准确求解模型所定义的解空间。逼近算子(Proximity Operator)理论工具,能有效解决图像处理中不光滑凸的优化问题。假设,实数凸函数,是非负常数,的逼近算子定义为:

(6)VVV10885.png

假设图像受随机高斯白噪声的污染和框架系数满足拉普拉斯独立同分布的情况下,利用逼近算子迭代求解基于加权范数的DCT小框架系数稀疏优化模型,用MAP技术自适应迭代更新正则化参数,成功解决图像恢复问题。在本技术方案基于紧框架特征字典的图像修复中,利用线性约束空间构造特征字典,融合框架域与空间域结构特征,解决图像特征的二维几何方向问题。

稀疏性的先验假设VVV12048空间中,由于VVV12048的非凸性,求解涉及VVV12048的非凸优化模型是困难的问题。VVV12012范数度量空间是度量空间中的最大凸集,用VVV12012范数代替VVV12048,相当于在的度量空间的子空间中,VVV12012用度量的凸空间搜索满足要求的解。近年来直接研究非凸优化模型,为直接求解的优化模型提供理论基础。令VVV10806.pngVVV11568.png,根据凸函数的逼近算子定义(7),将其扩展成的VVV12048逼近算子闭型形式:

(7)VVV11631.png

其中VVV11670.png表示一维非零的度量个数,每一维的逼近算子是硬阈值算子。由于VVV12048的非凸性,VVV12048逼近算子也是非凸函数。VVV12012逼近算子在各种稀疏表示问题中为建立有效地快速迭代算法,起到非常重要的作用。本技术方案相信VVV12048逼近算子同样起到类似VVV12012逼近算子效果,同时能够在更大求解空间中寻找更能满足问题的准确解。在解决非凸不光滑的理论基础上,采用解决VVV12012凸问题模型的思想用VVV12048逼近算子解决VVV12048优化模型问题。研究求解的稀疏优化问题,作为图像修复的重要技术手段,有效解决非凸不光滑问题。将特征字典与稀疏表示技术有机结合起来,研究的非凸优化模型,系统地研究解决病态的图像修复过程中的关键问题。由于优化模型(5)存在不光滑凸或非凸的函数和目标函数的不可微,需要利用迭代方法在高维空间中求解模型的解。利用逼近算子理论工具结合系数稀疏优化模型,研究建立交替迭代算法,解决模型(5)的求解问题。交替迭代方案可以分为两大步骤:步骤1求解模型关于系数稀疏的问题;步骤2求解系数在约束解空间中投影问题。

利用相似的非局部特征来填充目标图像块的缺失数据,需要在已知的数据区域中选择相似的特征结构。估计图像块之间的相似性,利用范数度量图像块之间差的大小来决定它们之间的相似度,但是范数作为度量距离会选择到结构不相似的图像块。如附图7所示,第1行是用范数度量距离下排序的结果,不相似的均匀光滑图像块P6比具有相似结构的图像块P2在度量距离更近似具有文理结构的目标图像块PT。实验表明度量图像块之间的相似性不能简度量其数值之差,同时结构相似的图像块,其数值也不一定相近。因此,需要考虑其结构和方向性,研究新的相似性度量方法,更有效地构造出样本特征字典。如附图7所示,第2行的排序是用DCT框架系数的概率进行排序的结果,能够准确区分出最接近目标的图像块P和最不接近的图像块P6。DCT小框架能够有效提取不同频带的图像局部特征信息,将小框架理论应用于基于样本的图像修复过程中,在小框架系数的统计概率模型下,研究基于DCT小框架域的图像块相似性度量,有效解决图像块之间的相似结构特征估计问题;将DCT框架和框架系数概率分布模型应用于度量图像块的特征结构相似性,图像块结构相似性排序结果如附图7的第2所示。图像块之间的不同结构特征能够准确地区分,初步结果凸显DCT框架系统与概率模型应用于样本特征字典的构造的有效性。

综上所述,本技术方案利用离散余弦变换DCT-Ⅱ型正交矩阵,构造出具有冗余性的离散余弦变换DCT框架系统,并成功应用于图像修复领域,有效的修复图像的文理结构信息。图像在DCT小框架基的分解下,得到的框架系数代表图像不同方向或不同阶的边缘特征信息,同时利用框架系数稀疏的先验知识,建立基于加权范数的DCT框架系数优化模型,提出基于逼近算子的迭代算法获取模型的解。在概率模型的假设下,利用拉普拉斯概率分布先验模型近似几何框架系数的实际概率分布,同时假设模型噪声的高斯分布条件下,利用MAP技术建立自适应稀疏软阈值算子,对图像进行几何框架系数稀疏表示,既能够保护边缘特征又能滤除噪声。

 

VVV13478

图1(a)

VVV13488

图1(b)

VVV13488

图1(c)

VVV13505

图2VVV13510.png

图3VVV13515.png

图4

图5(a)

VVV13528

图5(b)

VVV13536.png

图6(a)

VVV13544.png

图6(b)

VVV13552.png

图6(c)

VVV13560.png

图7