数字图像处理课程

1. 图像去噪

图像去噪的目标是给定的含有噪声的退化图像，能够有效地将图像中的原始信号和噪声信号进行分离，使得处理后的图像逼近未受噪声干扰的原始图像，使其符合人眼视觉特性，从而有助于对图像的进一步的后续分析与处理。自然图像的噪声主要包括加性高斯噪声和脉冲噪声，其产生原因主要有两方面：一方面是在图像采集过程中，由光学或电子系统的误差引起的；另一方面是图像在传输信道过程中，受外界干扰而引起的。去噪过程如图1所示。

图1 图像混合高斯和脉冲噪声去除问题

Fig.1 Image mixed Gaussian and impulse noise removal

通常，自然图像在采集和传输过程中，都会受到混合高斯和脉冲噪声的影响，即噪声图像成像模型可以表示为：

yx （1） yN(y)imp其中，x表示原始的未加噪声图像；表示符合均值为零，方差为的高斯分布加性噪声；

y为中间过程产生的含有高斯噪声的图像；Nimp表示加入脉冲噪声的污染算子；y表示最终

观测得到的含有两种噪声的图像。根据上述噪声图像成像模型，图像混合噪声去除问题可以描述为从给定的噪声图像y，设计图像模型和处理算法从噪声图像中重建出原始图像x。

针对加性噪声问题，主要有空域滤波方法与变换域方法（小波变换、稀疏冗余表示模型）等。特别是，目前主流的三种方法是建立在稀疏表示模型的基础上，分别是BM3D算法、LSSC算法与CSR算法，将图像自相似性和稀疏性相结合。针对脉冲噪声问题，主要有中值滤波算法，以及保持图像边缘结构的变分方法。

图像去噪的主要任务：利用图像去噪算法，对典型噪声图像进行去噪实验对比，并利用均方误差、峰值信噪比、结构相似度（SSIM）与特征相似性的索引测度（FSIM）等评价方法比较去噪效果，并深入分析现有去噪算法的优劣。

2. 图像超分辨率重建

图像超分辨率重建的基本思想是把同一场景中的低分辨率退化图像序列重建出一幅（或序列）高分辨率清晰图像的复原技术，将稀疏性作为先验信息正则化超分辨率重建问题，解决固有的传感器阵列排列密度限制引起的图像分辨率低的问题，弥补传感器硬件方面的不足。如2图所示，图像超分辨率重建结果。

图2 图像的超分辨率重建

Fig.2 Image super-resolution reconstruction

在运动变形、光学模糊、运动模糊、低采样率、随机噪声等多种退化因素影响下，图像采集系统往往获取的是具有混叠效应的低分辨率噪声模糊图像。目前，现有的超分辨率重建方法存在不适定、计算复杂度高等问题，因此，低分辨率退化图像与高分辨率图像间的数据退化模型对重建至关重要。基于稀疏表示理论的超分辨率图像重建的退化模型为：

gkDkBkFkk, k1,2,,K （2）

,k显而易见，多帧图像的超分辨率重建的目标是从图像序列gkk1,2,重建出大小为

q1n1q2n2的高分辨率图像。

根据采用的理论方法和技术手段，图像超分辨率重建方法大致可以分为以下两类：基于重构约束的超分辨率重建和基于学习的超分辨率重建。基于重构约束的图像超分辨率重建代表性方法包括迭代反投影方法、凸集投影方法以及最大后验概率估计方法等。基于学习的超分辨率重建方法主要包括最近邻搜索算法、马尔科夫网络模型、流主成分分析模型、神经网络模型、形学习方法与基于稀疏表示的方法等。

图像超分辨率重建的主要任务：利用图像超分辨率重建算法，对典型图像进行超分辨率重建实验对比，并利用均方误差、信息熵、峰值信噪比等评价方法比较超分辨率重建效果。

3. 图像复原

图像复原的目标是给定部分内容缺失的图像，利用已有的图像信息复原出缺失的部分。如图3所示，是将图像中的文字和其他成分去除的问题。

图3 图像文字等其他成分去除问题 Fig.3 The problem of text removal

图像部分内容缺失的退化机制可以在数学上形式化表示如下：

yHx （3）

其中，x表示原始的无内容缺失的图像；整个过程可能会引入噪声，表示符合均值为零，方差为的高斯噪声；H是一个只含0或者1的二值模板对角矩阵（在图像内容缺失的像素位置为0，反之为1）；y表示观测得到的内容缺失的退化图像。显而易见，图像修补问题可以描述为从给定的内容缺失的退化图像y复原重建出原始的无内容缺失的图像x。

根据采用的理论方法和技术手段，图像复原大致可以分为基于扩散的方法、基于样例的图像复原算法以及基于稀疏表示模型的图像复原方法。

基于扩散的图像修补算法在填充非纹理区域或这相对较小的缺失区域已经取得了非常显著的效果。不过，这些方法往往在纹理区域或者较大的缺失区域引入平滑效应。跟基于扩散的图像修补算法相比，基于样例的图像修补算法对修补大块的缺失区域有着明显的优势。基于稀疏表示的图像复原方法能够有效地填补由纹理和结构混合构成的区域，特别是填充缺失的块区域。但是，跟基于扩散方法一样，这类方法在填补大范围缺失区域时，对结构细节复原有可能会失效，而且也会引入平滑效应。

图像复原的主要任务：利用图像复原算法，对模糊、缺失图像进行复原实验对比，并利用图像梯度、图像锐度算子、复原前后图像对比度、平均亮度和相关度等评价方法比较与评价图像复原效果，深入分析图像复原算法的优劣。

4. 图像去模糊

图像去模糊的目标是给定一幅模糊图像，重建出相应的原始清晰的图像，如图4所示。

图4 图像去模糊问题

Fig.4 Image de-blurring problem

一般情况下，都是假定已知模糊核，即生成模糊图像的整个退化过程是已知，具体的模糊图像成像模型在数学上形式化表示为：

yHx （4）

其中，x表示原始的清晰图像；整个过程可能会引入噪声，表示符合均值为零，方差为的高斯噪声；H是一个只模糊算子；y表示观测得到的模糊退化图像。显而易见，图像去模糊问题可以描述为从给定的模糊退化图像y重建出原始的清晰图像x。

针对图像去模糊问题的病态特性（ill-posed nature），利用将真实图像的先验知识或者噪声对真实解的影响嵌入的正则化技术已经被证明是一个非常有效的手段。在图像去模糊问题中，主要有基于投影方法的图像去模糊、基于变分方法的图像去模糊以及基于稀疏表示的图像去模糊方法等。特别的是，在稀疏表示领域中，NCSR和IDDBM3D是去模糊效果较好的两种主流方法。IDDBM3D 通过建立 BM3D 变分框架，提出了一个迭代去模糊方法的算法。NCSR 利用图像非局部的冗余特性来降低稀疏编码的噪声，提出了一个中心化的稀疏限制，从而得到更加鲁棒准确的稀疏表示系数。

图像去模糊的主要任务：利用图像去模糊算法，对运动模糊图像进行去模糊实验对比，并利用均方误差、模糊测度、峰值信噪比等评价方法比较与评价图像去模糊效果，以及比较图像去模糊算法的有效性。

5. 图像配准

图像配准在目标检测、模型重建、运动估计、特征匹配，肿瘤检测、病变定位、血管造影、地质勘探、航空侦察等领域都有广泛的应用。其基本思想是将两个不同的图像，利用计算机技术实现对于一幅图像寻求一种或者一系列的空间变换，使它与另一幅图像上的对应点达到空间上的一致，这种一致是指实际目标上的同一点在两幅匹配图像上有相同的空间位置。配准的结果应使两幅图像上所有的相关点，或至少是所有具有显著特征的点都达到匹配。不是一般性，参考图像，待配准的浮动图像以及配准后的图像，如图5所示。

图5 图像配准问题

Fig.5 Image registration problem

一般情况下，在待配准的两幅图像中，假设保持固定不动的图像称为参考图像，另一幅图像称为浮动图像。配准时,对浮动图像不断地进行空间变换，直到两幅图像的同一空间位置上的点对应相同的空间位置。图像配准的数学模型可以表示为：

TargmaxS(T(IF),IR) （5）

T其中，IR为参考图像，IF为浮动图像，T为空间变换，S()相似性测度函数。显而易见，图像配准问题可以描述为寻求参考图像与浮动图像的最大相似度测度。

根据待配准图像之间的关系，将图像配准分为多源图像配准、基于模板的配准、多角度图像配准、时间序列图像配准四大类，如图6所示。

图6 图像配准分类以及应用

Fig.6 The classification of image registration

目前，较为常用的是按照在图像配准算法中对待配准图像信息的处理方法进行分类，可以分为三类：基于待配准图像灰度信息的配准方法、基于待配准图像变换域内信息的配准方法（小波变换、稀疏表示、低秩表示），以及基于待配准图像特征信息的配准方法（基于特征点、特征区域与特征边缘的配准算法）。

图像配准的主要任务：利用图像配准算法，对参考图像与浮动图像进行配准实验对比，并利用互信息、灰度均方差、距离测度、相关性测度、配准率、配准误差等评价方法比较与评价图像配准效果，以及比较图像配准算法的有效性。