基于平均梯度的多聚焦图像融合方法研究_陈超

󰀁4月

󰀁󰀁󰀁󰀁󰀁󰀁󰀁

山东建筑大学学报

󰀁󰀁󰀁󰀁󰀁󰀁󰀁

JOURNALOFSHANDONGJIANZHUUNIVERSITY

󰀁

Vo.l24

Apr.No.2

2009

文章编号:1673-7644(2009)02-0133-05

基于平均梯度的多聚焦图像融合方法研究

陈超,江涛,徐文学

实验室,山东青岛266510)

摘要:平均梯度反映图像中微小细节反差和纹理变化特征。本文针对光学成像系统聚焦范围有限,很难使得同一场景中所有物体都清晰显现这一特点,将平均梯度引入到多聚焦图像融合之中。首先将图像进行分块,然后计算每一块的平均梯度,根据平均梯度大小对相应块的像素进行处理,最后得到同一场景中所有物体都能清楚显现的融合图像。本文通过对多幅多聚焦图像进行融合和实验分析,以此来验证算法的有效性,对基于平均梯度的多聚焦图像融合算法性能进行了评价和分析,结果表明该算法是切实可行的,在多聚焦图像融合中可以取得较好的效果。

关键词:多聚焦图像;融合;平均梯度;质量评价中图分类号:TP391.4󰀁󰀁󰀁󰀁󰀁文献标识码:A

1

1,2

1

(1.山东科技大学测绘科学与工程学院,山东青岛266510;2.山东科技大学基础地理与数字化技术山东重点

Researchonmult-ifocusimagefusionmethodsbasedonmeangradient

CHENChao,JIANGTao,XUWen-xue

1

1,2

1

(1.SchoolofGeomatics,ShandongUniversityofScienceandTechnology,Qingdao266510,China;2.LaboratoryofFundamentalGeographicInformationandDigitalTechnology,KeyLaboratoryofShandong,Qingdao266510,China)

Abstract:Meangradientreflectsdifferencesofdetailsandvariationsofcharacteristicsoftextureintheiagem.Asthefocusingrangeofopticalimagingsystemislimited,itisdifficulttomakealltheobjectsclearlyshowedinthesamescene.Sothemeangradientissupposedtobeappliedinthefusionofmult-ifocusimage.Firstsourceimagesaredecomposedintoblocksbydifferencesize,andtheneachblock󰀁smeangradientiscomputed,Furthermore,pixelisprocessedbyuseofthesizeofmeangrad-ien.tFinallyfusionimageisobtainedwithalltheobjectsclearlyshowed.Inordertoverifytheeffec-tivenessofthisapproach,theauthormakesastudywithfusionapproachandexperimentalanalysisthroughmult-ifocusimages.Thisarticlestudiestheperformanceevaluationoftheproposedmult-ifocusiagefusionalgorithmbasedonthemeangradien.mtTheresultshowsthatthismethodispracticalwhichcanproducegoodeffectinthemult-ifocusimage.Keywords:mult-ifocusimage;fusion;meangradien;tqualitymeasurement

0󰀁简介

光学传感器(数码相机等)对某一场景进行成像时,由于场景中不同目标与传感器的距离不同,要

获取同一场景中所有物体都清晰的图像是很困难

的。而利用图像融合技术,对不同焦距的图像进行处理,提取各图像的清晰信息综合成一幅全面清晰的新图像,进而有效地提高图像信息的利用率和系

收稿日期:2008-10-30

作者简介:陈超(1982-),男,山东成武人,山东科技大学测绘科学与工程学院在读硕士,主要从事遥感图像处理与分析研究.

󰀁134󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁山东建筑大学学报󰀁󰀁󰀁󰀁

g=

1

󰀁

(M-1)(N-1)󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁2009年󰀁

统对目标探测识别的可靠性,更有利于人眼的感知或计算机的后续处理,例如图像分割、特征提取、目标识别等

[1,2]

M-1N-1

。

󰀁󰀁i=1j=1

(F(i,j)-F(i+1,j))2+(F(i,j)-F(i,j+1))22

(1)

所谓图像融合是指综合两个或多个源图像的信息,产生一幅新的对同一场景更为精确、更为全面、更为可靠的图像描述。目前多聚焦图像融合方法主要有:加权平均法、多分辨塔式算法、小波变换法、Curvelet变换法等。

加权平均法是一种最简单的图像融合方法,它不对参加融合的源图像进行任何变换或分解,而是直接对其像素的灰度值进行加权平均形成一幅新的图像,其优点是简单直观,适合实时处理,但简单的叠加会使图像的信噪比降低。多分辨塔式融合算法是较为常用的融合算法。它的基本思想是,首先构造输入图像的金字塔,再按一定的特征选择方法取值来形成融合金字塔,然后通过对金字塔实施逆变换来进行图像重建,以生成融合图像。多分辨塔式融合算法虽然简单,但是运算量大,并且在金字塔重建时,有时会出现不稳定性,特别是当多幅源图像之间存在明显差异时,融合图像会出现斑块。小波变换法的主要思想是,对不同聚焦图像分别进行小波正变换,再根据一定的融合准则选取适当的低频和高频小波系数,然后进行小波反变换便可得到融合后的清晰图像。小波融合算法由于抽样会引入噪声,并且数据冗余度大。Curvelet变换法与小波变换法基本原理相同,先对源图像进行Curvelet变换,然后对各层Curvelet系数按照一定融合规则进行融合,最后进行Curvelet反变换得到融合结果图像

[3-8]

式中:F(i,j)为图像的第i行,第j列的灰度值;M、N分别为图像的总行数和总列数。

󰀁󰀁󰀁󰀁a󰀁原始图像󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁b󰀁n=4

󰀁󰀁󰀁󰀁󰀁󰀁c󰀁n=8󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁d󰀁n=16

图1󰀁Lena原始图像和模糊图像

󰀁󰀁图1a、b、c、d分别为󰀁Lena󰀁原始图像、按n点平均重采样后图像。重采样后,图像大小不变,分辨率发生变化,图像逐渐变的模糊、不清晰。

分别计算它们的平均梯度,结果如表1所示。

表1󰀁图1中各图像的平均梯度

a

平均梯度

11.5802

b9.0873

c6.5019

d4.3720

。

本文针对多聚焦图像只能使得同一场景的某一

部分物体清晰的特点,在分析图像平均梯度的基础上,提出了基于平均梯度法。

[5]

的多聚焦图像融合算

󰀁󰀁从表1可以看出,随着图像清晰度的下降,平均梯度值也是逐渐降低的。这与前面的分析和平均梯度的意义是一致的。

1󰀁平均梯度(meangradient)

平均梯度是指图像的边界或影线两侧附近灰度有明显差异,即灰度变化率大,这种变化率的大小可用来表示图像清晰度。它反映了图像微小细节反差变化的速率,即图像多维方向上密度变化的速率,表征图像的相对清晰程度。平均梯度越大,图像层次越多,也就越清晰。其定义为:

2󰀁基于平均梯度的多聚焦图像融合

图2给出了基于平均梯度的多聚焦图像融合的流程图。我们在这里只考虑两幅源图像的情况,它可以扩充到任意多幅源图像。具体融合方法的实现如下:

󰀁第2期󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁陈超等:基于平均梯度的多聚焦图像融合方法研究󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁135

图2󰀁流程图

󰀁󰀁(1)分别将两幅多聚焦图像A,B分成M󰀁N大小的块。用Ai,Bi表示两幅图像中第i块;

(2)计算各块的平均梯度,用Mg,Mg表示图像A,B上第i块的平均梯度的大小;

(3)对Mgi,Mgi进行比较,根据比较结果制定融合规则,对源图像进行融合。

AB

Ai󰀁󰀁Mgi>Mgi+TH

B

gi=Bi󰀁󰀁MgAiAB

A

i

Bi

TH进行修改。

(3)

M󰀁N

这里G,F分别表示参考图像和融合后图像,M、RMSE=

N为图像大小。RMSE越小,说明它和参考图像越接近,融合效果越好。

󰀁󰀁

MN[G(i,j)-F(i,j)]

2

i=1j=1

(2)

(5)最后得到调整参数后融合结果图像。

(Ai+Bi)/2󰀁其他情况

这里TH是用户自定义的一个阈值。

(4)对(3)得到的融合结果图像进行校准和修正。这里采用RMSE来衡量它与参考图像之间的差异,根据RMSE值对(1)中的块大小M󰀁N和阈值

3󰀁实验结果

如图3为两幅多聚焦图像和融合参考图像。图像大小为640󰀁480。

󰀁󰀁󰀁󰀁󰀁󰀁a󰀁右聚焦图像󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁b󰀁左聚焦图像󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁c󰀁参考图像

图3󰀁原始图像和参考图像

󰀁󰀁分别采用不同的分块大小和不同阈值对图3的多聚焦图像进行融合,然后计算融合后图像与参考图像之间的RMSE,结果如表2所示。

从表2可以看出,根据分块大小和阈值的不同,

所得到的融合图像也是不同的。我们可以从中选择一个最优的。根据表2融合图像与参考图像之间的RMSE最小值,我们可以选出最佳分块大小和阈值分别是16󰀁32和0.60。

󰀁136󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁山东建筑大学学报󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁2009年󰀁

表2󰀁不同分块大小和不同阈值对融合结果(RMSE)的影响

分块尺寸

阈值大小

4󰀁4

0.000.200.400.600.801.001.201.401.601.802.002.202.402.602.803.00

8.12218.06068.00347.96487.92417.89837.88077.83547.79437.77417.72047.72187.69797.67157.63857.5743

4󰀁86.73826.67576.61916.59066.48946.43906.42516.40266.38556.36816.27036.24926.19886.18866.17196.1374

8󰀁86.22496.15966.13936.10846.08046.08936.07336.03676.01286.02826.04546.05526.02046.02755.99165.9752

8󰀁165.59075.53285.44565.42775.38965.32235.37035.39895.40535.41855.42115.44755.45425.50135.48515.5299

16󰀁164.66524.61784.56404.52824.51554.40844.42804.45914.45754.49814.52344.56104.55164.63564.68394.6875

16󰀁323.61693.58643.53823.29223.38153.38293.46803.53463.54753.66213.71953.82523.90913.93394.04254.2002

32󰀁323.33093.32083.30523.37703.30723.32523.38053.50973.51733.61283.65103.74583.79893.97094.05664.1319

32󰀁643.82023.75523.65953.62113.65653.68583.73423.59583.67083.72033.82073.98064.02504.10734.10214.2766

64󰀁644.24923.62983.60183.61143.62123.65173.50203.61583.72213.84403.95433.95433.87364.03514.07284.2033

󰀁󰀁图4a、b、c是分别用小波变换法、加权平均法、Curvelet变换法得到的融合图像。图4d是利用本

文方法(基于平均梯度的多聚焦图像融合方法)得

到的融合结果图像(此时分块大小为16󰀁32,阈值为0.60)。

󰀁󰀁󰀁󰀁󰀁󰀁a󰀁小波变换法󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁b󰀁加权平均法

󰀁󰀁󰀁󰀁󰀁󰀁c󰀁Curvelet变换法󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁d󰀁本文方法

图4󰀁不同融合方法比较

󰀁第2期󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁陈超等:基于平均梯度的多聚焦图像融合方法研究󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁󰀁137

󰀁󰀁从目视效果上看,加权平均法、小波变换法、Curvelet变换法和本文方法都得到了同一场景中所有物体都清晰的图像。但本文得到的结果图像纹理更清晰,细节更加突出,有效地消除了其他三种方法结果图像中存在的模糊现象。

下面分别对应用各种融合算法得到的融合图像进行定量分析。图像的定量分析指标主要有信息熵和平均梯度等。

信息熵表示图像所包含的平均信息量的多少。

融合图像的信息熵越大,说明融合图像所携带的息量越大,信息就越丰富。根据仙农(Shannon)信息论的原理,一幅8bit表示的图像x的信息熵计算公式如下式所示。

H(x)=-

󰀁p

i=0

255

i

log2pi(4)

式中:x为输入的图像变量;pi为图像像素灰度值i的概率。

融合后图像的定量分析见图5。

图5󰀁融合图像的信息熵和平均梯度

󰀁󰀁从图5可以看出,在表征图像清晰度的平均梯度和表征图像信息含量的信息熵方面,本文方法要明显高于其他三种方法,分别达到7.5309和

8.0779,这说明本文方法在保持源图像空间细节和纹理方面较好。这与目视分析的结果是一致的。其他三种方法得到的融合结果图像信息熵和平均梯度较低,它们的图像质量也相对较差,比本文方法得到的结果图像模糊。

边缘细节信息得到了较多的保留。

综上可知,基于平均梯度的多聚焦图像融合算法是成功可行的。

参考文献:

[1]󰀁曹杰,龚升蓉,刘纯平.一种新的基于小波变换的多聚焦图像

融合算法[J].计算机工程与应用,2007,43(24):47-50.[2]󰀁马恒,贾传荧.基于空间频率和小波变换的图像融合方法[J].

辽宁工程技术大学学报,2007,24(2):235-238.

[3]󰀁黄彩霞,齐晶晶,陈家新.基于多小波变换和区域相似度的多

聚焦图像融合[J].现代计算机,2007(10):47-50.

[4]󰀁梅益君,王元庆.基于点扩散函数的多聚焦图像融合方法[J].

计算机工程,2004,3(19):193-195.

[5]󰀁赵英时,李小文,赵冬梅,等.遥感应用分析原理与方法[M].

北京:科学出版社,2003.

[6]󰀁杨俊,赵忠明.基于Curvelet变换的多聚焦图像融合方法[J].

光电工程,2007,34(6):67-71.

[7]󰀁LiST,KwokTJ,WangYN.Combinationofimageswithdiverse

focusesusingthespatialfrequency[J].Informationfusion,2001,2(3):169-176.

[8]󰀁曾庆贵,宋世军,张佳福,等.一种基于信息融合的图像分割方

法[J].山东建筑大学学报,2008,23(2):154-158.

4󰀁总结

本文提出了一种新的基于平均梯度的多聚焦图像融合方法,通过对源图像进行分块,分别计算每块的平均梯度,然后进行比较,根据比较结果制定融合

规则,成功地对多聚焦图像进行了融合。本文还设计了仿真实验。为了验证算法的有效性,还与小波变换法、加权平均法和Curvelet变换等多聚焦图像融合方法进行比较,从目视效果和定量分析两方面对结果图像进行了评价。结果表明,基于平均梯度的多聚焦图像融合方法得到的结果图像纹理清晰,