ACTAAERONAUTICAETASTRONAUTICASINICAVol27No1Jan2006
07文章编号:10006893(2006)010087
基于序列图像的自动目标识别算法
黄金,梁彦,程咏梅,潘泉,胡劲文
(西北工业大学自动化学院,陕西西安710072)
AutomaticTargetRecognitionMethodBasedonSequentialImages
HUANGJin,LIANGYan,CHENGYongmei,PANQuan,HUJinwen
(CollegeofAutomation,NorthwesternPolytechnicalUniversity,Xian710072,China)
摘要:由于利用单幅二维图像进行三维目标识别存在识别的多义性,提出了一种基于二维序列图像的三维目标自动识别算法。首先以修正的Hu不变矩构造目标的图像识别特征,进而采用BP神经网络分类器构造关于目标融合识别的基本置信指派函数,以神经网络的训练误差构造证据理论不确定性度量,采用基于吸收法的DS证据理论实现高冲突证据的贯序式融合。对各姿态飞机图像识别的仿真表明,该算法对飞机的空间姿态变化具有很强的鲁棒性,能快速地准确识别飞机类型。此外,算法对先验性参数具有一定的鲁棒性。关键词:图像目标识别;数据融合;DS证据理论;序列图像;BP神经网络中图分类号:TP391文献标识码:A
Abstract:Itismuchdifficulttorecognizea3Dtargetjustbasedonasingle2Dtargetimagebecauseofthemultivocalinformation.Inthispaper,anautomatictargetrecognitionmethodbasedonsequential2Dimagesisproposed.Firstly,themodifiedHuinvariantmomentsareusedastheinvariantcharacteristicvectors,whicharefurtherinputedtoabackpropagationneuralnetwork(BPNN)classifier.ThentheBPNNclassifiergivestheprimaryrecognitionresult,whichiscombinedwiththetrainingerrortoachievethebasicbeliefassignment(BBA).Finally,arevisedDempsterShafer(DS)reasoningmethodnamedabsorptionmethod,whichcandealwithhighconflictingevidences,isappliedtoimplementthefinalreasoningdecision.Thesimulationbasedonmultipleaircraftimageswithvariousattitudesdemonstratesthattheproposedmethodcanrecognizetheaircraftsquicklyandaccurately.Besidesthis,thismethodhasstrongrobustnesstoaprioriparameterandtheattitudevarietyofaircraftimages.
Keywords:imagerecognition;datafusion;DSevidencereasoning;sequentialimage;BPneuralnetwork
三维目标自动识别是计算机视觉领域的核心问题之一。由于目标的运动导致其相对于摄像机在不同方向角所呈现的图像姿态变化万千,使得利用其二维数字图像进行识别难度大大增加。常
用的三维目标识别方法如最近邻法[1,2]、特征匹配法[3,4]和神经网络法[5,6],通常是在得到图像传感器关于目标的一次量测的基础之上就做出识别,这对识别算法要求比较高,而且易受图像传感器性能瓶颈和外界环境干扰的影响,识别结果不可靠。如果能连续地获得目标不同姿态的序列图像,利用数据融合的方法把对目标序列图像的识别结果融合起来,就能逐渐增大目标识别的置信度,从而提高识别率以及识别的鲁棒性和可靠性。基于此,本文提出一种基于序列图像的自动目标识别方法,以修正的Hu不变矩作为图像特征,采
收稿日期:20040921;修订日期:20050509
基金项目:国家自然科学基金(60372085,60404011)资助项目
用神经网络分类器对图像作初步识别,用能处理高冲突证据的DS证据组合规则吸收法进行决策级融合处理得到最后的识别结果;同时针对DS理论基本置信指派构造困难的问题,采用神经网络的训练误差以及网络初步识别结果来构造基本置信指派函数,仿真结果表明了该法的有效性和适用性。
1算法框架
基于序列图像的自动目标识别算法框图如图1所示。下面分别叙述系统框架中的几个重要组成部分。
11图像矩特征提取
图像目标识别的第一步就是提取有效的图像特征。图像的矩特征是以图像分布的各阶矩来描述灰度的统计特性的方法,它在图像目标识别中得到了广泛的应用
[1,2,5~7]
。
88
航空学报
第27卷
图1基于序列图像的自动目标识别方法框图Fig1Blockdiagramoftheproposedmethod
Hu[1]利用二阶和三阶中心矩构造了7个不变矩,但Hu所定义的7个不变矩,尽管在连续情况下具有平移、旋转和比例不变性,在离散情况下比例不变性却不成立,因此将矩用于数字图像目标识别需要进行修正。杜[6]对7个不变矩作了修正,修正后的不变矩将具有比例,旋转和平移不变性,在利用单幅图像进行识别的仿真中获得较好的效果,故本文采用修正的7个Hu不变矩作为待识别图像的特征。12基于DS推理的融合处理器
传统的目标识别方法依赖于目标数据库的完备性,但要建立一个完备的目标数据库是非常困难的,这就导致信息的不完备性;同时,由于从某个位置得到的不同三维目标的图像可能非常相似,在利用目标单幅图像进行识别时就可能导致识别结果的不确定性。对解决图像目标识别这种不完备、不确定的问题,DS证据推理作为一种智能融合方法有其独特的优势
[7,8]
文献[9]指出,由于传统的Dempster组合规则为了保持BBA的归一性,在处理矛盾因子时,使2个证据的公共焦元的BBA变为原来的1/(1K),
这意味着把局部的冲突放在全局中去分配,但冲突指派并非所有焦元共同造成的,也并非BBA大的公共焦元产生冲突的可能性大,这样分配会带来不合理性,因此该文提出一种新的组合规则吸收法。仿真表明,吸收法在处理冲突证据方面的性能要优于Dempster组合规则。在三维图像目标识别中,由于图像传感器噪声的影响以及利用二维图像识别三维目标本身存在的不确定性,出现冲突证据的可能性是非常大的,为此,本文在用DS进行融合时采用了能处理高冲突证据的吸收法组合规则。
13基本置信指派函数的构造
证据理论处理不确定信息的能力已经得到公认,但在用证据理论作目标识别时,BBA的构造是一个难点,需要专家的经验知识,或者需要知识库的支持。可以用距离函数和指数函数来构造基本置信指派[7],但这种构造方法计算量比较大,影响实时性。人工神经网络由于具有自组织、自学习、自适应的特点,能不断的通过学习来调整网络连接权值来达到识别、分类的目的。经过训练后的人工神经网络在一定程度上已经具有领域专家的判别能力,因此用神经网络对目标序列图像的每次判别输出作为一个证据来构造BBA是切实可行的,另一方面,神经网络可以离线训练,在线实时计算,采用它来构造BBA又可以解决文献[7]计算量过大的问题。
由于证据理论要求BBA满足归一化要求,虽然对神经网络进行有监督学习可使网络输出都在[0,1]之间,但节点输出(设为yj,j=1,#,N)之和并不满足归一化要求,同时,还没有给辨识框架分配BBA,亦即还没有分配不确定信息,因此采用如下方法构造BBA:
令N为训练集中样本的总数,网络训练中第
。在基于序列图
像的目标识别中,把图像序列中的每幅图像均看作一个证据,用DS组合规则对证据按时间顺序逐步融合,从而提高识别的鲁棒性和准确性。证据理论将来自两个或多个证据体的置信函数通过Dempster组合规则融合起来得到一个新的置信函数,以融合后的置信函数作为判决的依据。假定辨识框架上性质不同的2个证据B和C,其焦元分别为Bi和Cj,基本置信指派函数(BasicBeliefAssignment,下文简称为BBA)分别为m1和m2,则有如下Dempster组合规则m(A)=
0
Bi!Cj=A
A=
m
i
1
(Bi)m2(Cj)/(1-K)A∀m1(Bi)m2(Cj)<1
(1)
K=
B!C=
j
其中:K为归一化因子;m(A)确定了一个新的基本置信指派。对于多个证据的组合,可用组合规则对证据进行两两综合。
第1期黄金等:基于序列图像的自动目标识别算法89
n次迭代时(亦即输入训练集中第n个样本时)第j个(j=1,#,c,c为目标类别数)输出神经元的期望输出为dj(n),网络实际输出为yj(n),该次迭代的网络瞬时误差记为e(n),整个训练集上的均方误差记为 ,则有
e(n)= =
j=1N
2
(dj(n)-yj(n))/2c
至此,构造出了证据理论融合时所需的基本置信指派值。
2算法流程
基于序列图像的自动目标识别算法流程描述如下:
步骤一提取目标模型库的修正Hu矩特征。Hu[4]利用图像二阶和三阶中心矩构造的7个不变矩其具体公式如下M1=∀20+∀02
M2=(∀20-∀02)+4∀11
22M3=(∀30-3∀12)+(3∀21-∀03)
2
2
(2)
n=1
e(n)/N
由于网络训练收敛后对训练集的均方误差 是网络所有参数的函数,它的大小实际上反映了网络对目标识别的精度,在用神经网络来构造
BBA时,可以将其作为网络不确定信息的度量,亦即神经网络分配给辨识框架的指派为m()= 。从而BBA构造的步骤如下:
(1)初始化m()= ;令C=1-m();
(2)对神经网络节点输出归一化
yj=yj/
(3)构造BBA
mj=Cyj
如果mjm()=m()+mj;mj=0(4)
其中:C=1-m()。式(3)中乘以C的目的是为满足BBA之和为1的要求,即i mi+m()=1。!=1为某个阈值,当网络对某个目标的BBA小于该阈值时,将该指派分配给辨识框架以使证据组合尽快收敛于正确的目标。参数!的引入基于如下考虑:由于采用神经网络构造BBA,而神经网络存在不可避免的逼近误差,当某个输出节点其输出值很小时,无法判断它究竟是逼近误差还是置信指派,所以,该节点的输出应该是不确定的信息,也就是应该分配给辨识框架。证据理论的优势就在于能将这部分不确定的信息通过融合逐渐分配给正确的目标。基于此可以根据神经网络训练的结果来自适应的确定!,方法如下:令
m^n=min|mj,n-dj,n|,j=1,2,#,c,n=1,2,#,N,
则
!=
n=1
c
j=1
M4=(∀30+∀12)+(∀21+∀03)
2
22
2
M5=(∀30-3∀12)(∀30+∀12)[(∀30+∀12)-21+∀03)]+(3∀21-∀03)(∀21+∀03)3(∀
22[3(∀30+∀12)-(∀21+∀03)]20-∀02)[(∀30+∀12)-(∀21+∀03)]+M6=(∀
2
2
y,
i
c
j=1,#,c
(3)
4∀11(∀30+∀12)(∀21+∀03)
2M7=(3∀21-∀03)(∀30+∀12)[(∀30+∀12)-
3(∀21+∀03)]+(∀30-3∀12)(∀21+∀03)
22[3(∀30+∀12)-(∀21+∀03)]
2
(6)
杜[3]修正后的Hu矩计算式如下
M1=M1M2=M2/M1M3=M3/M31M4=M4/M1M5=M5/M61M6=M6/M1M7=M7/M61
步骤二设计神经网络结构和参数,利用目标模型库对神经网络进行离线训练。
BP神经网络是一种利用误差反向传播算法进行网络训练的多层感知器,具有很强的泛化能力,在模式识别分类中获得了广泛的应用。本文采用带一个隐层的BP神经网络作为分类器来构造基本置信指派。网络结构设计如下:输入节点数由提取的待识别图像的特征矢量维数决定,因这里采用修正的7个Hu不变矩作为图像特征矢量,因此输入节点数为7;隐层节点数在BP神经
432
(7)
^ m
N
n
/N(5)
网络程序设计中设为可调,激励函数取为反对称的sigmoid函数;输出节点数由识别的类别数确
定,若待识别目标有c类,则输出节点数为c,训练时输出单位矢量ej对应第j类目标;BP神经网
式中:m^n为神经网络对训练集中的第n个样本各节点输出误差的最小值;!为训练集输出误差最小值的平均值。
90
航空学报
第27卷
络的训练算法采用附加动量项和自适应学习率结合的方法;训练时将样本以随机方式输入网络。收敛后计算网络对模型库的训练误差 ,作为对辨识框架的初始基本置信指派;
步骤三实时输入待识别目标的图像,按式(6)式(7)提取图像修正Hu矩特征。
步骤四目标图像修正Hu矩特征输入训练好的神经网络进行初步识别,按式(3)和式(4)构造BBA。
步骤五本文融合顺序为每输入一幅图像即进行一次融合,故每次都是两个证据进行融合,按如下的吸收法组合规则融合神经网络对序列图像的初步识别结果
m(A)=
B!C=A
i
i
综上,基于序列图像的自动目标识别系统的算法流程图如图2所示。
j
m1(Bi)m2(Cj)+
图2基于序列图像的自动识别算法流程图
Fig2Flowchartofautomatictargetrecognitionbasedon
sequentialimages
1
A!C=,m(A)>m(C)+L
1
2
j
m(A)m2(Cj)+m1(Bi)m2(A)+
1
i
A!B=,m(A)>m(B)+L
i
2
1
3仿真分析
采用3类飞机图像做仿真试验。3类飞机每类选取20幅不同姿态图作为训练图像,10幅姿
(8)
态相近的序列图像作为测试图像,限于篇幅,给出
飞机部分姿态图像如图3所示。识别时,将某类飞机的10幅测试图像依次输入识别系统,以模拟图像传感器获取目标序列图像的场景。
A!C=,|m(A)-m(C)|∃L
j
2
j
m1(A)m2(Cj)/2+m1(Bi)m2(A)/2
A!Bi=,|m2(A)-m1(Bi)|∃L
其中:B、C为融合前的两个证据体;A为融合后的证据体;L表示指派值的一个限度。当两证据置信指派差在这个限度范围内,该规则认为两证
据对冲突的产生起同样的作用,所以冲突置信指派值均分给两焦元;反之,若置信指派差超过这个范围,则把冲突置信指派分配给具有较大置信指派值的焦元,即大的置信指派吸收了小的置信指派,这就是%吸收法&的含义。文献[9]指出,L的大小可根据实际情况对组合结果突变的限制来选取,但没有给出进一步的分析和比较。
步骤六判决输出在目标识别系统当中,由于各目标是互不相容的,亦即目标信息之间是冲突的,不可能出现既属于A类目标又属于B类目标的情形,因此证据的焦元仅仅是单元素集合,在用组合规则组合多个证据得到新的BBA之后,目标Pi的置信函数为
Bel(Pi)=
A P
图33类飞机部分姿态图
Fig3Severalattitudelmagesofthreetypesofaircrafts
神经网络训练后,根据式(2)计算得网络对模型库的均方误差 =009,故C=091;根据式(5)计算的结果为!=00472,故测试库的仿真取!=00472,仿真发现融合结果置信曲线发生较大变化的临界值为!=005,说明了按照公式(5)计算!的有效性和自适应性。参数L根据融合结果突变处的临界值取先验值为L=02,下文将给出L在不同取值下的仿真结果对比图。
下面将通过3个方面的仿真对比说明算法的合理性和有效性。
m(A)=
i
m(Pi)(9)
所以利用置信函数对目标类别进行判断,就简化为利用融合后各目标的BBA进行判断。
基于一定的目标判定规则对融合后的BBA做系统判决输出。如果融合结果满足当前判定规则,则输出最终的目标识别结果,识别过程结束,否则转步骤三。
第1期黄金等:基于序列图像的自动目标识别算法91
31基于序列图像的融合识别与基于单幅图像
的识别对比
图4以图形方式显示了融合算法分别对3类飞机序列图像的识别结果,图中横坐标为输入序列图像的序号,纵坐标为对应的识别结果。图4(a)、(c)、(e)中的四条曲线分别表示证据理论融合前根据式(3)和式(4)构造的对3个目标以及辨识框架分配的基本置信指派值,图4(b)、(d)、(f)中4条曲线分别表示证据理论融合后对应的基本置信指派值。现以分析图4(c)和图4(d)为例说明算法效果,由图4(c)可知,神经网络对第2类
(d)对第2类飞机证据理论融合后结果
(e)对第3类飞机融合前的基本置信指派
(a)对第1类飞机融合前的激本置信指派
(f)对第3类飞机证据理论融合后结果
(b)对第1类飞机证据理论融合后结果
图4融合前后识别结果
Fig4RecognitionresultsbeforeandaftertheDSfusion
飞机序列图像的第3、第6幅图像的识别结果是错误的(误识为第1类飞机),而对第8幅图像的识别结果是无法确定的(无法确定是第1类还是第2类)。图4(d)下图是证据理论融合后的结果,由于针对序列图像采用证据理论进行融合处理,使得识别系统消除了识别的不确定性,识别结果逐渐收敛到正确的目标。根据融合后的置信曲线,可以采用一定的目标判定规则进行辅助决策,不同的应用需求可能对应不同的判定规则,如可以采用以下的目标判定规则[7]:∋判定的目标类
(c)对第2类飞机融合前的基本置信指派
型应具有最大的基本置信指派值;(判定的目标92
航空学报
第27卷
类型与其它目标类型的基本置信指派值之差要大于某个门限T1;)不确定基本置信指派值,亦即分配给辨识框架的基本置信指派值必须小于某一阈值T2。本例中如果取T1=05,T2=01,那么对序列图像融合后的识别结果是100%正确的,而神经网络利用单幅图像进行识别的识别率为80%。仿真结果表明,由于融合了目标的多幅图像信息,本方法比采用目标单幅图像进行识别的结果其识别率、可靠性和鲁棒性大大增加。由图4(a)~(d)可以得到同样的结论。
32传统Dempster组合规则和吸收法的融合结
果对比
图5是对Dempster组合规则(上图)和吸收法组合规则(下图)融合效果的比较。上图中目标2融合后的置信曲线出现较大的波动,而下图目标2融合后的置信曲线非常平缓,且收敛较快。可见Dempster组合规则在处理冲突证据时存在不足,而且收敛速度要低于吸收法组合规则,而吸收法组合规则鲁棒性较强,即使出现冲突证据也不像Dempster组合规则那样使融合结果出现明显的振荡。仿真说明了本文采用吸收法的合理性。
33吸收法参数L的鲁棒性分析
图6是在L取不同值下吸收法的融合结果图。仿真结果表面L的选取对融合结果将产生较大影响,由图可见,L较小时,由于冲突指派值被分配给具有较大置信指派值的焦元,有利于融合结果向正确的目标收敛,而随着L的增大,由于冲突指派值逐渐在两冲突焦元中均分,导致吸收法解决冲突问题的能力自然下降,其融合性能逐渐差于Dempster组合规则,在L=1的极端情况下,%吸收法&就成了
(a)L=01
(a)Dempster组合规则
(b)L=02
(b)吸收法组合规则
图5Dempster组合规则和吸收法融合识别结果对比图Fig5Recognitionresultswithdempsterruleandabsorption
method(c)L=03
图6吸收法中L在不同取值下的融合识别结果Fig6RecognitionresultswithdifferentLvaluesinabsorp
tionmethod
第1期黄金等:基于序列图像的自动目标识别算法93
%平均法&,完全丧失了处理冲突证据的能力。但是L在一定范围之内,如L=02及以下时,融合结果是非常鲁棒的。如何自适应的选取L是吸收法一个比较关键的问题,值得进一步研究。
ChenYM,PanQ,ZhangHC,etal.Informationfusionimagerecognitionalgorithmandapplicationsinthreedimensionairplaneimagerecognition[J].ActaAeronouticaetAstronauticaSinica,2004,25(2):176-179.(inChinese)
[8]徐从富,耿卫东,潘云鹤.面向数据融合的DS方法综述
[J].电子学报,2001,29(3):393-396.
XuCF,GenWD,PanYH.Reviewofdempstershafermethodfordatafusion[J].ActaElectronicaSinica,2001,29(3):393-396.(inChinese)
[9]张山鹰,潘泉,张洪才.一种新的证据推理组合规则[J].控
制与决策,2000,15(5):540-544.
ZhangSY,PangQ,ZhangHC.Anewkindofcombinationruleofevidencetheory[J].ControlandDecision.2000,15(5):540-544.(inChinese)作者简介:
黄金(1979-)男,湖南,郴州,硕士,主要从事图像处理和分析、目标识别、多传感器信息融合等方面的研究。Email:huang_jin@sina.com.联系电话:02988495954801。
4结论
针对在三维目标识别中存在数据不完备和识别不确定的问题,提出了一种基于序列图像的自动目标识别方法,同时针对证据理论应用中基本置信
指派函数构造困难的问题,用神经网络的训练误差来模拟专家不知道的信息,用神经网络分类结果来构造对目标的基本置信指派函数,仿真结果表明了采用证据理论对序列图像进行融合识别的有效性以及本文基本置信指派构造方法的合理性,同时也说明了吸收法组合规则处理冲突证据的性能在一定条件下要优于Dempster组合规则。
参考文献
[1]HuMKVisualpatternrecognitionbymomentinvariant
[J]IRETransInformationTheory,1962,1(8):179-187.
[2]DudaniSA,BreedingKJ,McGheeRB.Aircraftidentifi
cationbymomentinvariants[J].IEEETransComput,1977,(1):39-46.
[3]MarouaniS,HuertasA,MedioniG.Modelbasedaircraft
recognitioninperspectiveaerialimagery[A].ProceedingsofInternationalSymposiumonComputerVision[C].1995.371-376.
[4]张洪钺,杨雪勤,郭红涛.基于仿射变换的飞机图像的识
别[J].航空学报,2003,24(3):251-254.
ZhangHY,YangXQ,GuoHT.Aircraftimagerecognitionbasedonaffinetransformation[J].ActaAeronouticaetAstronauticaSinica,2003,24(3):251-254.(inChinese)[5]廖闻剑,成瑜.三维飞机自动识别的一种有效方法[J].航
空学报,1998,19(6):730-735.
LiaoWJ,ChengY.Effectivemethodfor3Daircrafttargetautomaticrecognition[J].ActaAeronouticaetAstronauticaSinica,1998,19(6):730-735.(inChinese)[6]杜亚娟,张洪才,潘泉.基于矩特征的三维飞机目标识别
[J].数据采集与处理,2000,15(3):390-394.
DuYJ,ZhangHC,PangQ.Threedimensionalaircraftrecognitionusingmoments[J].JournalofDataAcquisitionandProcessing,2000,15(3):390-394.(inChinese)[7]程咏梅,潘泉,张洪才,等.信息融合图像识别算法及其在
三维飞机图像识别中的应用研究[J].航空学报,2004,25(2):176-179.
梁彦(1971-)男,河南,新乡,西北工业大学自动化学院副教授,1998年、2001年先后硕士、博士毕业于西北工业大学自动控制系,2003年于清华大学自动化系博士后出站。主要从事自动目标识别、多目标跟踪、数据融合、贝叶斯网络等方面的研究。Email:liangyan@nwpu.edu.cn.联系电话:02988494352。程咏梅(1960-)女,陕西,西安,西北工业大学自动化学院教授,博士,2001年博士毕业于西北工业大学自动控制系。主要从事人工智能,信息融合,图像识别,数字信号处理,复杂环境下机动运动目标建模,数据关联,主动及被动式跟踪等方面的研究。
潘泉(1961-)男,上海,西北工业大学自动化学院教授,博士,1997年博士毕业于西北工业大学自动控制系。主要从事动态系统建模、估计与控制,信息融合,图像处理、识别,多目标跟踪等。
胡劲文(1983-)男,山西,太原,硕士。主要从事图像处理和分析、目标识别,SAR图象模拟等方面的研究。
(责任编辑:李泓洁)
因篇幅问题不能全部显示,请点此查看更多更全内容