第3O卷第2期 2 0 1 5年6月 青岛大学学报(工程技术版) JOURNAL OF QINGDAO UNIVERSITY(E&T) Vo1.3O No.2 Jun.2 0 1 5 文章编号:1006—9798(2015)02—0019—07;DOI:10.13306/j.1006—9798.2015.02.004 多变量Hammerstein系统的极大似然参数估计方法 张 玮,王冬青 (青岛大学自动化工程学院,山东青岛266071) 摘要:针对有色噪声干扰的多变量Hammerstein系统存在维数高和模型难以参数化的 问题,本研究提出了递推极大似然参数估计方法,并对极大化似然函数系统参数向量的估 计公式进行推导,同时给出了极大似然参数的辨识原理,并对多变量Hammerstein模型 的参数估计进行理论分析,并通过数值进行仿真实验。理论分析和仿真结果表明,本研究 所提出的算法,能够有效实现有色噪声干扰下的多变量Hammerstein系统的参数估计。 随着递推次数的增加,辨识精度总体上不断提高;而且噪声方差越小,参数估计精度越高。 该算法原理简单、适用范围广,提高了参数的估计精度,且易于实现参数的在线辨识,因此 该算法可以扩展应用于非均匀采样系统和多变量系统的辨识和参数估计中。 关键词:多变量;Hammerstein系统;极大似然;参数估计;系统辨识 中图分类号:TP271.72;N945.14 文献标识码:A Hammerstein系统为一类模块化非线性系统模型,它是由静态非线性子模块后接动态线性子模块形 成。模块化模型的研究方法包括过参数辨识方法l_1 J、迭代辨识方法I3 、基于递阶辨识原理的辨识方 法 ]、基于关键变量分离原理的辨识方法等_7 ]。然而以上辨识方法多数都是针对单变量模块化模型展 开,由于多变量系统存在维数高和模型难以参数化的问题,因此,多变量模块化模型辨识方法的研究面临巨 大的挑战。多变量模块化模型辨识的主要方法是过参数化方法 ,过参数化方法往往需将系统非线性模 块参数与一部分线性模块参数乘积,得到的未知参数维数远大于原始参数维数,导致过参数化参数辨识算法 计算量巨增,过参数化方法由此得名。而极大似然参数估计方法不需要将系统变换为自回归辨识模型形式, 可以避免参数化为自回归模型时出现的冗余参数和导致计算量大的问题,为此,李俊红等人_1 针对单变量 Hammerstein模型,提出了极大似然参数估计方法。而本文针对多变量Hammerstein模型,提出了极大似 然参数估计方法,对极大化似然函数的系统参数向量的估计公式进行推导,给出了估计系统参数的递推辨识 算法_1 ¨],并进行了数值仿真验证,仿真结果表明,本研究所提出的极大似然参数辨识算法是有效的,而且 该算法可以扩展应用于非均匀采样系统和多变量系统的辨识和参数估计中。 1 系统模型描述 Hammersrein系统模型描述了一类具有静态非线性串联动态线性的非线性系统,考虑如下多变量 Hammerstein模型 1(£) f1(M1( )) 2(t)一 ( ) f2(甜2(£)) i ,(1) (£) f (“ ( )) 收稿日期: 2014一O1—06:修回日期:2015—03—18 基金项目: 国家自然科学基金资助项目(61104001) 作者简介: 张玮(1990一),女,硕士研究生,主要研究方向为系统辨识和自适应控制。 通讯作者: 王冬青(1964一),女,教授,博士,主要研究方向为复杂系统建模与自适应控制。E—mail:dqwang64@163.corn 20 青岛大学学报(工程技术版) Y(£)=:=B(z) ( )+D( )V( ) 第30卷 (2) 式中,ll(£)一[ ( ),“z(£),…, ( )] ∈R 为系统的输入变量; (f)∈R为系统的输出变量; ( )∈R 为 非线性模块与线性模块之间的中间变量(非线性模块的输出,线性模块的输入);l,( )∈R为均值为零、方差 为 。的服从正态分布的白噪声序列;B(z)和D( )分别为单位后移算子z 的矩阵和标量多项式[z~ (£)一 (t一1)],且 B(2)=[B1(z),B2(2),…,B,( )]∈R B (z)一b 1 +b z +…+b ,z一 ∈R,i一1,2,…,r .D(z)一1+d1 1+d2z +…+d z ∈R 假设非线性模块为 Hc 矾(£)一fl(u (£))一∑c 厂 (“ (£)),i一1,2,…,r ^一1 (3) 设当t≤0时,j,(£)一0,lI( )一0,1,( )一0,系统的阶次 、 、 d和r已知,且i一1,2,…,r。令 b 一 b,…,b ] ∈R c —Ec c …, ] ∈R d一[ l,d “,d ]。r∈R b一[6 ,醪,…, ] ∈R ,c=[c ,CT ,…,c ] ∈R c Ff,1( (£一1)) ^ ( ( 一1)) \f F ( )一 t・——1 …I厂 t-——2 l 1( 1(£一2)) LI 1( 1(t— 6)) …( (f一2)) ∈R c l‘L厂 t— … ( (£一 6)) ,l( (f))一Ef 1(“ ( )),f 2( (£)),…,fmc( ( ))]∈R c s(£):Ev(t一1),v(t一2),…,v(t一 d)] ∈R == ] t r+ r+n l则将式(3)代入式(1),再代入式(2),可得 (£) ( ) +D(z)',(£)==: (£)一[Bl(z),B2(z),…,B,( )] 2r ”d ∑B (z)凰(£)+∑d v(t— )+',(f)一 ∑ F ( )c +sT(£)d+y(£) =1 i一1 z一1 (4) 2 极大似然参数辨识原理 记输入数据为H 一{“(1), (2),…, (N)),输出数据为Y 一{ (1), (2),…, (N))。令似然函数 L(y I ll ̄_ ,Q)等于联合条件概率密度函数P(Yw l tl ̄_ ,Q),可表达为 L(j,N l H ̄_l,Q)一 ( (N)I j,Ⅳ_1,ll ̄_1,Q)p(y(N一1)I j, 2,H ̄_2,Q)…户(.y(1)l (o), (0),Q)一 N N II户( (£)l Y ,ll ,Q):IIp(bTF (f)c +ST( )d+ ( )I Y ,Ut-1 Q) t_-1 t=1 根据极大似然原理,参数Q的极大似然估计值 加 可使 L(yN I UN-1,Q)I Q№一max 或使 lnL(yN 1“ ̄_1,Q)l Q 一max 第2期 张 玮,等:多变量Hammerstein系统的极大似然参数估计方法 21 即(假设噪声方差为 ) a盯。 由于',(£)与Y ,,ll 及Q互不相关,这等价于使 l 一o l (5) (Q)一告∑',。( )I 一rain 推导过程见文献[11—14],此处不再赘述。 3 多变量Hammerstein模型的参数估计 记系统在£一1时刻,参数极大似然估计值 可近似表示为 —Q(t一1),'’( )在Q舰一O(t一1)点上的泰勒展开式口 )≈ ) +[ ] T EQ一龟( )]+  ̄-[-Q--O( 一1)] [ 忽略高次项,可得 ]。T [Q—Q( 一1)]+… [Q一 _1)] a',(£) a b (6) ㈩ )≈ c +[ 定义信息向量 一一[ 一 a 1,( ) a c ∈R 6r+n r+n (8) a y( ) a d 设 ( )是',(£)在t时刻的估计值,则式(7)可表示为 ',( )≈ ( )一 ( )[Q—O(t一1)] 设6(f), ( )和el(t)是6,c和d在t时刻估计值,那么 ( ), ( )和D( )在t时刻估计值为 台 ( ,z)一5 1(£) +6 2(£)Z- +…+b ( )Z-- (9) (£)一c 1(t)fi1( (£))+c 2( )厂 2(“ (£))+…+c ( )^ ( (£)) b(t,z)一1+ 1( ) 一 + 2(£) +…+ (£)z~ 令Q在t时刻的估计值Q(f)为 (£)一[6 (£),bT(t),…, ( ),cT(t), ( ),…, ( ),a ( ),az( ),…,a ( )] 由式(2)得 ( )一D- (z)[y(£)一B(z) (£)] ',(£)对b ,C 和d (即对 (£))的偏导数为 (10) 酉a v(t) 一[ , ,…, 百a v(t) 一[ , ,…, T 一 I Q( 1)一 其中 ( ):一 一 ( 一1,z)F ( ) ( 一1)一 F ( ) ( 一1)一 1( 一1) ( 一1)一…一 1)一∽ 1)一 (£一1,z)z-iv(t)一一z vf(t) ( 一1) ( —nd) 22 青岛大学学报(工程技术版) (£):一 (f一1, ) (f)占 ( 一1)一 第3O卷 F (£)6 (£一1)一 1(£一1)F (£一1)一…一a (£~1) (£一 d) r( ):一b一 (≠一1,z) (£)一;( )一 1( 一1) r( 一1)一…一 ( 一1)^v,( 一nd) 则式(8)所示信息向量为 五,( )一[ j( ), (£),…, (£), ( ), ( ),…, ( ),vr(£一1),vs( 一2),…, ,( — d)] (11) 将式(5)中的目标函数J(Q)写成递推形式,即 J(Q, )===J(Q,t一1)+_去_1,2(£) 将J(Q,t一1)在 ( 一1)点上进行泰勒级数展开,忽略J(Q,t一1)对Q的一阶导数项,有 (12) J(Q,£)≈告[Q— (£一1)] ( 一1)[Q— (£一1)]+告R +告 (£) 其中, ( 一1)一Ea。J(Q,t~1)/aQ aQT J (Q, )一2J(Q, ) (13) 为正定对称阵;R 为J(Q, 一1)的泰勒级数展开式的余项。令 将式(9)代人上式得 t, (Q, )≈EQ—O(t一1)] p- (£一1)[Q—Q( 一1)]+R 十',。(£)≈ EQ—O(t一1)] p- (£一1)[Q— (£一1)]+R +[ (£)一矗 (£)[Q—Q(£一1)] 一 [Q— ( 一1)] [ ( 一1)+五,(£) (£)][Q— (£一1)]+ R +[ (£)一2 (£)五 ( )[Q—Q( 一1)]]一 [Q~O(t一1)一r( )] p- (£)[Q—Q(£一1)一r( )]十R (£) 其中 (14) (15) p-1( )一p- ( 一1)+五,(t)hT( ),r( )=P(t)h,( ) ( ) R ( )一一r (t)P- (£)r(£)+ (£)+R 因为R ( )>0,那么当Q一 ( 一1)一r(£)一0时,式(14)J (Q,£)或式(12)J(Q,£)取得最小值,令Q — ( )代表Q在t时刻的估计值,则有 Q( )一O(t一1)+r(£)一O(t~1)+P( )矗,(£)'l,( ) 利用矩阵反演引理得 (A+aC) 一A~一A B(I+CA B) CA 由式(15)可得协方差矩阵 一 一等 定义增益矩阵 :一 ㈤一 蒜 则P(£)可以写成 ) (18) P( )一P(t一1)一K(t)ttT( )P( 一1)一EI—K(t) ̄tT( )]P(£一1) 1)代替,得到估计值 (£)的计算式为 将式(4)中的信息向量s( )和参数向量b 、C 和d分别用它们的估计值;(£)和易 (£一1)、 ( 一1)和a(t 一( )=== (£)一∑6 (£一1)F ( ) (£一1)一; (£)a(£一1) 其中 (19) (2O) ;(£)一[ (£一1), ( 一2),…, ( 一 d)] 总结以上推导过程,得到多变量Hammerstein模型的递推极大似然参数估计算法为 (£)一O(t一1)+K( ) ( )(21) 第2期 张 玮,等:多变量Hammerstein系统的极大似然参数估计方法 23 一 蒜 (23) P(£)一E1一K(£)矗 (£)]P(£一1),P(o)一P。I jl,( )一[ (£), (£),…, (f), ( ), (£),…, (£), ,(£一1), ,( 一2),…,if( 一 d)] (24) ( )一F ( ) ( 一1)一a1( 一1)it。( 一1)一…一a (£一1) 。(£一t/d) (25) (£)一F ( )占 (£一1)一a ( 一1) ( 一1)一…一a ( 一1) ( 一砌) ,(£)一 ( )一al(£一1) ,(£一1)一…一a ( 一1)ir(£一 d) (26) (27) F (£)===EfT(1I (£一1)),fT(1l (£一2)),…,, (1l (£一 ))] .厂 (1l ( ))=If l(El ( )),f z(H ( )),…,‘厂 ( ( ))] ;(£)=Ev(t一1),v(t一2),…,v(t—Tld)] (28) (29) (3O) ( )一 ( )一∑ ( 一1)F ( ) (£一1)一,s ( )a(£一1) OAt)一Eb[(£),6 (£),…,易 (f), (£), ( ),…, ( ),a ( ),a (£),…,a ( )] 占 (£)一Eb (f),6 (f),…,6 ( )] , (£)一[ ( ), 2( ),…, (£)] 极大似然估计值 (£)的计算步骤如下: 1) 令t一1, (o)=(1 (31) (32) (33) ,+ )/p。, ( ):(1/p。), ,( )一(1/p。), ( )=0, ( )一0,H( )一 0, (_『)一o,j7( )一o, ≤o,p。一lO 。 2) 收集系统的输入输出数据ll( )和 (£),由式(28)和(29)构建 ( ),由式(30)构建;(£)。 3) 由式(31)计算 ( )。 4) 由式(25)~(27)分别计算 ( )、 ( )和 ,(£),并由式(24)构建五,(£)。 5) 由式(22)和式(23)分别计算P( )和K( )。 6) 由式(21)刷新参数估计值Q(£)。 7)t增加1返回步骤2)。 4 仿真实验 考虑如下2个输人多变量Hammerstein系统 u( )一『L ]一 CllUl + “ ]一 22“ + 52。£ ] ( ) Lc2l“2( )+C22“;( )J Lo.74u2( )一0.57ui(£)J 2( )一B(z) ( )+D(2)'’(£) 其中 Bcz ==[茎 ;] =:[b6l。l Z一-1 + ̄-6b 12 Z一-2。 :=[——O。.177 z一 1+。0.4 23 z一- 2 ̄ D(z)一1+0.14z 一0.10z一 仿真时,{ ( )}采用均值为零、方差为 的随机白噪声序列;输入{“(f))采用零均值、单位方差、不相关 可测随机信号序列,取数据长度t一3 000,采用本文所提出的极大似然参数估计算法,对该系统进行参数估 计。当 。一1.O0。和口 一2.O0 时,参数估计值及其估计误差如表1和表2所示。 表1 参数估计值及其误差( =1.O0 ) 24 青岛大学学报(工程技术版) 第3O卷 当参数估计误差 一(Q( )一Q)/Q时,估计误差 随数据长度变化曲线如图1所示。由表1和表2可知, 本文所提出的极大似然参数估计算法,能够有效实现 有色噪声干扰下的多变量Hammerstein系统的参数 估计;随着递推次数的增加,总体上辨识精度在不断提 高。由图1可以看出,随着数据长度的变化,辨识精度 (ffi计误差)不断提高。说明噪声方差越小,参数估计 精度越高。 榭曾} 0 5 10 l5 2O 25 3O 数据长度t 图1 估计误差随数据长度变化曲线 5 结束语 本研究对多变量的Hammerstein模型,提出了一种递推极大似然参数估计算法,这种算法的特点是不 需要将辨识模型表示为最小二乘的标准形式,即自回归模型形式,而且所提出的极大似然参数估计算法原理 简单,避免了传统的过参数化算法中未知参数存在的非线性模块参数与一部分线性模块参数乘积,导致未知 参数维数远大于原始参数维数的缺点,且该算法没有出现冗余参数,计算量小,能够实现在线辨识,可以扩展 应用于非均匀采样系统和多变量系统的辨识和参数估计中。 参考文献: [1]Ding Feng,Liu Xiaoping,Liu Guangjun.Identification Methods for Hammerstein Nonlinear SystemsrJ].Digital Signal Processing,2011,21(2):215—238. 1-2] 王峰,邢科义,徐小平.辨识Hammerstein模型方法研究EJ].系统仿真学报,2011,23(6):1090—1092. I-3] Liu Yun,Bai Erwei.Iterative Identification of Hammerstein Systems[J].Automatica,2007,43(2):346—354. [-4-1 Li Guoqi,wen Changyun.Convergence of Normalized Iterative Identification of Hammerstein Systems[J].Systems& Control Letters,2011,60(11):929—935. liary Model—Based Recursive Generalized Least Squares Param E5] Wang Dongqing,Chu Yanyun,Yang Guowei,et a1.Auxieter Estimation for Hammerstein OEAR SystemsfJ].Mathematical and Computer Modelling,2010,52(1—2):309— 317. 1-6] Vor6s J.Parameter Identification of Wiener Systems with Multisegment Piecewise-Linear Non1inearities口].Systems 8L Control Letters,2007,56(2):99—105. [7] Wang Dongqing,Ding Feng.Hierarchical Least Squares Estimation Algorithm for Hammerstein-Wiener Systems[J]. IEEE Signal Processing Letters,2012,19(12):825—828. ng Feng.Hierarchical Multi-Innovation Stochastic Gradient Algorithm for Hammerstein Nonlinear Aystem Modeling E8] Di[J].Applied Mathematical Modelling,2013,37(4):1694—1704. [9] 袁廷奇.一类多变量Hammerstein模型的参数辨识方法[J].控制与决策,2010,25(3):478—480. [1O] Mohamadreza A,Mojallali H.Identification of Multiple-Input Single-Output Hammerstein Models Using Bezier Vurves and Bernstein Polynomials[J].Applied Mathematical Modelling,201l,35(4):1969—1982. [11] Li Junhong,Ding Feng,Yang Guowei.Maximum Likelihood Least Squares Identification Method for Input Nonlinear 第2期 张 玮,等:多变量Hammerstein系统的极大似然参数估计方法 25 Finite Impulse Response Moving Average Systems[J].Mathematical and Computer Modelling'2012,55(3—4):442— 450. 12 13 14 赵红,马文星,霍炜,等.液力变矩器动态特性辨识实验研究[J].青岛大学学报(工程技术版),2001,16(1):6—10・ 穆勇.灰色预测模型参数估计的优化方法[J].青岛大学学报(自然科学版),2003,16(3):95—98・ Ljung L.System Identification:Theory f0r the User[M].2nd ed.New Jersey:Prentice Hall PTR,Englewood Cliffs, 1999. Maximum Likelihood Identification Algorithm for Multivariable Hammerstein Nonlinear Systems ZHANG Wei WANG Dongqing .ngdao University,Qingdao 266071,China) (College of Automation Engineering, QiAbstract:In view of the problems of high dimensions and the model being difficult to be parameterized in multivariable Hammerstein systems with colored noises,a recursive maximum likelihood estimation algo— rithm is investigated in this paper.The estimated formulas of parameter vectors of the maximum likelihood svstem is derived,the identification principle of the maximum likelihood parameters is presented,the pa— rameter estimation of the multivariable Hammerstein model is analyzed,and the simulation is experimen— ted in this study.The analysis and simulation results indicate that the proposed algorithm could effectively reaIize the Darameter estimation of multivariable Hammerstein systems with colored noises,capable of gen— era11v improving the identification accuracy with the recursive number increasing.The smaller noise vari— ance.the higher accuracy of the parameter estimation is.The algorithm is simple in principle and suitable for many applications,can improve the parameter estimation accuracy,and is easy to be implemented on- line.Thus the algorithm can be applied to the identification and the parameter estimation of non—uniform sampling systems and multivariable systems. Key words:multivariable;Hammerstein systems;maximum likelihood;parameter estimation;system i— denti fi cation