第25卷第2期 2015年2月 计算机技术与发展 COMPUTER TECHNOLOGY AND DEVELOPMENT V0ll 25 No.2 Feb. 2015 三目立体相机的标定研究 李 孟,周 波,孟正大,戴先中 (东南大学复杂工程系统测量与控制教育部重点实验室,江苏南京210096; 东南大学自动化学院,江苏南京210096) 摘要:立体相机标定是计算机视觉中的重要方法,在立体相机的距离测量、三维重建等领域占据着重要的基础地位和广 泛的用途。文中在单目相机标定的基础上提出了三目立体标定的新方法,其主要原理是利用三个相机之间的约束关系, 建立多目标带约束的优化方程使标定精度得到提高,三目相机标定相对于传统的单目相机标定还可以得到三个相机之间 的位置关系。文中首先讲述了立体相机标定的一些基础知识,其中主要是相机模型的介绍;其次讲述了单目摄像机的标 定原理,并由此提出三目摄像标定的方法;最后给出实验的结果,验证了所提方法的正确性和有效性。 关键词:立体相机标定;计算机视觉;三维重建;相机模型 中图分类号:TP301 文献标识码:A 文章编号:1673—629X(2015)O2—0069—05 doi:10.3969/j.issn.1673—629X.2015.02.016 Study on Trinocular Stereo Camera Calibration LI Meng,ZHOU Bo,MENG Zheng—da,DAI Xian-zhong (Ministry of Education Key Laboratory of Measurement and Control of CSE,Southeast University, Nanjing 210096,China; School of Automation,Southeast University,Nanjing 210096,China) Abstract:Stereo camera calibration is all important step in computer vision.It occupies the important status in stereo camera distance measurement,three-dimensional reconstruction and other ielfds.In hits paper,a new method of stereo calibration is proposed on the basis of monocular camera.Its main principle is to use the constraint relationship between the three cameras for constructing multi-objective 0p— timization equation wih consttraints to improve the calibration precision.It call also get he ttranslation and rotation between three cameras. Firstly,tell some basic knowledge of stereo camera calibration,of which he tcamera model is introduced mainly.Secondly,discuss he tmo— nocular camera calibration principle,and thus the ternary camera calibration method is put forward.Eventually,the results of experiment are given to validate the correctness and effectiveness of the proposed method. Key words:stereo camera calibration;computer vision;three—dimensional reconstruction;camera model O 引 言 计算机视觉领域的研究目标是使计算机能够通过 二维图像感知三维环境,从而可以进行一些后处理,比 如三维重建以及视觉定位等研究。在计算机视觉领 域,进行视觉测量等研究必不可少的一步是摄像机的 标定,立体相机标定的主要任务是获得摄像机的内外 参数信息,同时得到多个相机之间的位置关系…。摄 了一定的成果,但到目前为止没有一种标定方法能满 足所有的标定需求,它们都有着各自的优缺点,在实际 的应用中要根据情况选择适当的标定方法 引,针对 具体应用,先对各个相机单独标定,再利用各个相机存 在的约束关系全局标定,从而提高相机标定的精度。 1摄像机模型 1.1摄像机中常见坐标 像机标定精度直接影响着视觉测量系统的性能。国内 外许多学者对标定技术都进行了深入的研究,也取得 收稿日期:2014—03—25 修回日期:2014—06—29 在摄像机标定中,首先要搞清楚图像像素坐标系、 网络出版时间:20l4—12-27 基金项目:国家自然科学基金资助项目(61005092) 作者简介:李孟(1990一),男,硕士研究生,研究方向为移动机器人;周波,博士,副教授,研究方向为工业机器人、移动机器人等;孟正大,教 授,硕士生导师,研究方向为机器人运动控制、机器人智能控制等;戴先中,博士,教授,博士生导师,研究方向为机器人控制、神经网 络软测量与控制等。 网络出版地址:http://www.enki.net/kcms/detail/61.1450.TP.20141227.1348.049.html ・70・ 计算机技术与发展 第25卷 图像物理坐标系、摄像机坐标系、世界坐标系的位置关 系,这几个坐标系的位置关系的理解是研究摄像机模 型的前提。 在图1中,首先在图像上建立坐标系uOv,图像上 每点的坐标(“,V)代表图像上每个像素点的列数和行 数,因为(u, )所对应的值是图像在该点的灰度值,因 此(u, )被称之为像素坐标,而其中( 。,V。)是图像 的中心点的像素坐标。 (z,0,v0) Y 图1 图像像素坐标系与图像物理坐标系 同时为了将图像的像素坐标与实际的物理尺寸联 系起来,还需要建立图像物理坐标系xO。Y,点0。为图 像像素坐标系的中心,每个像素沿 轴方向的实际物 理尺寸为 ,沿Y轴方向的实际物理尺寸为dy,则能 够得到两个坐标系的变换关系: H= + 0H=÷+“。 (1)) = + 。。 (2) 上式写成齐次坐标的形式: 1 ,、u 0 0...1.(3) dy ——YO 0 0 l 图2中,0。一X roz 代表着摄像机坐标系,其中, 0 是摄像机的光心,Xo和 分别和图像坐标系的 轴和Y轴是平行的。世界坐标系的选择一般是根据实 际情况进行合理的选择,图中0 一Xw】,wZ 代表着世 界坐标系。世界坐标系与相机坐标系的变换关系 如下: 图2相机坐标系与世界坐标系的关系 yw (4) Z Z 1 1 其中,向量t代表世界坐标系的原点在相机坐标 系中的坐标值;詹代表世界坐标系到相机坐标系的旋 转矩阵,其可以用欧拉角进行表达,其中Ol表示绕Z 轴旋转角度,卢表示绕 旋转角度,7表示绕 旋转 角度。 欧拉角表达旋转矩阵形式如下: coLcB COlsBsT—st ̄cT casBcy+sasy] 露=I 5 0cc sasl3sy+c c sasl3cy—c sy I L一 s c (5) 1.2相机投影模型 相机的投影模型中,光线从场景或者很远的地方 发射过来,所有的光线穿过图像平面最后相交于一点 即投影中心。如图3所示 表示图像平面与投影中心 之间的距离,也即焦距,光轴与图像平面的交点为主 点 ,坐标为(c ,c ),由相似三角形的关系可以 得到: q=MQ (6) / Q ,y,z) .. ....../// -・ ‘ :( I.y) 一 _・..__…一-I产… //光轴 图3相机投影模型 然而在相机标定过程中,并不容易得到真实的物 理场景中的点在摄像坐标系下的坐标,但容易得到点 在指定的世界坐标系下的坐标 ,因此式(6)变成: q=sMWQ (7) 其中,q=( ,y,1),一般选择Z=O,这样Q=(X, Y,1),s为任意尺度比例,W=[r,r2 t],定义日=[h h2 h3]=sM[r1 r2 t]。 2单目摄像机的标定 由 和r:的正交性可以得到下面两个约束条件: 第2期 hTM一 M~h =0 hTM M一 hl=hTM M一。h2 李孟等:三目立体相机的标定研究 ・71・ (8) (9) ( , )是真实的也就是畸变之后的图像坐标系下的坐 同时定义 标,并且( ,Y)和( ,Y)都是经过正规化之后的,两 者的对应关系满足: 一理想图像 畸变图像 rBll Bl2 Bl3] B=M M~=I B 1 B22 B23 l: LB3l B32 B33J l 哮 0 0 1 (10) 一C —Cy b=[ l1日l2 22 BI3 23 33] (11) 通过上面的定义可以得到: h ̄Bhj:l, 西 (12) 其中对hi和l, 的定义如下: h =[h hn h ] (13) l, =[hit 。,hit + , 。 +hi1 , + , 。 r (14) 根据(8)和(9)两个约束条件,可以得到下面 等式: , 如果可以同时得到 个棋盘图像,堆叠这些方 程,有: Vb=0 (16) 其中,y是2K×6的矩阵,当K≥3时,可得到唯一 解b,从而得到相机的内参数( ,c ,c )Is-o],当得 到相机的内参数矩阵之后,相机的外参数根据单应性 条件可以得到: r1=AM~h1 (17) r2=AM~h2 (18) r3=r1×,2 (19) t=AM~h3(20) 其中,A=1/ll M~h。【J。 在前面的讨论中,并没有讨论畸变参数的影响,而 在实际的相机模型中必须要考虑相机的畸变问题。针 对文中的相机,其主要畸变影响是径向畸变 ,其 他详细的相机模型可以参考文献[12],畸变的示意图 如图4所示。 从图中可以看出在远离图像中心,尤其是图像的 边缘畸变严重,也就是说在图像的中心畸变为零,随着 向边缘移动,畸变越来越严重。 设( ,Y)是不考虑畸变的图像坐标系下的坐标, 图4畸变模型 : + (kl( +Y )+k2( +Y ) ) (21) Y:Y+Y(kl( +Y )+k2 x +Y ) ) (22) 其中,.j}。和k 是径向畸变系数。 假设(“, )和( , )分别是不考虑畸变和考虑 畸变之后的图像像素坐标系下的坐标值,因此上面两 个等式等价于: u= +(u—uo)(kl( +Y )+k2( + ) ) (23) = +( 一 0)(k1( +Y )+ 2( +Y ) ) (24) 其中,( 。, )是光轴与图像平面的交点,也即图 像平面的主点。可以在先不考虑畸变的情况下求得相 机的内参数,以及各个点的像素坐标,然后再考虑畸变 参数。这样的求解思路能带来很大的便利性。对等式 (23)和(24)进行整理可得: 【 :( 一 二 0)( +y ) u ( 一 o)( -一 u。o ) ( + 。) x z+Y]y。2,) J【:2【 Jk ] = u I (25) 如果有n幅棋盘图,每幅棋盘图有m个点,则可 以得到2xmxn个等式,这2xmxn个等式可以形成一 个矩阵等式: Dk=d (26) 通过伪逆求解这个方程,可以得到k= ( D) D d,这样考虑到畸变参数之后把世界坐标 系中的点反投影到图像像素坐标系下,然后对下式进 行优化处理,可以得到更为精确的内外参数,对这个式 子的最优化求解可以采用LM算法进行迭代求取最小 值 引。 ∑∑I Iu -f(M,R , ,k ,k , ) (27) ・72・ 计算机技术与发展 第25卷 3三目相机位置关系的求解 三目相机标定与前面的单目相机标定的主要区别 在于三目相机标定除了标定摄像机的内外参数之外, 还需要各个相机之间的相对位置关系。假设相机的坐 标系用c ,C 表示,其中k,P:1,2,3,1,2,3分别表示 左、中、右相机,则相机的位置关系可以用下式表达: C =R 如Cp验所采用的标定板如图5所示,实验共采集了标定板 在17个不同姿态下的图像,每幅图像有l17个角点 坐标。 +f 如 (28) 其中, 表示P相机到k相机的旋转变换;t咖表 示P相机到k相机的平移变换。 在单目相机标定过程中可以得到相机相对于同一 个世界坐标系的位置变换尺 和t ,则相机之间的位置 变换可以通过下列变换得到: 尺 b=R 。 =tp—图5 标定板示意图 左侧相机标定结果: (29) (30) =648.252 6, .=,646.653 5,ch=258.067 5, R R t I、:205.350 7,kII=一0.027 4,kI2=0.250 3 这样对于n幅棋盘图就可以得到n个足山和t , 中间相机标定结果: =由于噪声和计算误差的影响这些值并不会完全相同, 选择中值作为冠幽,和t 的初始值,然后运用LM对计 算结果进行优化以得到最优结果。优化方程建立 如下: 651.606 2, =649.847 0,cM =261.257 2, M =206.515 9,k…=一0.063 8,kM2=0.844 6 右侧相机标定结果: =647.530 3, =,645.816 2,cR,=265.428 1, (R t )=minJ 定义: (31) 。 =197.076 6,kl{l:一0.007 2,kIt2=0.055 5 中间相机到左侧相机的变换: t,=∑∑ l I, I 一 (32) ( ^, , , ^l,k比, 却,t 如,U )_l R I2=1l 0.002 4 1.000 0 0.007 3 l J 0.008 3 —0.007 4 0.999 9cl2=ll 1.57 l 0.2l J『 000 0-0・002 4-0-o08 3] 上述优化过程并没有考虑三个相机之间的约束关 『 24.m] 系g(R : t ,冠粥,t。3,Rm t,)=0,而只是对每个相 机进行单独的优化与处理,考虑到约束条件可以起到 优化参数的作用,进而提高相机位置之间的标定精度。 重新整理之后的优化方程如下: n m ~ 右侧相机到中间相机的变换: .,。:∑∑lIu1 —f(M.,屁:一t…k k ,Rm t , I J I1 尺c23=I一0.0l 03 5 1.000 0—0.003 0 l 0.0l2 5 —0.002 9 0.999 9J23=ll 1.78 l 0.25 J『0・999 9 0.o03 5-(】・ol2 5] 『 22・50] U ,)l In Ⅲ (33) =∑∑ I j, l 一f(M2一R t…k—k,R…t , (34) ~ )ll n m :∑∑ i=1 J=I 一f(M。一R t…k…k~R R ,, (35) r 0.999 8 0.001 2 R l3=l一0.001 0 0.999 9 L 0.020 8 0.010 3 mt 3+tm, )l 1优化目标为:min J,其中.,=J。+., + 。 4实验结果 实验的传感器采用bumblebeeXB3立体摄像机,相 机资料所焦距标称值为fo=2.5 mm,相机分辨率为384 (h)×512(V),3.75 p,m方形像元,左边相机与中间 . : 1L. 8。] I: 2 50. I 10 J 标定的结果分析: 焦距是摄像机标定中一个非常重要的参数,首先 考察焦距的标定误差。相机CCD像元的尺寸为dx= dy=3.75 m,再对 和 取平均换算成以Inm为 相机基线距离为120 mm,中间相机与右边相机的基线 距离为120 mm,左右相机的基线距离为240 mm。实 单位。 第2期 李孟等:三目立体相机的标定研究 ・73・ : ×10一, (36) 计算机应用研究,2004,21(2):4-6. [4]秦丽娟,胡玉兰,魏英姿,等.基于模型的单目视觉定位方 则标定结果中焦距绝对误差和相对误差为: =法研究概述[J].仪器仪表学报,2008,29(8):530—533. [5]Hallert B.Notes on calibration of cameras and photographs in photogrammetry[J].Photogrametria,1968,8663(23):163— 178. f—fo×100% 0 (37、) (38) 艿: [6] Weng J,Cohen P,Herniou M.Camera calibration with distor- tion models and accuracy evaluation『J].IEEE Trans on PA— 计算结果如表1所示。 表1标定误差结果分析 摄像机序号 1(左) MI,1992,14(10):965—980. 绝对误差/mm 一0.07 相对误差/% 2.8 [7] Zhang Zhengyou.A lfexible new technique for camera calibra— tion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334. 2(中) 一0.06 2.4 [8] 吴福朝,于洪川,袁[9]袁波,等.摄像机内参数自标定一理论 3(右) 一0.07 2.8 与算法[J].自动化学报,1999,25(6):769—775. 野,欧宗瑛.一种考虑二阶径向畸变的主动视觉自标 定算法[J].中国图象图形学报,2003,8A(3):347—351. [10]Hsien C H,Chen F C.General two—stage Kalman filters[J]. IEEE Trans on Automatic Control,2000,45(4):819—824. [1 1]Zhang Zhengyou.Flexible camera calibration by viewing plane 5结束语 文中对三目立体标定的方法以及原理进行了详细 的研究,提出的多目标带约束的优化方程吻合三目摄 像机的参数模型,在此基础上利用MATLAB对三目标 定原理进行了实验。实验结果很好地验证了三目立体 标定原理的正确性以及有效性。 参考文献: [1]马颂德,张正友.计算机视觉:计算理论与算法基础[M]. 北京:科学出版社,1998. from unknown orientations[C]//Proc of 7th IEEE internation— al conference on computer vision.Kerkyra:IEEE,1999:666— 673. [12]黄桂平,李小勇,钦桂勤.数码相机内参数的实验场法标定 [J].测绘学院学报,2005,22(3):163—165. [13]王保丰,唐歌实,李广云,等.一种月球车视觉系统的匹配 算法[J].航空学报,2008,29(1):117—122. [14]黄翔字,崔平远,崔祜涛.深空自主导航系统的可观性分析 [2]徐德,谭民,李原.机器人视觉测量与控制[M].北 京:国防工业出版社,2008. [3]吴文琪,孙增圻.机器视觉中的摄像机定标方法综述[J]. [J].宇航学报,2006,27(3):332—337. (上接第68页) [4]Jalil K A,Ahmad Z,Manan J A.Securing oruting table update in AODV routing protocol[C]//Proc of 201 1 IEEE confer- ence on open systems.[S.1.]:IEEE,2011:116-121. [5] 何昆鹏,李腊元.Ad Hoc网络中按需路由协议的仿真与性 能分析[J].计算机技术与发展,2008,18(3):81—84. 技术[M].北京:电子工业出版社,2006. [10]李世宝,洪利.基于距离预测的移动自组网路由发现算 法[J].通信学报,2010(11):180—187. [11]Pham N D,Choo H.Energy eicifent expanding ring search for route discovery in MANETs[C]//Proc of IEEE international conference on communications.Beijing:IEEE,2008:3002— 3006. [6]Shafiq Z,Mahmud S A,Khan G M,et 1.Zonea routing proto— col:how does it perform the other way round?[C]//Pmc of 2012 intenatrional conference on ICT convergence.[S.I_]: IEEE,2012:71-77. [12]李士宁,张琪,于超.基于Ad Hoc网络路由协议的控 制开销研究[J].微电子学与计算机,2007,24(7):108— 111. [7]徐浩,慕德俊,李立欣.一种Ad hoc网络按需式分簇路 [13]魏烨嘉,王汝传,李伟伟,等.基于普适计算环境的三维空 间RSSI位置感知研究[J].计算机技术与发展,2010,20 (4):183—186. 由算法[J].计算机工程与应用,2007,43(14):3-6. [8] Zhang Junna,Yuan Peiyan,“u Ping.Research and simula— tions of cluster routing protocols in Ad Hoc networks[c]// Proc of WR1 world congress on software engineering.Xiamen: IEEE,2009:509-512. [14]Xue Wang,Zhong Songshu,Li Meng.Design of personnel posi— tion system of mine based on the average of RSSI[C]//Proc of 2012 IEEE international conference on automation and lo. gistics.Zhengzhou:IEEE,2012:239-242. [9] 陈林星,曾曦.移动Ad Hoc网络:自组织分组无线网络