运动目标识别与跟踪系统的研究 Research on the Recognition and Tracking System of Moving Object 肖杰，裴忠才，徐立新 (Xiao Jie, Pei Zhongcai, Xu Lixin) （北京航空航天大学 自动化科学与电气工程学院，北京 100083） 摘要：提出了一种运动目标识别与跟踪系统的方案，给出了系统的原理图和结构框图。重点论述了图像处理的过程和算法，包括颜色模型的选择，图像的预处理，图像分割，目标的识别及预测，以及目标丢失时的处理。可实现简单背景下目标的实时跟踪，达到较好的效果。 关键词：跟踪；图像处理；目标识别； abstract：A new method of the recognition and tracking system of moving object is introduced, and the system block diagram is presented. The process and algorithm of image processing is emphasized, including choose of color model, image pre-processing, image segmentation, object recognition and forecast, and the process of object loss. The system can realize the real-time tracking of the object on the simple scene and get good effects. Key words: tracking, image processing, object recognition 中图分类号：TN911.73 1． 概述： 随着计算机技术和数字图像处理技术的发展，计算机视觉技术的应用范围越来越大。其中，运动目标的检测与跟踪是计算机视觉领域的一个热点问题。目标跟踪系统在军事上，交通流量检测及小区安检系统中都有着广泛的应用。它可以使人从枯燥的跟踪过程中解放出来。运动目标的自动跟踪系统主要是采集运动图像的视频序列，通过图像处理算法对视频序列进行处理，得到目标的运动参数，使运动目标始终保持在摄像头监测范围之内。 2． 系统原理及结构组成 目标跟踪系统主要包括图像采集子系统，图像处理算法子系统以及伺服机构子系统。图像采集子系统的主要功能是完成图像的采集和目标在屏幕上的显示。这部分主要通过摄像头和图像采集卡完成。图像处理子系统完成图像的处理，提取出目标信号，得到目标的运动信息，包括位置信息和速度信息，提供给伺服系统。伺服系统接收来自图像处理子系统的信息，通过驱动电路带动云台上的摄像头发生转动，使运动目标一直锁定在摄像头的视野中。系统流程图如图1所示。 摄像头 图像采集卡 图像处理 驱动电路 伺服机构 图1 系统流程图 3． 图像的处理： 图像处理是目标跟踪系统的核心。图像处理效果的好坏直接决定着系统能否有效地跟踪目标。该部分主要包括图像的采集，颜色模型的选择，图像的预处理，图像分割，目标的预测等。图像处理的框图如图2所示。 图像采集 图像滤波 图像分割特征提取目标预测 图2 图像处理框图 3．1颜色空间模型的选择： 视觉系统中，常用的颜色空间模型包括RGB，HSI，YUV颜色空间。RGB（Red green and blue）是在三基色理论基础上开发的相加混色颜色空间，是一个面向硬件的空间。但由于在三个颜色分量中都包含一定波长的光源亮度信息，光源亮度的变化同时影响三基色分量。在室外环境中，不同位置的光照强度变化很大，使得同一种颜色的RGB值在场上不同位置有较大的变化。因此，它不是最适合图像分割的一种颜色空间。HSI是从人的视觉系统出发，用色调、饱和度和亮度来描述色彩。它比RGB色彩空间更符合人的视觉特性。但由于从RGB颜色空间转向HIS颜色空间时，需要大量的浮点运算，故不适合在实时图像处理系统中应用。 YUV颜色空间由于颜色稳定，节省存储空间，较适合于实时图像分割应用。因此，在本系统中选用YUV颜色模型。 3．2波门大小的设定： 由于摄像头采集的图像较大，若在整幅图像内进行图像处理，则秏时较多，系统的实时性得不到保证。因此，在图像处理系统中通常设定波门。波门是摄像头采集图像中实际需要处理的部分。它一般远小于图像大小，但大于所跟踪的目标。设定波门可以有效的滤除背景干扰，减小图像处理的时间，保证目标跟踪系统的实时性。波门大小的设定主要是根据跟踪目标大小的变化。本课题中，由于所跟踪的目标与摄像头之间的距离基本保持不变，目标在视野中的尺寸变化幅度不大，故选用固定大小的波门。本课题中，目标尺寸大体为30*20像素，选用的波门尺寸为100*75像素，该波门尺寸既保证了图象处理的实时性，又保证了目标一直保持在波门内。经实验，满足图像处理系统的要求。 3．3图像的预处理 图像采集卡采集到的图像，由于光照不均匀以及摄像头等硬件的精度、缺陷等问题，图像不可避免地含有各种噪声和失真。图像的预处理是在提取图像特征之前的必要步骤，以降低图像噪声和失真程度，增强图像中的有用信号，改善图像的质量，以有利于图像的后续处理。图像的预处理有均值滤波，中值滤波等多种方法。本文中采用了中值滤波方法。中值滤波是一种非线性的空间滤波器。它一般是采用一个含有奇数个点的滑动窗口，将窗口中各点灰度值的中值来代替指定点（一般是窗口的中心点）的灰度值（对于彩色图像，是指颜色空间中的各个值）。对于奇数个元素，中值是指按大小排序后，中间的数值。本文采用了一个3*3的中值滤波器，经实验，可明显地降低噪声，图像的边缘部分得到了较好的处理。 3．4图像分割: 为了使目标从图像背景中分离出来，寻找目标与非目标的差异的过程称为特征提取，而根据所提取的不同目标之间的某些特征差异对图像进行区域划分则称为图像分割。在视觉系统中常用的图像分割方法主要是区域增长法和阈值法两大类。区域增长法由于采用递归 方式，所以速度较慢，因而在实时较高的系统中应用逐渐减少。基于此，本课题中使用阈值法分割图像。利用像素值的直方图来确定分割阈值。由于整个系统中，目标图像的Y、U、V值保持相对恒定，故阈值使用预先确定的值。如图3所示，在YUV颜色空间中，每个颜色类由6个阈值描述，每一维两个阈值，分别表示该颜色类在该维中的最大值和最小值。如图3所示，3个色彩向量（Y，U，V）就在色彩空间中确定了一个长方体。当一个待识别的像素在色彩空间中的位置落在这个长方体中时，就认为该像素属于要跟踪的目标。属于目标的像素标记为1，其他标记为0。 图3 图像分割的算法 3．5特征提取及目标的预测 图像的特征提取是在以上几个步骤完成后，提取运动目标的位置信息和速度信息。特征提取应根据目标识别和跟踪的需要，选取具有较好鲁棒性的特征，并在保证识别精度和可靠性的情况下，尽可能的减少特征数目，以达到有效地识别。通常可以选取的特征有形状特征，纹理特征等。本系统采用的是提取目标的尺寸信息。通过图像分割时标记的值，计算目标的中心点坐标。即目标的尺寸可以通过下式计算。 A=∑∑B[i,j] 其中B[i,j]表示该像素经图像分割后的标记值 i=1j=1nm跟踪目标的中心坐标为 ∑∑jB[i,j] x=i=1j=1nm∑∑iB[i,j] y=i=1j=1nmAA 由于图像采集系统存在一定的采样延迟，造成了图像采样点滞后于目标实际的运动位置；同时又由于伺服机构也存在一定的延迟性，因此，若仅以图像处理的结果进行跟踪必然会使跟踪系统的运动滞后于目标的运动。所以必须进行目标的预测。目标的预测采用以下方法：设k-2,k-1,k为当前连续采集到的三帧图像，对应的坐标分别为（xk−2, yk−2），( xk−1, yk−1)，（x, ykk），则预测下一点的坐标为 xyk+1=xk+xk−1−xk−2 k+1=y+ykk−1−yk−2 由于目标可能做变加速运动，采用上式计算时，存在一定程度的误差。但由于在一个采集周期（33ms）内，目标运动范围不会很大，且上式运算简单，耗时较少，因此误差不影响目标跟踪的效果。 3．6目标丢失时的处理 正常情况下，上述跟踪算法能够稳定地跟踪目标。但当目标做超机动运动或者目标的背景急剧变化时，目标有可能丢失。此时，需要重新搜索目标。本课题中采用以下方法：当目标丢失时，在设定波门的基础上扩大搜索范围，进行相应的图像处理。即在一个更大的范围内搜索，一旦搜索到目标，就跳出搜索，转入正常的跟踪过程，否则一直搜索到整个视场。如图4所示。 图4 目标丢失时的处理 4． 结论 采用文中所述算法，以Visual C++ 6.0为开发工具，以简单背景下的运动目标作为实验对象，经实验得到了较好的效果。实验表明，该系统图像处理的时间为22ms左右，小于帧间隔的33ms。同时，当目标短暂丢失时，能较快的搜索到目标。具有较好的实时性，抗干扰性。此系统投入应用，预期可产生经济效益120万元。 本文作者创新点：提出了一种运动目标识别与跟踪系统的新方案，给出了系统的原理图和结构框图。采用新的图像分割算法，可在光照环境变化较大的情况下有效地分割目标与背景。波门的设定提高了图像处理的速度，目标丢失时的处理算法又能有效地找到目标。 5．参考文献 [1]李庆忠，刘怀强，侯永海，褚东升.视频序列中运动目标自动提取的研究[J]. 微计算机信息 2006，05：246－247. [2]杨宜禾 周维真. 成像跟踪技术导论[M] 西安：西安电子科技大学出版社 1991. [3]李尊民.电视自动图像跟踪的基本原理[M] 北京：国防工业出版社1998. [4]魏永. 微型足球机器人视觉系统的研究与设计（硕士学位论文） 大连：大连理工大学 2005. [5]马颂德，张正友. 计算机视觉－计算理论与算法基础 北京：科学出版社1998. [6]张雷，刘冀伟，王志良.固定场景下的运动检测与运动跟踪[J].微计算机信息，2006，09：287－288. [7]何斌，马天予，王运坚等.Visual C++数字图像处理 北京：人民邮电出版社 2003. 作者简介：肖杰，男，1980年9月生，汉族，山东日照人，在读硕士，研究方向：图像处理与目标跟踪； 裴忠才，男，1968年11月生，汉族，山东滕州人，北京航空航天大学自动化科学与电气工程学院教授，研究方向：机器人技术及计算机视觉。 Biography：Xiao Jie（1980），Han，Shandong Province，Beihang University(BUAA)，master，research area：Image processing and object following; Pei Zhongcai(1968), Han, Shandong Province, Beihang University(BUAA), professor, research area：Robotics and Computer vision.