基于视觉传感器的智能小车标志识别系统.

天津理工大学2011本科优秀毕业设计说明书

基于视觉传感器的智能小车的标志识别系统

机械工程学院，机械工程及自动化，王松涛

指导老师：孙启湲，副教授，机械工程学院

摘 要：视觉信号具有信号探测范围宽、获取信息丰富等优点。随着近几年图像处理技术以及计算机处理能力的飞速发展，视觉导航成为机器人导航的主要发展方向之一。机器人导航的任务之一就是根据路面特征来行走，本文在Visual C++集成开发环境中基于OpenCV 和DirectShow 视频采集技术编程实现了系统的功能。本文所设计的就是一个基于视觉传感器的智能小车的标志识别系统，根据图像分析后的二值图像序列信息，使小车能根据识别到的图像信息进行运动。

关键词：智能小车 视觉导航 图像处理 特征识别

The Mark Recognition System Based on Vision for an Intelligence

Vehicle

Abstract： Visual signal with the signal detection range, access to information-rich and so on. As in recent years, image processing technology and the rapid development of computer processing power, visual robot navigation as

the main development direction of navigation. Robot navigation tasks is to walk to the road characteristics, this article in Visual C + + integrated development environment based on OpenCV and DirectShow video capture technology, programming function of the system. This article is designed is a smart vision sensor based car sign recognition system, according to the image analysis of binary image sequences, so the car can be identified according to the image information campaign.

ehicle Mark Recognition Image Processing Feature Recognition Key Words：Intelligence V

1 绪论

机器人[1]的导航技术是智能型机器人自主完成任务的核心技术。移动机器人导航是指移动机器人按照预先给出的任务命令，根据已知信息做出路径规划，并在行进过程中，不断感知周围的局部环境信息，自主地做出决策，调整自身位姿，引导自身安全行驶或跟踪已经路径到达目标位置。这其中包括三个主要内容：避障、定位和路径规划。本文所设计的就是一个基于视觉传感器的智能小车的标志识别系统，根据图像分析后的二值图像序列信息，小车能根据识别到的图像信息进行运动。

[2]

2 基于视觉传感器的智能小车系统

本论文是基于视觉传感器[8]的智能小车识别系统,试验的平台选用的是上海中为机器人提供的小车，小车实现的功能是在地面行走时，能根据摄像头反馈回的地面特征，实现自主移动。实验中用到的模块 1

基于视觉传感器的智能小车的标志识别系统

有，CMOS 摄像头，无线图传模块，传感与通讯模块，运动控制模块，远程控制模块，USB 图像采集卡，运动过程如图2.1所示：

图 2.1小车总体运动流程图

Fig 2.1 Flow chart of the overall sports car

2.1 小车运动控制流程图

小车的控制[3]流程可以分为以下三个部分，视觉采集，图片信息处理，运动控制，控制流程如图2.2所示：

图 2.2 小车控制流程图

Fig 2.2 Car control flow chart 2.2 视觉采集系统

天津理工大学2011本科优秀毕业设计说明书

基于视觉的导航方式，机器人平台的图像采集系统获取机器人当前状态下的环境信息，通过对环境图像分析确定环境对象和机器人在环境中的位置。由于图像有较高分辨率，环境信息完整，符合人类的认知习惯，在机器人导航中得到广泛关注，本文所采用的正是基于视觉的导航，工作过程如图2.3所示：

图 2.3 视觉系统工作流程图 Fig.2.3 Vision system work flow chart

本小车选用的是COMS摄像头，摄像头安装在步进电机组件的转盘上，以便在需要时控制摄像头的旋转。摄像头的电源线连接在无线图传模块上，一起通过机器人供电（12V）；视频线连接在无线图传模块上，将采集到的图像传递到无线图传模块，再通过它将图像传出去。如图2.4所示：

图 2.4 CMOS 摄像头 Fig 2.4 CMOS camera

2.3 信息传输处理系统

摄像头采集到的信息要通过传输系统的传输才能被处理，智能小车的信息传输处理过

程如图：

基于视觉传感器的智能小车的标志识别系统

图 2.5 信息传输处理流程图

Fig 2.5 Information transmission processing flow chart

2.3.1 无线图传模块

无线图传模块安装在机器人的底盘下，其天线穿过底盘伸到上方来。无线图传模块采用的是模拟图像传输方式，12V 电源供电，其电源线连接在机器人运动控制模块的Video 接口上，由机器人给它供电。同时，通过另一路电源线给摄像头供电。如图2.6所示：

图2.6 无线图传模块

Fig 2.6 Wireless transmission module map

2.3.2 USB 图像采集卡

USB 图像采集卡也不装在机器人上，使用时接到计算机USB 口上，与远程控制模块一起使用。用视频线连接图像采集卡与远程控制模块，在计算机端获取机器人端的图像。如图2.7，2.8 所示

图 2.7 图像采集卡 图 2.8 视频线

Fig 2.7 Image acquisition card Fig 2..8 Video cable

2.3.3 远程控制模块

远程控制模块不安装在机器人上，是一个独立的功能模块。需要遥控机器人时把它用串口线连接到计算机上，用配套的12V 电源模块给它供电。远程控制模块中包含了一个无线数传模块和一个无线图传模块，分别与机器人端的无线数传模块和无线图传模块相对应。如图2.9所示：

天津理工大学2011本科优秀毕业设计说明书

图 2.9 远程控制模块

Fig.2.9 Remote control module

2.3.4无线数传模块

无线数传模块安装在机器人的传感与通信模块里，其天线从模块的上盖伸出。电源和信号线连接在传感与通信模块的UART1 接口上，如图2.10所示：

图 2.10 无线数传模块

Fig 2.10 Wireless module

2.4 运动控制系统

运动控制系统主要根据PC机传回的信息进行控制小车的运动，用到的模块为运动控制模块如图

2.11所示：

图2.11运动控制模块

Fig 2.11 Motion Control Module

2.5 小车总体结构

实验中要用到的模块有：电源控制模块，运动控制模块，传感与通信模块，无线通信模块，USB 图像采集卡 远程控制模块 CMOS 摄像头 无线图传模块，USB 图像采集卡 远程控制模块连在计算机上；其他的连在小车上 组合图如图2.12所示：

基于视觉传感器的智能小车的标志识别系统

图2.12 视频遥控机器人

Fig 2.12 Video remote control robot

2.6 智能小车软件系统

小车的软件系统可以分为两个部分，上位机，和下位机两个部分，上位机主要是用微软公司的VC++6.0编译系统，下位机则是用ADS开发系统，上位机主要对采集回来的图像进行处理，下位机则控制小车的运动，流程如下图2.13 所示

图 2.13 程序流程图

Fig 2.13 Program flow chart [6]2.7 智能小车的运行过程

下位机程序下载完成以后，打开PC机，运行上位机程序，同时打开小车的开关，就可以运行了。运行过程如图2.14所示

天津理工大学2011本科优秀毕业设计说明书

图 2.14 小车工作流程图

Fig 2.14 Car work flow chart

3 智能小车视觉导航中的图像处理 图像处理流程如图3.1所示：

[9]图 3.1 图像处理流程

Fig 3.1 Image processing

基于视觉传感器的智能小车的标志识别系统

4 智能小车基于地面特征的视觉导航

4.1 智能小车基于地面特征的导航的实现

小车的硬件设备已经准备好了，由摄像头传回的图像也已经处理完毕，现在我们要做的就是根据传回的图像进行分析，处理，然后做出判断，处理流程如图4.1所示：

图 4.1 识别流程图

Fig 4.1 Identification flowchart

4.1 匹配模板的制作

要实现小车根据特征来实现运动，小车首先要识别特征，根据提取的特征然后匹配，

我用的是模板匹配的方法，为前进，后退，左转，右转，停止，分别做2个模板，每个模板25个像素，然后处理提取出的图片,也把他分为25个像素，然后做对比，识别出相应的图标。如下图4.2为5个特征模板：

天津理工大学2011本科优秀毕业设计说明书

图 4.2 特征模板

Fig 4.2 Feature template

模板的制作方法是根据小车要识别的特征的形状，然后在模板中也画出类似的形状，如停止的模板为圆，制作如下图4.3所示：

图 4.3 圆的模板

Fig 4.3 Circle template

4.2 地面特征的提取与识别

特征向量的提取方法多种多样[14]，对于图标的特征提取方法而言，通常用得比较多的有逐像素特征提取方法，骨架特征提取方法，垂直方向数据统计特征提取法等。本论文采用的是逐像素特征提取的方法，根据图像范围提取出特征，分成25个像素，然后匹配

对应，从而识别出相应的图标。

模式识别(Pattern Recognition)[15]是人类的一项基本智能，广泛应用于人工智能、机器人、系统控制等领域，在国民经济和社会发展等方面得到广泛应用。数字识别隶属于图像识别，识别的步骤主要有三大步：预处理、特征或基元选择和识别。研究方法有：最小距离法、贝叶斯决策法、BP 神经网络法等等。最小距离法是模式识别中进行识别的最传统的方法，用这种方法进行简单的数字识别其达到的精度是能够满足需求的。

最小距离法原理介绍：

对一个未知模式x来说，如果将它代入所有决策函数算得di(x)取最大，则x属于第i类。如果对x的值，有di(x)=dj(x)，则得到将类i与类j分开的决策边界。可写成：

dij(x)=di(x)-dj(x)

（4.1） 9

基于视觉传感器的智能小车的标志识别系统

这样如果dij(x)＞0，则模式属于Si；如果dij(x))＜0，则模式属于Sj。假设每个模式类用一个均值矢量表示： mj=iNj∑xj=1

其中Nj （4.2） 代表Sj的模式个数。对一个未知模式适量进行分类的方法是将这个模式赋给与它最接近的类。如果利用欧式距离来确定接近程度，则问题转化为对距离的测量：

Dj(x)=x-mj,j=1,2, ,M （4.3） 其中

将x赋给a=(aa)Sir1/2是欧式模。因为最小的距离代表最好的匹配，所以如果Di(x)是最小的距离，则类，可以证明这等价于计算：

dj(x)=xmj-r12mjmj,j=1,2 ,Mr （4.4）

并且在di(x)给出最大值时将x赋给Si。

识别匹配的结果为箭头向上时为数字1，箭头向下时为数字0，箭头向左时为数字4转，圆圈时为数字0。 识别结果如图4.4，4.5所示：

图 4.4 原始图像 图 4.5 识别结果

Fig 4.4 Original image Fig 4.5 Recognition results

4.3 智能小车自主导航的实现

接通无线通信模块，打开开关，视频采集卡连接电脑上，打开小车上的开关。运行程序，这是可以在对话框中看到时时传回的照片，如图4.6所示：

天津理工大学2011本科优秀毕业设计说明书

图 4.6 小车时时识别结果

Fig 4.6 Recognition results

这时小车识别到相应的箭头就进行行走，箭头向上时小车前进，向下时后退，向左时左转，向右时右转，圆圈时停止。如图所示：

Fig 4.7 Forward icon Fig 4.8 Back icon

图 4.7 前进的图标 图 4.8 后退的图标

图 4.9 左转的图标 图4.10右转的图标

Fig 4.9 Turn left icon Fig 4.10 Turn left icon

图 4.11 停止的图标

Fig 4.11 Stop icon

小车就根据预先设定的图标进行行走了,行走规则如下：小车在没有识别到任何图像时小车保持前

基于视觉传感器的智能小车的标志识别系统

进，当看到前进的图标时继续保持前进，当看到左拐或右拐的图标时，小车再行走1秒，然后再拐弯，当看到圆时小车停止。

5 结论

本论文是实现基于视觉传感器的智能小车识别系统，通过对摄像头采集来的图像进行处理，然后实现自主漫游。该论文实现的难点有两个方面；

1.论文中最主要的部分是对图像进行处理，包括图像的抓取，处理，识别，由于对这块比较陌生，在最初进行时遇到了很多麻烦，查阅了很多相关资料，工作才有了实质的进展，对计算机图像处理这块才有了较为深入的理解。

2.由于开发环境我选的是VC++，编程语言用的是C++，由于很长时间没有接触C++,对于编程这块一开始也比较棘手，特别是对于对象的理解，还有对函数的调用，在实际操作中对于怎么调试程序，怎么插入函数都有很好的理解，通过这些对编程有了进一步的学习和认识。

最终经过一个多月的调试，学习，机器人最终能够按照预先设定的图标进行运动。对于将来实现机器人的自主探索也是一个小小的尝试。但还有不足的地方，比如小车识别的精度有待提高，受周围环境影响比较大，容易被干扰。

参考文献

[1] 张剑平, 夏洪文. 教育机器人：现状与发展, 2006, 9

[2] 周新绝.关绮玲编著.机器人.上海：复旦大学出版社.1994:7～9

[3] 金广业.陶兴旺.孙福伟编译.工业机器人与控制.东北工学院出版社，1993：1～2

[4] 李自茂编译.机器人学.四川科学技术出版社.1990:16～35

[5] Fred G. Martin. 机器人探索—工程实践指南. 北京：电子工业出版社，2004。8

[6] 王宇熙，夏其表. Visual C++ 6.0程序设计实用教程. 2006,7

[7] 王祚斌.国内外机器人发展概况.电气自动化.1995(2):64～65

[8] 刘君华. 智能传感器系统[M]西安:西安电子科技大学出版社,1999.

[9] 李华. 图像处理技术[M] . 北京:北京航空航天大学出版社,2004.

[10] Alan Bradshaw. The UK Security and Fire Fighting Advanced Robot Project.IEEE Int.Conf.on Robotics

and Automation.1991:1～4

[11] Sinbu Sagisawa. Advanced Robot for Hazardous Envionment.An Outline of Japanese National R&D

Project “Advanced Robot Technology”,IEEE Int.Conf.on Robotics and Automation.1991:315～319

[12] M.Konaka. National Project on Advanced Robot Technology in Japan.Proc.’91

ISART.Tokyo.Japan.1991:9～14

[13] A. Nishi.H.Miyagi.Control of A Wall.Climbing Robot Using Propulsive Force of Propeller.Intelligent

Robots and Systems ’91.Intelligence for Mechanical Systems.Proceedings IROS ’91 .IEEE/RSJ International Workshop on,1991:1561～1567

天津理工大学2011本科优秀毕业设计说明书

[14] Duda, R.O., Hart, P. E., and Stork, D.G. . Pattern Classification, 2nd ed., John Wiley & Sons,

NY.2001:20～68

[15] Ritter, G.X. and Wilson, J.N. Handbook of Computer Vision Algorithms in Image Algebra, CRC Press,

Boca Raton, FL.2005:47～57