基于手机和人脸识别的身份识别系统

ComputerApplicationsandSoftwareVol󰀁28No.3

Mar.2011

基于手机和人脸识别的身份识别系统

陈一宁󰀁陈晓光󰀁

(上海交通大学电子信息与电气工程学院󰀁上海200030)

摘󰀁要󰀁󰀁主要研究一种以具有摄像功能的手机端和人脸识别技术为基础的身份确认系统。利用局部二元模式(LBP)直方图特征

的加权卡方距离来识别用户身份的方法,并根据手机用户的拍摄场景的多变性,添加对图片的光照预处理和几何校准过程,最后达到了比较好的实用效果。同时提出利用易辨识信息减少的比对样本,大大提高了系统运行性能。最后在ELSJTU图像数据集上测试的基础上,分析总结并提出了可以改进的意见。关键词󰀁󰀁人脸识别󰀁LBP󰀁Gamma校正󰀁手机

ANOVELIDENTITYRECOGNITIONSYSTEMBASEDONMOBILEPHONE

ANDFACERECOGNITION

ChenYining󰀁ChenXiaoguang

(SchoolofElectronicInformationandElectricalEngineering,ShanghaiJiaotongUniversity,Shanghai200030,China)

Abstract󰀁󰀁Inthispaperwemainlyresearchedonthedesignofanidentityverificationsystembasedonmobilephonewithcameraandface

recognitiontechnology.Westudiedtheapproachofusingweightedchi󰀁squaredistancecalculatedfromLBPhistogramfeaturestorecognizethe

identitiesofusers.Accordingtothevariabilityofshootingscenesthemobilephoneusershas,weappendedalightpre󰀁processingandgeomet󰀁ricalcalibrationprocedure,andthesefinallybroughtasatisfactorypracticaleffect.Meanwhilewepresentedtouseeasilyrecognisableinforma󰀁tiontoreducethesamplescontrasted,whichsignificantlyimprovedtheoperationperformanceofthesystem.Intheend,aftertestingbasedonELSJTUimagedatabase,someimprovementsavailableweresuggestedbasedontheanalysesandsummarisation.Keywords󰀁󰀁Facerecognition󰀁Localbinarypatterns(LBP)󰀁Gamma󰀁Mobilephone

上述两点为该身份识别系统的广泛部署提供可能,经过试验

测试,本系统适用条件为:可在网络传输较好,手机用户拍摄的头像照片的背景色调较单一且背景色调较浅,用户端需要是装有symbian操作系统的有摄像功能的手机。本系统研究的目的在于对一种新型的身份识别系统进行可行性试验论证。使得该系统以后能协助公安机关或其它相关单位进行安全保障、交通管理、人口管理工作,使得公安机关能较快确认对方身份。

0󰀁引󰀁言

传统的生物特征身份识别方法,例如指纹识别和人眼虹膜识别均需要特殊的检测设备,这一类设备昂贵且笨重,所以仅能

在少数场合使用。

针对身份识别所需设备的代价高的问题,近年来,许多科研团队都在研究如何减小识别的代价。其中不少人想借助功能越来越强大的手机端进行人脸识别。但是现有的相关专利的应用,存在着手机端处理的信息过多且耗费过高,系统准确性和实时性比较差的问题。同时有些研究论文中提出的提取人脸眉毛、骨骼等特征信息用于识别的方法,目前并不具有实用价值,因此可操作性及可实现性不强。

针对以上不足,本文提出了一种基于手机摄像头结合人脸识别技术的身份识别方法和系统架构。与现有技术相比,本系统具有如下优点:

首先,本系统识别终端的设备成本低,使用范围广,而且目前的很多手机终端能拍摄高质量的照片,这使得本系统具有较强的实用性。

其次,本系统将易辨识信息的提取和人脸的识别相结合,在身份识别前允许用户输入易辨识信息对身份数据库进行过滤,减少人脸识别的范围,而且在进行最终身份识别时提供五个结果图像供用户选择,提高了身份识别的速度及准确性。1󰀁系统整体设计

图1󰀁系统流程图

收稿日期:2009-07-07。国家高技术研究发展计划项目(2007AA01Z157)。陈一宁,硕士生,主研领域:语音识别,模式识别。󰀁

󰀁78󰀁󰀁󰀁1.1󰀁客户端

计算机应用与软件2011年

由于图片的灰度值主要受到光照和局部表面反射系数的影响:Observed󰀁value=illumination󰀁albedo(1)

我们的目的是分离光照(illumination),尽量减小它对Observedvalue的影响,我们利用log运算将上列乘法运算转换成加法得到:

log(grey󰀁value)=log(illumination)+log(albedo)(2)log值转换同时会放大黑暗区域中的噪声,而使用Gamma校正可以平衡这种效果。因此光照预处理第一步采取Gamma校正。待处理的图片的每个像素为3󰀁8bit的RGB表示,所进行的Gamma校正的公式为:

RgammaGgamma

R

=255source

255G

=255source

2551󰀁客户端负责用户易辨识信息和人脸图像采集。同时为了减轻大量用户访问下服务器端的工作压力,客户端会对用户手机硬件进行性能检测,若手机性能达到要求,则在客户端进行LBP特征的计算,若客户端手机性能达不到要求则将人脸图像直接发送到服务器端进行LBP计算。

1.2󰀁服务器端

服务器端接收到用户数据后,首选进行用户数据类型判断:如果是为变换处理的人脸图像,则对其进行LBP特征计算;

如果客户发送的已经是LBP特征,则直接进入下一步。服务器根据用户发送的易辨识信息从图片数据库中选取候选图片的特征数据集。根据现在得到的用户图像LBP直方特征和候选数据集进行卡方距离计算。根据卡方距离判断有效识别身份,如果存在有效身份立即发回客户端,如果不存在,则扩大候选数据集,继续计算卡方距离直至候选数据集不变,返回最终结果给用户。

1󰀁(3)

󰀁B

Bgamma=255source

255

其中󰀁的值取1.8。通过Gamma校正使得阴影区域灰度值

12󰀁客户端设计

2.1󰀁易辨识信息

易辨识信息,是指待识别者外在的、易于采集的信息,包括:性别、年龄范围、身高等,利用易辨识信息把数据库中明显不符

的信息过滤,减小人脸识别的范围,提高身份识别的准确率和识别速度。

变化的幅度增大,同时压缩明亮区域以及高光区域灰度值变化的幅度[1]。

Gamma校正之后,进行直方图均衡化处理。直方图均衡化处理的中心思想是把原始图像的灰度直方图从比较集中的某个灰度区域变成在全部灰度范围内的均匀分布,使得变换后图像的直方图相对原始图像的直方图比较均匀、平坦,灰度层次清晰。在图像处理中采用以下公式:

g(x,y)=T(f(x,y))

(4)

2.2󰀁手机摄像特点

手机摄像头在采集使用者的图像时有着自身的特点,使用者在用手机摄像的时候眼睛一般都对准摄像头,这样得到的人脸图像的位置一般来说都是比较固定的正面。从单幅图像的角度来看,人脸及上半身出现在图像的固定范围内,而且得到的人脸图像都是正面人脸图像并且充斥整个图像,这样的图像大多可以直接进行人脸识别,省去人脸检测环节,使得系统性能大幅度提升。

其中T表示转换算子;f(..)和g(..)表示转换前后某一像素的灰度值,通常用u表示f(..),p表示g(..)。

因此公式(4)可变为:

p=T(u)

转换算子T还必须满足两个条件:

(1)T(u)在u󰀁[0,L-1]范围内是个单调递增函数;(2)对于u󰀁[0,L-1]有T(u)󰀁[0,L-1](L为灰度值的级数)。

本系统中的T转换算子为:

pk=T(uk)=

(5)

2.3󰀁图像信息和相关计算

本系统中待识别的人脸图像要求是:

(1)通过手机摄像头采集的RGB颜色空间的人脸图像;

(2)图像解析度大小为160󰀁120,在采集人脸图像过程中;(3)使待识别者眼睛位于采集软件设定的人眼位置框内;(4)脸部的表情自然、光照良好,图像背景简单。由于手机拍摄的特殊应用场景,使得人脸图像一般不需要进行人脸检测,可直接进行人脸识别。

对于LBP的计算,本系统采取了根据具体客户端配置动态决定的策略。参考了Nokia手机参数并研究了LBP计算环境要求后,本系统将阈值设置为CPU主频220M以上(包含220M)。具体计算的分块策略与服务器端一致。

󰀁

k

ni/n=

i=0

󰀁Q

i=0

k

u

(ui)

(6)

通过实验可以发现(图2所示),经过光照预处理基本上去除了阴影以及不同光照强度对图像灰度值的影响,同时保留了眼睛、鼻子、嘴、皱纹等识别中有用的信息。经过计算原始图与标准图差异为13725,原始图片和标准图片经光照处理之后,两张图片的差异为8975,下降34.6%。局部之间的差异明显缩小。

3󰀁识别过程

3.1󰀁光照预处理

经过试验发现在实际的手机拍摄的头像中,光照影响较大,由于强光等因素影响,识别正确率会从90%降低到40%左右。

因此需要在LBP变换前增加一个光照预处理阶段。图2󰀁原始图(左)光照预处理图(右)

3.2󰀁几何校准

几何校准就是把人脸校正到统一的大小。从标准化人脸图像得出的是一个正方向的包含主要部位的图像。一般人脸的主

󰀁

第3期󰀁󰀁󰀁

陈一宁等:基于手机和人脸识别的身份识别系统

于以上方法。

󰀁79

要部位如嘴,鼻子,脸颊等的位置在相对标准的位置,所以进行几何校准也就是大小校正,这比较简单。只要对得出的标准化人脸图像通过插值运算进行缩放就可以得出大小归一化的图像[4]。

本系统中采用最近临插值,假设图像a在x轴方向缩放比例为fx,y轴方向缩放比例为fy,那么原图中的点(x0,y0)对应于新图中的点(x1,y1)的转换矩阵为:

x1=x0󰀁fxy1=y0󰀁fy

逆运算为:

x0=x1/fx

(8)

y0=y1/fy

当fx=fy=0.5时,图像被缩到一半大小,而缩放的比例则可以根据标准化后的人脸图像与规范的大小比值来确定。

(7)

由表1可见,LBP特征方法在fb数据集上达到了97%的识别率,在fc数据集上,LBP达到了79%的识别率,相比PCA,EB󰀁GM,BIC具有明显优势。根据文献[2]说明,fb数据集有图像1195张,用于测试算法表情处理方面的健壮性,fc数据集有图片194张,用于测试不同光照下的算法健壮性。

表1󰀁LBP特征抽取与其它方法在FERET上测试结果

方法LBP,weightedLBP,nonweightedBayesian,MAPEBGM_Optimal

PCA

Fb0.970.930.820.900.85

fc0.790.510.370.420.65

3.3󰀁使用LocalBinaryPattern表征人脸

LBPP,R是一种纹理特征,该特征同时表征了人脸的空间与纹理信息。最初由Ojala等人提出:以每个像素为圆心,半径

取R的一个圆形,用圆边上的P个像素与圆心像素进行比较。大于圆心的像素灰度为1,小于则为0,从圆边缘上某点为起始点,以顺时针或逆时针方向形成一个二进制数串。中间值的灰度值为该二进制数。

以图3中像素为例,服务器首先根据中心像素点处理得到圆边界值,从左上角按顺时针方向产生二进制位串11101001,取其十进制数值233作为中心像素的LBP值。图4显示的是LBP8,1表示的一些特征纹理的示例,黑点表示二进制0,白点表示1。

[3]

3.4󰀁人脸相似度计算

基于LBP直方图的特征,有许多衡量直方图相似度的方法,他们是:

直方图的交集:

D(S,M)=

Log相似度统计:

L(S,M)=

卡方x2统计:

(Si-Mi)2

x(S,M)=(11)

Si+Mii

其中,S是样本分布,M是模型分布。本系统采取卡方统计。一般

2

󰀁min(S,X

i

i

i

)(9)

󰀁S

i

i

logMi

(10)

󰀁

当图像被划分为很多区域的时候,某些区域拥有更明显的分类特征。因此可以给不同区域设置不同权值,具有明显分类特征的区域分配到更高的权值。因此,本系统采用的x2统计为:

(Si,j-Mi,j)2

x(S,M)=wj(12)

Si,j+Mi,ji,j

经过实验测试,脸部区域被划分为8󰀁6个小区块,权系数

2w

󰀁

的定义如图5所示。

图3󰀁LBP操作

图4󰀁LBP检测的不同纹理特征

目前对LBP算子进行改进的一个方法是统一模式(UniformPattern):当二进制位串中至多包含两个0与1的跳转,如00000000,00011110是统一模式的,而10010000不是。LBP8,1有59种统一模式。

系统在处理160󰀁120的图像时,将图像分成8󰀁6个小区域,将每个区域中的LBP8,1统一模式直方图抽取出来,再将所有的小块区域中的LBP直方图加权后的信息链接形成具有空间加强信息的特征向量。这种提取特征的方法简单高效。

实验[2,3]通过比较LBP特征提取方法与其他主流人脸识别的方法(PCA特征脸法,EBGM人脸弹性图匹配,贝叶斯分类法)在FERET上的表现,证明基于LBP特征的人脸识别方法优权重4.0。

图5󰀁权值分布图

黑色方块权重0.0,深灰色权重1.0,浅灰色权重2.0,白色

4󰀁系统实验

4.1󰀁实验设计

本系统中手机端基本情况如下:手机端采用搭载Symbian(信比安)S60操作系统的智能手机作为平台。手机端程序采用C++语言基于SymbianS60SDK进行开发,手机端程序使用时

(下转第105页)

󰀁

第3期󰀁󰀁󰀁

钱哨:基于混合概率分布的演化算法在电网负荷恢复中的应用

确率达到最大值。

󰀁105

参考文献

[1]LesterHFink,LiouKanLee,LiuChenching.Fromgenericrestora󰀁

tionactionstospecificrestorationstrategies[J].IEEETrans.onPow󰀁erSystems,1995,10(2):745-752.

[2]房鑫炎,郁惟镛,熊惠敏,等.电力系统黑启动的研究[J].中国

电力,2000,33(1):40-43.

[3]周云海,闵勇.负荷的快速恢复算法研究[J].中国电机工程学

报,2003,23(3):74-79.

[4]张志毅,陈允平,刘敏忠,等.用改进遗传算法求解电力系统负荷

恢复[J].华中科技大学学报:自然科学版,2007,35(7):102-104.

[5]张志毅,陈允平,袁荣湘.电力负荷恢复问题的混合遗传算法求解

[J].电工技术学报,2007,22(2):105-109.

[6]云庆夏.演化算法[M].北京:冶金工业出版社,2000.

[7]杨秀霞,张晓锋,张毅.基于加速遗传算法的舰船电力系统故障

恢复[J].电工技术学报,2005,20(5):53-57.

[8]ZhaoBo,GuoChuangxin,CaoYijia.Optimalpowerflowusingparti󰀁

cleswarmoptimizationandnonstationarymulti󰀁stageassignmentpenal󰀁tyfunction[J].TransactionsofChinaElectrotechnicalSociety,2005,20(5):53-57.

[9]AdibiMM,BorkoskiJN,KafkaRJ.Analyticaltoolrequirementsfor

powersystemrestoration[J].IEEETrans.onPowerSystems,1994,9(3):1582-1591.

[10]HuangJA,AudetteL,HarrisonS.Asystematicmethodforpower

systemrestorationplanning[J].IEEETrans.1995,10(2):869-875.

[11]JerryJAncona.Aframeworkforpowersystemrestorationfollowinga

majorpowerfailure[J].(3):1480-1485.

IEEETrans.onPowerSystems,1995,10

onPowerSystems,

序号12345678

阈值1000010200104001060010900113001160012000

表2󰀁识别测试结果FAR(%)1.7531.9562.6854.0125.9587.02510.25414.586

FRR(%)17.36515.35413.2148.5824.6582.5421.5480.598

正确率(%)80.88282.69284.10187.40689.38490.43388.19884.816

同时对于阈值的设定,对几不同的环境条件应该是不一样的。比如在一个光照恶劣的条件下,两张图片的相似度会比光

照良好的条件下低,同时,阈值设置比较低,带来的安全度也低。相对较低的阈值,自己登录比较容易,但是别人冒认也容易,反之亦然。所以,阈值的设定是系统里一个很重要的问题。

4.4󰀁系统性能

通过测试,本系统对单幅图像的识别率能达到70%左右,对最终返回客户端的5幅图像中包含正确识别结果的机率大于90%,即该系统的准确率达到了90%。另一方面经过测试还表明,一次身份识别请求从发出请求到返回结果平均仅需要10秒时间。其中80%的时间花费在图片传送上,手机网络的好坏对本系统影响较大。

在存在干扰时,系统性能波动较大。比如对100张带有较多周围环境的头像图片进行测试,系统的准确率下降到63%。这就要求用户用手机拍摄时,尽量要把头充满整个图片。

4.5󰀁系统改进

(上接第79页)

需要开通中国移动提供的GPRS上网和多媒体信息(MMS)两项服务,这样手机端才能够和服务器端进行交互。

测试中发现,手机用户在拍摄时,由于在摄像角度或者距离上存在的偏差而在图片中引入周围环境,由此使得识别准确率有30%以上的下降。因此若要提高系统的准确率,在LBP运算之前增加一个人脸检测功能模块,去除人脸周围干扰像素。

4.2󰀁实验测试数据

本文实验所采用的人脸识别库是由上海交通大学E󰀁Learn󰀁ing实验室录制的人脸库,共保存了20位中国人的人脸图像。每人拍摄了10至20张照片,总数达到477张。考虑到手机拍摄的实际情况,该库中的图像以人脸的正面图像为主,同时结合部分斜面人脸图像,并且图像库中人脸被头发的遮挡也较少。部分表情图片如图6所示。

5󰀁结󰀁论

本文实现的手机人脸识别身份验证系统能在一定的条件下实现良好的验证效果,说明了人脸识别在手机上实现的可行性

和有效性。但是,系统也有对手机使用者姿态和恶劣光线敏感的缺点,因此这些方面需要再做进一步的研究和改进。

参󰀁考󰀁文󰀁献

[1]彭国福,林正浩.图像处理中的Gamma校正的研究和实现[J].电

子工程师,2003,32(2).

图6󰀁人脸库样本示例(正面,斜面)

[2]TimoA,AbdenourH,MattiP.Facerecognitionwithlocalbinarypat󰀁

terns[C]//PajdlaT,MatasJ.Proc.OftheEuropeanCon.fonComput󰀁erVision.LNCS3021,Prague:Springer󰀁Verlag,2004:469-481.[3]TimoOjala,MattiPietikainen.MultiresolutionGray󰀁ScaleandRotation

InvariantTextureClassificationwithLocalBinaryPatterns[J].IEETransPatternAnalysisandMachineIntelligence,2002,24(7):971-987.

[4]阮秋琦.数字图像处理学[M].北京:电子工业大学出版社,2001.

4.3󰀁阈值的设定

对于判定图像的阈值,可由实验测试得到。表2列举了不同的阈值通过实验数据得到的不同的FAR(FalseAcceptRate)和(FRR)FalseRejectRate。可以看到阈值设置越高,FAR会同样升高,而FRR会降低。由数据得,当阈值设置在11300时准