更新时间：2021-02-18 22:21:41点击：
摘 要
在各种生物特征识别方法中，自动人脸识别有其自身特殊的优势，因而在生
物识别中有着重要的地位。经过三十多年的发展，人脸识别技术取得了长足的进步，目前最好的人脸识别系统在理想情况下已经能够取得可以接受的识别性能，并已经出现了若干人脸识别系统。但由于人脸识别问题的复杂性和客观条件的多重影响，人脸识别应用系统仍然面临着许多需要解决的关键问题。人脸特征提取是人脸识别的关键，关系到分类识别算法的选取与识别正确率，从一定意义上讲，它关系到自动人脸识别系统的有效性。
局部二值模式(LBP全称)是一种灰度范围内的纹理描述方式，它从一种纹理局部近邻定义中衍生出来，最初是为了辅助性地度量局部图像对比度提出。近年来，研究者们成功地将其用于人脸特征描述和识别，并取得了显著的效果。然而，LBP算子本身还不够完善，因为像素值之间对比度的考虑缺失，令一些重要的纹理特征被丢失了，在这里我们提出一种名为LMCP的方法，这个方法通过预处理，减少了纹理特征的丢失，从而有效的解决LBP原算子对像素间对比度缺乏考虑的这个问题，从而完善了LBP原算子在这方面的不足。累赘的描述太多关键的没说到 英文的也要改
【关键词】：人脸识别 LBP 光照正常化 对比度分层
ABSTRACT
Automatic Face Recognition (AFR) holds an important position in various biometrics techniques for its superiority. With more than 30 years’ development, AFR has made great achievements. The state-of-the-art AFR system can perform identification successfully under well-controlled environment, and many commercial AFR systems have appeared. However, due to the complexity and uncertainty of face recognition, there are still many key problems to be resolved for further application of AFR. Feature extraction is the crux of face recognition problem, which directly related to the selection of the classification algorithm and the accuracy of the system.
The local binary pattern (LBP) operator is defined as a gray-scale invariant texture measure, derived from a general definition of texture in a local neighborhood. It was first introduced as a complementary measure for local image contrast. Recently, the LBP has been successfully applied to face recognition as texture descriptor and excellent result has achieved. However, there are still many limitations in the basic LBP operator and the LBP-based face recognition algorithm. To resolve these problems, the dissertation is devoted to the investigation on LBP and its application in face recognition. However, LBP operator itself is not perfect, because the contrast between the pixel values considered missing, to make some important texture are lost, where we propose a method called LMCP, this method by pretreatment reduced loss of texture, so as to effectively solve the original operator of the LBP-pixel contrast between the lack of consideration of this issue, and thus improve the original LBP operator is insufficient in this regard.
【Key words】Face Recognition Local Binary Pattern
Normalization of illumination Contrast stratified
目录
摘 要 - 1 -
ABSTRACT - 1 -
第一章 绪 论 - 3 -
第一节 课题的研究背景及意义 - 3 -
一、 生物识别技术 - 3 -
二、 生物识别的过程 - 4 -
第二节 人脸识别技术概况 - 5 -
一、 人脸识别技术国内外现状 - 5 -
二、 人脸识别的难点和研究意义 - 6 -
第三节 人脸识别算法分类 - 6 -
第四节 本文的研究内容及组织 - 7 -
一、 本文主要研究内容 - 7 -
二、 本文组织安排 - 8 -
第二章 LBP 算子基本原理及应用 - 9 -
第一节 LBP 算子概述 - 9 -
一、 纹理概述 - 9 -
二、 LBP 算子 - 9 -
第二节 LBP 的特点 - 11 -
第三节 LBP 算子的发展和演化 - 12 -
一、 LGBP - 12 -
二、 LTP - 13 -
第四节 小结 - 14 -
第三章 LMCP方法 - 15 -
第一节 LBP方法的缺点 - 15 -
第二节 获取LMCP特征 - 15 -
第三节 将LMCP特征用于人脸识别 - 16 -
弄的和你上面的目录一样 你的重点是这个 不是LBP
第四节 图像与处理 - 17 -
第四章 实验与结果分析 - 19 -
第一节 引言 - 19 -
第二节 人脸库 - 19 -
第三节 实验环境,步驟及参数设置 - 20 -
一、 实验环境 - 20 -
二、 实验方法 - 21 -
第四节 实验 - 21 -
一、 基于Yale人脸库的实验 - 21 -
二、 基于ORL人脸库的实验 - 23 -
第五节 结果与分析 - 24 -
第五章 总结与致谢 - 24 -
第一章 绪 论
第一节 课题的研究背景及意义
一、生物识别技术
身份鉴定是人类社会日常生活中的基本活动之一，人们几乎每时每刻都需要证明自己的身份。而随着计算机及网络技术的高速发展，电子商务、网上银行、公共安全等领域的信息安全显示出前所未有的重要性，个人身份鉴定是保证系统安全的必要前提。关于个人身份鉴定的问题可以分为两类：认证(Verification)和辨识(Identification)[1]。“认证”指的是验证用户是否为他所声明的身份，“辨识”指的是确定当前用户的身份。传统的个人身份鉴定的方法主要依靠信物(如各种证件、钥匙、磁卡等)或身份标识信息(如口令和密码)，信物携带不便且容易丢失、被盗、损坏；身份标识信息容易遗忘、被他人窃取或破解；更为严重的是传统身份认证方法往往无法区分信物或身份标识信息真正的拥有者和冒充者。一旦他人获得信物或身份标识信息就具有与拥有者相同的权力，使真正拥有者的利益受到威胁。显然，这些致命的缺点使得传统的身份鉴定方法已经完全不能满足现代社会的要求，于是人们亟需寻找一种更方便、更可靠、更安全的身份验证方式。生物识别技术正是在这样的需求下应运而生的。
生物特征识别[2]，是指利用人体所固有的且能够唯一标识其身份生理特征或行为特征来进行个人身份认证的一种技术。人体所固有的生物特征有许多，一般认为，能够用来认证身份的生物特征应该具有以下的特性：
①普遍性：每个正常人都应该具有这种特征；
②惟一性：不同的人应该具有各不相同的特征；
③可采集性：所选择的特征可以定量测量；
④稳定性：所选择的特征至少在一段较长的时间内是不变的，并且特征的采
集不随条件、环境的变化而变化。
⑤安全性：用欺诈的方法骗过系统的难易程度；
⑥理论依据：是否具有相关的、可信的研究背景作为技术支持；
当然，在应用过程中，还要考虑其他的实际因素，比如：识别精度、识别速度、对人体无伤害、可接受性、隐私保护等等。目前，用于身份认证的生物特征可分为两类：生理特征和行为特征。生理特征与生俱来，多为先天性的，包括指纹、掌纹、手形、脸型、虹膜、视网膜、耳廓、DNA(脱氧核糖核酸)等；行为特征则是习惯使然，多为后天性的，包括笔迹、话音、步态、击键动作等。这些特征都在一定程度上是“人人拥有、人各不同、长期不变”的，都能反映个体特点，并与个体的身份一一对应，从而可以用来验证个体身份的真伪。基于这些特征，人们发展了指纹识别、面部识别、发音识别等多种生物识别技术。与传统的身份验证方法相比，生物特征识别突出的优势表现在生物特征是人类自身拥有的，不会丢失、不易伪造和假冒，也不会像持有的信物那样容易被窃取或转移，从而具有更高的可靠性、安全性和可用性。因而，人们对生物特征识别技术寄予厚望，期望能够籍此技术来应对现行系统安全所面临的挑战。
二、生物识别的过程
一个优秀的生物识别系统要求能实时迅速有效地完成其识别过程。一般来说，生物识别系统都包括如下几个处理过程：
1、采集样本
很显然，在我们通过生物识别验证个人身份之前，首先要捕捉选择好的生物学特征的样本。这个样本就成为生物识别的模板，以后验证时取得的新样本要以原始模板为参考进行比较，通常要取多份样品以得到有代表性的模板。取样的过程和结果对于生物识别成功与否至关重要。对于不同的生物识别技术，取样的原理和方法是不同的。例如，面孔识别系统通过分析脸部特征的唯一形状、模式和位置来辩识人。声音识别是对基于生理学和行为特征的说话者嗓音和语言学模式的运用。它与语言识别的不同在于这项技术不对说出的词语本身进行辩识，而是通过分析语音的唯一特性，例如发音的频率，来识别出说话的人。签名识别是建立在签名时的力度上的。它分析的是笔的移动，例如加速度、压力、方向以及笔划的长度，而非签名的图像本身。签名识别的关键在于区分出不同的签名部分，有些是习惯性的，而另一些在每次签名时都不同。
2、 储存模板
取样之后，模板要经过加密储存起来。模板的储存可以有以下几种选择：
①存放在生物识别阅读设备里。
②存放在远程中央数据库里。这种方法适用于安全的网络环境里，而且要有
足够的运行速度。
③存放在便携物里，如智能卡。这是一个很吸引人的想法。因为它不需要另行储存模板，用户可以携带自己的模板在任意设备上使用。但是，如果用户丢失或损坏了智能卡，他就必须重新输入数据。另一个要考虑的是成本和系统复杂性问题，因为要集成的东西很多。
3、 身份验证
验证过程是这样的，用户通过某种设备输入其生物学特征，提出身份鉴定请求，输入的特征与模板比较后得出匹配或不匹配的结果除了告诉用户外，这一过程还被记录下来存在本地或远程主机上。在有些系统中，参考用的模板是随着每一次有效的交易过程而动态更新的。这样可以使系统适应由客观因素造成的微小变化，如用户年龄增长、机器磨损等。
第二节 人脸识别技术概况
在不同的生物特征识别方法中，人脸识别(Automatic Face Recognition)有其自身特殊的优势，因而在生物识别中有着重要的地位。与其它生物识别技术相比较，人脸识别具有：
非侵扰性。人脸识别无需干扰人们的正常行为就能较好地达到识别效果，无需担心被识别者是否愿意将手放在指纹采集设备上，他们的眼睛是否能够对准虹膜扫描装置……而进行人脸识别却只要在摄像机前自然地停留片刻，用户的身份就会被正确识别。
采集设备简单，使用快捷。一般来说，常见的摄像头就可以用来进行人脸图像的采集，不需特别复杂的专用设备。采集一般可在数秒内完成。
通过人脸识别身份，与人类的习惯一致。也就是说，人和机器都可以使用人脸图片进行识别，这使得人和机器可以配合工作。而指纹，虹膜等方法没有这个特点。一个没有经过特殊训练的人，无法利用指纹和虹膜图像对其他人进行身份识别。人脸识别拥有这些良好的特性，使其具有非常广泛的应用前景，正在引起学术界和商业界越来越多的关注。
一、人脸识别技术国内外现状
人脸识别技术起源于上个世纪六十年代,1965 年 Chan 和 Bledsoe在Panoramic Research Inc 发表的学术报告[3]揭开了人脸识别技术研究的序幕。经过几十年的发展,特别是近二十年来,人脸识别成为模式识别和人工智能领域内的热门研究课题,引起了国内外各知名大学、研究所及一些公司的广泛关注,每年都有大量的相关学术论文发表
随着人脸识别算法研究的深入,公正合理地测试各种算法的性能也成了不少机构的研究课题。
在国内,关于人脸识别的研究在上个世纪 90 年代才处于起步阶段,直到 2003年后才开始了一个快速发展的阶段。另外,国内的很多高校,如清华大学、哈尔滨工业大学、南京理工大学、复旦大学、南京大学、西安电子科技大学等,也在进行人脸识别相关领域的研究。
二、人脸识别的难点和研究意义
人脸识别的研究至今已有四十余年的发展历史。人类本身具有很强的人脸识别能力。但对计算机来说，却是一个极其复杂的课题。这种困难一方面源于计算机本身学习能力的局限性，另一方面则是由人脸识别技术所具有的复杂性造成的。人脸具有相对稳定的特征和结构，这为人脸识别技术带来了实现的可能。但人脸具体形态的多样性和所处环境的复杂性又造成了识别的巨大困难。在人脸识别系统中，人脸的初始表示形式是图像，但在许多因素的影响下，同一人脸的不同图像之间却存在着相当大的变化，例如，人脸随年龄和表情的变化；发型、胡须、眼镜等对人脸的干扰；光照对人脸图像的影响；成像角度和距离以及成像背景的复杂性等的影响。
人脸识别问题的深入研究和最终解决，可以极大地促进这些学科的成熟和发展。如作为一个模式识别的问题，人脸识别被认为是最具挑战性的问题之一：模式种类数目庞大，不同类别模式差别微妙，这一点由于数据采集过程的噪声、成像设备的精度、外界条件的变化以及数据缺损而显得更加突出。再如，作为一个计算机视觉问题，如何融合人脸的一般性先验形状信息来准确地恢复特定人脸的3D结构也是一个非常有价值的研究问题。人脸识别本质上是要赋予计算机区分不同人类个体的能力，也就是“看”的能力。来自各个领域的困难使得人脸识别技术成为一项极富挑战性的研究课题。正是由于人脸识别技术重要的理论意义和应用价值，及其研究中所具有的挑战性，致使对人脸识别方法的研究越来越成为当前模式识别和人工智能领域的一个研究热点。
第三节 人脸识别算法分类
目前，对现有的人脸识别算法很难进行准确的分类，因为不同的研究者，可能会从不同的角度对已有的人脸识别方法进行归纳和分类。因此，对于算法的分类也很难有一个严格的标准。这里，根据特征提取的方法、特征形式的不同，我们将人脸识别方法主要分为三类：基于局部特征、基于全局特征、基于混合特征。
一、基于局部特征人脸识别
基于局部特征的人脸识别指的是人脸上的五官特点，例如一字眉，塌鼻子，丹杏胡，歪嘴巴。尖下巴等特点，还有的就是比较奇特的特点，例如黑痣，酒窝，伤疤，胎记等，这些特点比较具有识别性。而基于局部特征人脸识别就是将这些人脸之中的这种特殊的位置特点的形状参数以及类别参数一起组合成识别特征矢量。
二、基于全局特征的人脸识别
基于全局特征的人脸识别，其中全局特征指的是人脸的肤色，整体的轮廓，还有的是五官之间的位置分布等特征。这种识别方法不同于上文所写到的局部特征的是这种方法不再独立的对人脸面部的局部特征进行检测，而是把所有的联系看作一个整体。这种方法不单止是保留了人脸中各部件的拓扑关系，还保留了各个部件自己的信息。
三、基于混合特征的人脸识别
一直以来，研究人员都对人眼视觉系统进行深入研究，人的视觉系统是一个很优秀并且天然的人脸识别系统，人们曾经想从人眼视觉系统的原理中获得一些收获。
天然的人脸识别系统中并不是单一的局部以及全局的运用，而是从这两个方面同时进行作用，二者同样的重要，并且这一类不能很好的区分出主要是运用了局部特征方法还是全局特征方法。或者说这一类运用了全局特征方法的局部方法应该称之为混合方法。
第四节 本文的研究内容及组织
一、 本文主要研究内容
尽管人类可以在各种复杂条件下迅速辨别出人脸，但对于计算机而言，人脸识别迄今为止仍是一项极具挑战性的课题。计算机自动人脸识别跨越了模式识别、图像处理、信息安全、神经生理学、心理学和认知科学等诸多研究领域，其难度和研究价值不言而喻。如何找到有效的特征来描述人脸是人脸识别的关键，人脸特征的提取尽管已经有了一定的研究，但是由于人脸图像的对于光照条件、人脸表情和姿态变化的问题，以及问题本身的复杂性，还难以找到比较有效的特征。另外，随着目前人脸识别的逐步应用，人脸数据库更大，人脸数据的存储也成为一个不可避免的问题，因此，如何提取更加简单、有效的特征也是目前人脸识别应用的难点。
局部二值模式[4](Local Binary Pattern, LBP)是一种有效的纹理描述算子，它具有旋转不变性和灰度不变性等显著的优点。在近十年的时间内，LBP 算子已经得到不断的发展和演化，并广泛地应用于纹理分类[5]、纹理分割[6]、人脸图像分析等领域。Ahonen 等将 LBP 算子引入了人脸识别[7]，他们将人脸图像划分为几个互不重叠的区域，利用 LBP 的局部特性和直方图方法的统计特性，一定程度上实现了局部特征与全局特征的结合，该方法在 FERET 人脸库上取得了较好的实验效果。此后，基于 LBP 的人脸识别算法引起许多研究者的极大兴趣，并得到了广泛的关注。但 LBP 算子本身还不够完善，在人脸识别的应用中还存在许多问题亟待解决。
本文主要研究了采用 LBP 进行人脸特征提取，在 LBP 的基础上，才用了一种LMCP方法，解决了LBP因为没有考虑到像素值之间的对比度从而丢失了重要的纹理特征这个缺点。该方法先通过预处理，将光照变化控制在一定范围内然后求的局部区域中心像素点和邻居像素点之间的对比度值，并将其最大值和最小值之间的值域划分为若干个层次，将每个对比度值映射到某个层次上，再使用LBP类似方法获得若干个数值组合而成的LMCP特征值，此外，还使用了统计映射的方法进行降维。
二、 本文组织安排
本文组织安排如下：
①第一章：简要介绍了自动人脸识别的研究背景、现状和意义，然后概括说明全文的研究工作及各章安排，并指出本文的主要贡献。
②第二章：简要介绍了 LBP 算子的提出，并指出基本LBP算子的缺点，并对几种改进LBP算子做出基本介绍。
③第三章：研究LMCP方法，从LBP算法的缺点入手，先指出原始算子存在的不足。然后描述LMCP特征值的获取方法，并将其用于人脸识别中。
④第四章：将完成的算法用于ORL，Yale B人脸库中进行实验，记录实验的结果以及中间结果进行记录对比得出相应的结论。
⑤第五章：进行全文总结及展望。
第二章 LBP 算子基本原理及应用
第一节 LBP 算子概述
一、 纹理概述
提起纹理，这个是在图像中最常用的概念，在物体的表面上因为物理属性的不同而造成某个特定表面特征的灰度以及颜色信息，这我们称之为纹理。直观的表现在图像上就是亮度，颜色的变化，而从广义上来说，基本上所有的图像都是具有了纹理信息，与其他的图像特征相比纹理特征反映的是灰度模式下的空间分布，其中包含了此图像的表面信息以及周围环境的关系，能够更好的反映出图像的信息以及结构，所以目前，纹理分析在图像分析中收到了格外的关注。
在人眼里，通常能够觉察出一幅图像的纹理，判断出纹理的存在，但是受到心理感受的影响，以及纹理的表征本来就是一个非常复杂的过程，所以我们即使能判断出纹理的存在，但却不能够给出一个比较严格的定义。在目前为止，在计算机视觉研究中还没有一个非常明确的定义，即使我们能够明确的觉察出两个不同的纹理，但我们却不能够准确的使用数学公式或者语言描述出两者的差异，因此纹理分析是一个更为复杂并且具有挑战性的问题。
二、 LBP 算子
局部二值模式（LBP）这种纹理描述方式是基于灰度范围的，一开始最初始的LBP算子被定义为一个类似于九宫格的3乘3的矩阵，位于九宫格中心的像素点作为阈值，而将另外的8个像素点的灰度值跟这个中心像素点进行比较，如果大于中心像素点则被标记为1，反之则被标记为0.这样就可以产生一个8位的二进制数一个8-bit的数，然后按照一个固定的位置求的一个整数，这个整数称之为这个九宫格矩阵的LBP值，这个数值被用于反映这个窗口区域的纹理信息。
图2.1 基本LBP定义
如图2.1中所示，我们要计算的中间那个点的LBP。除了它此外的8个点依次与中间点比较，比它(也就是15)大的记成1，比它小的记成0，然后我们就得到右面的图片。然后我们选定一个起始点-这个图片选的是左上角第一个点，然后按照顺时针方向得到一个二进制串10011010，转换为十进制则为154。到此，我们得到了中间点的LBP值--154。对整个图片的所有点都这样处理，也就是以它为中心与附近的8个点相比较，这样就得到整个图所有点的LBP值。
用比较正式的公式来定义的话：
其中 代表3x3邻域的中心元素，它的像素值为 ， 代表邻域内其他像素的值。s(x)是符号函数，定义如下：
1、圆形LBP 算子
最基本的LBP算子，存在着缺陷其中最大的就是他不能满足不同情况下的需求，例如不同的尺寸，不同的频率纹理的需求。所以为了满足这些需求，产生了最初步的改进，Ojala把LBP算子从3*3区域更改到了任意的区域，即将正方形的矩形变成了圆形区域，而改进后LBP算子从8个领域像素点变为可以在半径为R的圆形区域内存在多个像素点了。如下图定义的的5*5领域
图2.2 5*5领域的圆形LBP算子
图2.2中有8个采样点，每个点可以各自计算出它的值：
其中 为邻域中心点， 为某个采样点。通过上式可以计算任意个采样点的坐标，但是计算得到的坐标未必完全是整数，所以可以通过双线性插值来得到该采样点的像素值：
2、LBP 等价模式
从LBP的基本算子可以看出，一个算子产生的二进制模式都是不一样的，以R为半径内有P个点的LBP算子会产生 种模式，而当P的值也就是邻域中的采样点增加，这个模式也就会以指数增长，例如图2.2中的5*5邻域中有8个采样点也就是有256种，但如果采用的是20个采样点，那么就是有 =1048576种模式，而这个数值会随着P的继续增大会越来越大，这么多的二值模式对于我们进行纹理提取或者识别，分类以及信息的存储都是极为不利的。如，过多的模式种类会使得数据量过于巨大，所产生的直方图会过于稀疏，对于我们进行分类，识别工作是不利的。所以我们需要进行降维。
针对这个问题，Ojala提出了一种名为“等价模式”对LBP算子进行降维。Ojala认为，在图像中，大部分的LBP模式是最多包含两次从0到1或者1到0进行跳变，所以将此类LBP所对应的二进制称之为统一等价模式。如从基本的LBP算子的8-bit数表示 00000000为0次跳变，00111111为1次跳变，00110000为2次跳变，以此类推这些都是等价模式。除了这些等价模式类，其他的模式都是归于另一类，称之为混合模式类。
第二节 LBP 的特点
纹理同时具有随机性和结构性的特点，为了定量描述纹理，多年来人们建立了许多纹理算法以测量纹理特性。这些方法大体可以分为两大类：统计分析法和结构分析法。统计分析方法从图像有关属性的统计分析出发，主要是基于图像像素的灰度值的分布与相互关系，找出反映这些关系的特征。基本原理是选择不同的统计量对纹理图像的统计特征进行提取。这类方法一般原理简单，较易实现，但适用范围受到限制，主要适合纹理图像中那些没有明显规则性的结构图像，特别适合于具有随机的、非均匀性的结构。结构分析方法是分析纹理图像的结构，从中获取结构特征。这类首先将纹理看成是有许多纹理基元按照一定的位置规则组成的，然后分提取纹理基元并推论纹理基元位置规律，也有直接去探求纹理构成的结构规律的。目前主要用数学形态学方法处理纹理图像，适合于规则和周期性纹理。
任何纹理图像都包含了统计特征和规律特征两种特征，因此，使用单一的统计分析方法或结构分析方法都很难取得令人满意的分类效果。LBP方法可以认为是随机方法和统计方法的结合。LBP并不是试图从单一的像素点来描述纹理，而是用一个局部区域的模式来描述纹理。每个像素点由一个与之最匹配的局部邻域的原始纹理形成的码值来标记。这样，LBP模式可以被看作一种微观结构。将结构方法和随机方法相结合源于这样一个事实，即分配的微观结构可以被看作是一种统计布局规则。LBP具有原始纹理和布局规则，因此，LBP分布具有结构分析的特点；另一方面，这种分布又可以看做是图像经过一种非线性滤波后的统计，这明显又具有统计分析方法的特点。LBP为同时分析随机性纹理和周期的纹理开辟了一条有效的途径，因此，LBP的方法能够广泛地应用于各类纹理图像的识别，并能充分克服传统的单一采用统计或结构方法的不足。
第三节 LBP 算子的发展和演化
LBP 算子从提出至今，引起了许多学者的兴趣和关注。在许多对比实验中，LBP 算子在计算速度和鉴别力等方面都表现出优异的成绩。从某种意义上说，这种方法将统计分析和结构纹理分析的方法结合起来，为同时分析随机性纹理和周期的纹理开辟了一条有效的途径。这似乎也符合神经学家在人眼视觉方面的发现。LBP 算子具有旋转不变和灰度不变等优点，还支持多尺度分析。因此，LBP 算子在模式识别和纹理分析等方面得到了极大的推广和发展，从而出现了更多新的基于改进LBP扩展算法。
一、LGBP
在原始的LBP描述子的基础上,张文超等人提出了 LGBP (Local Gabor Binary Pattern)描述子。该描述子的主要思想是:首先利用一组多尺度、多方向的Gabor滤波器对原始人脸图像进行滤波,得到不同尺度和不同方向下的Gabor能量图像,然后分别对这些图像进行LBP直方图特征的提取,最后连接这些LBP特征形成最终的人脸特征。LGBP方法对光照变化、表情变化都具有一定的鲁棒性,并且有效地提高了人脸识别率。
LGBP描述子的计算过程主要包括:Gabor滤波和基本LBP特征提取。二维Gabor滤波器在空间上由高斯窗函数和正弦平面波调制得到。根据设置不同的参数,Gabor滤波器可以在不同尺度、不同方向上提取图像局部特征。二维的Gabor滤波器可以表示为公式
其中μ和γ为Gabor滤波器的方向和尺度, 。公式中ω表示频域中滤波器之间的间距因子。当选择5个尺度和8个方向的Gabor滤波器的时候,将这40个滤波器与原图像进行卷积计算会产生40幅Gabor能量图像。对40幅Gabor能量图像分别进行LBP特征的提取,最后将所有的LBP特征连接起来就得到最终的LGBP特征向量。
二、LTP
根据LBP编码公式中的 。,我们可以看出LBP算子在灰度范围内是单调不变的,这使得它能适应不同的光照变化,
Tan等人将LBP模式在一次进行扩展,将LBP模式扩展为三值的编码,提出了 LTP (Local Ternary Pattern局部三值模式)模式。LTP模式不仅延续了 LBP模式的主要优点而且对于局部区域的噪声更加的鲁棒。
LTP的计算方法是将与中心像素的像素差值在之内的邻域像素量化为0,除此之外大于&的量化为1,小于g。的量化为-1,此时对X)被扩展成了三值形式,如公式所示:
由此,二值的LBP算子由三值的LTP算子所代替,式中/是自定义的一个阈值。正是因为阈值的存在,使得LTP算子对于局部噪声更加的鲁棒,但是也使得LTP算子不再像LBP算子一样具有严格的灰度不变性。LTP算子的编码过程如图2.3所示,将阈值/设置为5:
图2.3 LTP算子的编码过程
虽然在使用LTP模式进行人脸识别时我们使用的是三值编码,但是统一模式在此同样适用。为了计算简单并且运用现有LBP算子的一些研究成果,我们将LTP算子的分为正负两个部分,将其看作两个独立通道的LBP算子对待,并且分别计算其分割后的灰度直方图和相似度矩阵,最后才将这两个部分结合在一起作为一个特征来对待。
图2.4 LTP算子分解过程
第四节 小结
本章首先从纹理分析的角度对基本的 LBP 算子做了简要的介绍；其次，介绍了最开始的LBP改良 LBP 等价模式和圆形的LBP算子；最后介绍 LBP 近年来较新的两种改良LGBP以及LTP算法。通过对 LBP 算子的产生和发展进行深入研究，我们对LBP的定义以及其特点有了一定的了解。
第三章 LMCP方法
第一节 LBP方法的缺点
LBP方法只考虑了中心像素点与邻居像素点之间的大小关系，而没有考虑到它们之间的对比度，因此会出现图2 所示的情况。图中左右两幅图片表示图像局部区域像素值，它们得到的LBP 值完全相同，但是却忽略掉了十分重要的对比度信息，而对比度的不同恰恰是这两个局部区域纹理的最重要特征。
图3.1 相同LBP值却不同局部纹理
第二节 获取LMCP特征
LBP 没有考虑像素之间对比度的原因是：在光照变化较为强烈时，对比度值会产生严重的非线性扭曲，而像素值之间的大小关系是不容易受光照变化影响的。提出一种折中方案：将不同光照下的人脸图片进行平滑操作，将光照变化对图片的影响控制在一定的范围之内，然后将像素值之间的对比度值映射到某个层次上去，得到由多个二进制值决定的LMCP特征值，将此LMCP值作为人脸特征，可以得到非常好的识别效果。
对局部区域像素值对比度分层的思想是：求得局部区域内像素值对比度的最大值和最小值，将最大值和最小值之间的差值分成若干个等级，那么可以将中心像素与邻居像素之间的对比度值对应到某个等级上去，这个等级就是此对比度值对应的层次。在半径为R，点为P 的局部区域，每个邻居点对应的对比度层次 由下式计算所得：
式中，max C 、min C 分别代表邻居点和中心点之间的对比度最大值和最小值，L 表示分层数量。针对每一个对比度层次，可以考察中心点周围有多少个邻居点的对比度值落入了该层次，以获取每个层次的LMCP特征：
将每个层次得到的 级联在一起构成了 ：
通过示例详细说明了L = 4 时，求得 的过程。
图3.2 LMCP特征值的求取过程
第三节 将LMCP特征用于人脸识别
将 特征用于人脸识别时，参照Ahenon[20]方法，将人脸区域划分为N 个局部方块区域，并在每个区域中对每个 使用下列公式求得直方图：
可将不同区域的 联合起来，得到描述全局人脸多对比度层次特征的直方图：
当L = 4，P = 8，R = 1，N = 49 时，H 具有的特征维度高达 *N*L = *49 *4 = 50176 ，显然需要采取一定的措施进行降维处理。
有256 种取值可能，然而，经过大量不同光照下人脸图像的统计，发现占据90%出现次数以上的 值大概在40 个左右。如果将不属于这些取值范围的 全部归为另一种取值，那么可以将特征维度大约降低为原来的1/6 。并且这种统计降维的方法可以在每个已有的训练样本集上进行。
此外，还应该考虑到每个层次 特征对整体 特征的贡献程度是不一样的，对比度越大反映的细节特征越明显，而人脸的本质特征主要就蕴含在细节信息中。因此在测量特征距离时，层次越高的 特征之间的距离应该被赋予更高的权重。这里采用的权重与层次相同，即： = i, i = 1，2，…，L 。
使用下述公式计算两幅人脸图像的特征距离D ：
其中d( ) 表示直方图H 和H′ 在第i 层 上的ChiSquare距离 ：
第四节 图像与处理
对图像进行光照归一化预处理的目的是将光照变化对图片的影响控制在一定的范围之内，这是非常重要的，否则在光照变化较为剧烈的情况下，对对比度值进行分层会受到光照的强烈干扰。
本文采用了4个步骤进行光照归一化操作：
（1）使用公式 ，将图像转换到对数域；
（2）利用差分高斯滤波器（ = 1.0， = 2.0），对图像进行
平滑；
（3）使用下述3 个公式（α = 0.1，τ = 10），对图像进行全局
对比度均衡化[26]：
（4）使用直方图均衡化，以增强对比度。
图 3.3 经过了预处理后得到的图像
第四章 实验与结果分析
第一节 引言
本章节将会对上文所提出的基于LMCP的人脸识别算法进行实验测试，目的在于证明此算法相对于原始LBP算法的性能提升。本文中的测试主要使用Yale人脸库以及ORL人脸库上进行。
第二节 人脸库
随着越来越多的人脸识别算法被人们提出,对人脸识别算法性能的评价与测试工作也逐渐成为了人们关注的重点。只有通过统一标准的评价与测试才能够获得人脸识别算法间的差距,为了解决这一问题,国内外的很多著名的大学,研究机构相继推出了各自的标准人脸数据库,下面将进行简单的介绍。
①Yale人脸库
Yale人脸库是由美国耶鲁大学创立的。人脸库中主要包含了 15个不同人的11幅不同光照,姿态,表情的人脸图片。11幅人脸图片包含着显著地光照变化与姿态变化(遮挡)。Yale人脸库还包括Yale B人脸库,在B库中主要包含了5760张人脸图片,分别为10个不同人脸在9中姿态,64种不同外部条件下拍摄的。
②FERET入脸库
FERET[^人脸库是目前最大的人脸数据库,是由美国国防部高级研究项目属于美国陆军研究实验室共同建立的。截至1997年,该人脸库中总共包含了分别属于1199人的14126张人脸图片,人脸图片分别是在不同的外部条件(光照,姿态,表情,时间间隔)下进行拍照获得。
(③MIT人脸库
MIT人连数据库是由美国麻省理工学院媒体实验室所建立。人脸库中主要包含了从16名志愿者所提取的2592张人脸图片。人脸图片间主要是在光照,姿态,和采集距离远近方面存在着明显的差异。
④CMU人脸库
CMU人脸库是由美国卡耐基梅隆大学(CMU)于2000年创立的共包含41368张人脸图片的较为大型的人连数据库。库中图片是从68名志愿者中提取的。该人脸库针对每一名志愿者从43种光照条件,4种表情以及13种不同姿态出发进行人脸阁片的获取。
⑤CAS_PEAL人脸库
CAS_PEAL人连数据库是由中国科学院计算技术研究所负责建立的大规模的,从不同角度获得的人脸数据库,同时也是国内较为全面,标准的人连数据库之一。该数据库中包含了分别属于1040志愿者的99450张不同的人脸图片。人脸库图片主要分为表情变化,光照变化,事物变化,和姿态变化等四种变化,同时还在距离,背景上加以区分,可以有效的对人脸识别算法进行评价与测试。
⑥0RL人脸库
ORL人连数据库是有赢过剑桥大学在早起创立的人脸数据库。人脸库中主要包含了 40人的共400张人脸图片。人脸数据库中人脸图片的外部条件变化不是特别明显,主要适用于人脸算法在较为理想外部条件下的测试工作。
还有其它很多人脸库,如欧洲的M2TVSDB以及XM2TVSDB多模型人脸数据库、日本ATR数据库等,具体参考。
不同的人脸数据库,图像的质量和内容也是不同的,为了客观的、全面的测试人脸识别算法的性能,考虑不同因素对识别方法的影响,本文在ORL和Yale两个标准人脸库上分别进行人脸识别实验。
第三节 实验环境,步驟及参数设置
一、实验环境
本文实验是在PC机上进行，系统为Windows7 SP1，中央处理器为 Inter Core i5-2430M，4G内存。本文代码是基于matlab中的M语言所写，使用的编译环境为Matlab 2010b。本文实验主要在ORL人脸库以及Yale人脸库进行，其中ORL人脸库的变换比较小，比较适合反映在稳定外部条件下的算法性能，而Yale人脸库则是包含显著光照变化以及姿态变化，所以比较适合测试在实际应用状态下的人脸识别算法性能。
图4.1 Matlba运行结果以及运行消费总时间
二、实验方法
实验包括了Yale和ORL人脸库，每个实验均采用了最小距离法作为分类器。大量的实验显示，所提出的LMCP 方法在L = 4 的情况下，得到的结果最为满意。同时，Ahenon 指出LBP 方法用于人脸识别，P = 8，R = 2 时能够得到最好的效果。所以本文所有的实验结果都同时和 进行对比。
第四节 实验
一、基于Yale人脸库的实验
Yale人脸库中包含了十个人的人脸图像，每一个人都有64张在不同光照下拍摄的正面图像，我们在此将这些图像按照不同的光源角度分为五个部分，set1到set5，从set1开始光照条件逐渐减弱。然后实验分成3个子实验，实验1用set1当作训练样本，实验2以set3当作训练样本，实验3以每个人光照比较好的一张图片当作训练样本。
图4.2 作为实验1中的set1部分训练样本
表 1 在Yale人脸库中对LMCP和LBP进行实验1的对比
（%）
Set2 Set3 Set4 Set5 Ave
100.00 97.32 99.65 96.43 98.35
100.00 100.00 100.00 100.00 100.00
图 4.3作为实验2中的set3部分训练样本
表 2 在Yale人脸库中对LMCP和LBP进行实验2的对比
（%）
Set1 Set2 Set4 Set5 Ave
97.02 100.00 98.56 97.43 98.25
100.00 100.00 100.00 99.15 99.78
图 4.4作为实验3中的训练样本
表 3 在Yale人脸库中对LMCP和LBP进行实验3的对比
（%）
Set1 Set2 Set3 Set4 Set5 Ave
100.00 99.32 97.65 99.29 96.41 98.53
100.00 100.00 100.00 98.75 99.01 99.55
二、基于ORL人脸库的实验
我们抽取了0RL人脸库中40个人,每人10张阁片共400张图片，采用了 2张训练图片8张测试图片；4张训练图片，6张测试图片这两组来进行了实验,测试次数为400次。
图4.5 第一组实验中编号s21志愿者的训练样本
表 4 ORL 人脸库（2张训练图片，8张测试图片）
（%）
方法 识别率
94.54
96.00
图4.6 第二组实验中编号s21志愿者的训练样本
表 5 ORL 人脸库（4张训练图片，6张测试图片）
（%）
方法 识别率
93.42
95.53
第五节 结果与分析
传统的LBP方法只考虑了局部像素点与周边邻近像素点之间灰度值的大小关系，而忽略掉了对比度值。这些丢弃的对比度值却往往蕴含着大量的纹理特征，也是表示物体表面细节特征的重要组成部分。针对这个缺点，提出了一种LMCP方法，在进行光照归一化操作后，将人脸图像的光照情况控制在一定范围内，然后将局部像素与周围像素之间的对比度值映射到一个对比度层次，从而增加局部纹理特征的描述能力。另外，还通过统计映射的方法降低了LMCP 的特征维度。实验数据充分验证了提出的LMCP方法的有效性。
第五章 总结与致谢
2015年2月，我开始了我的毕业论文工作，经过长时间的写作到现在论文基本完成。论文的写作是一个长期的过程，需要不断的进行精心的修改，不断地去研究各方面的文献，认真总结。历经了这么久的努力，终于完成了毕业论文。在这次毕业论文的写作的过程中，我拥有了无数难忘的感动和收获。2月初，在与导师的交流讨论中我的题目定了下来，是：基于改进LBP的人脸识别算法研究， 当开题报告定下来之后，我便立刻在网上着手资料的收集工作中，当时面对众多网络资料库的文章真是有些不知所措，不知如何下手。我将这一困难告诉了指导老师，在老师的细心的指导下，终于使我了解了应该怎么样利用网上的浩瀚的资源找到自己需要的关于人脸识别方面的资源，找了大概40篇左右相关的论文，认真的阅读，总结笔记，为自己的论文打好基础。主要是为了发现过去那些论文之中的观点，然后避免有重复的观点出现。
在搜集资料后，我在电脑中都进行分类的整理，然后针对自己不同部分的写作内容进行归纳和总结。尽量使我的资料和论文的内容符合，这有利于论文的撰写。然后及时拿给老师进行沟通，听取老师的意见后再进行相关的修改。老师的意见总是很宝贵的，可以很好的指出我的资料收集的不足以及需要什么样的资料来完善文章。
4月初，资料已经查找完毕了，程序也已经调试完毕，我开始着手论文初稿的写作。初稿的写作显得逻辑结构有点不清晰，总是想到什么相关的问题就去写，而没有很好的分出清晰的层次，让文章显得有点凌乱，这样的文章必然是不符合要求的，但毕竟是初稿，在老师的指导下还要进行反复的修改。
写作毕业论文是我们每个大学生必须经历的一段过程，也是我们毕业前的一段宝贵的回忆。当我们看到自己的努力有收获的时候，总是会有那么一点点自豪和激动。任何事情都是这样子，需要我们脚踏实地的去做，一步一个脚印的完成，认真严谨，有了好的态度才能做好一件事情，一开始都觉得毕业论文是一个很困难的任务，大家都难免会有一点畏惧之情，但是经过长时间的努力和积累，经过不断地查找资料后总结，我们都很好的按老师的要求完成了毕业论文的写作，这种收获的喜悦相信每个人都能够体会到。这是一次意志的磨练，是对我实际能力的一次提升，相信对我未来的学习和工作有很大的帮助。
在这次毕业论文中同学之间互相帮助，共同商量相关专业问题,这种交流对于即将面临毕业的我们来说是一次很有意义的经历,大学四年都一起走过了,在最后我们可以聚在一起讨论学习,研究专业问题,进而更好的了解我们每个人的兴趣之所在,明确我们的人生理想,进而在今后的生活和工作中更好的发挥自己的优势,学好自己的专业,成为一个对于社会有用的人.
在此更要感谢我的专业老师，是你们的细心指导和关怀，使我能够顺利的完成毕业论文。老师对于学生总是默默的付出,尽管很多时候我们自己并没有特别重视论文的写作,没有按时完成老师的任务,但是老师还是能够主动的和我们联系,告诉我们应该怎么样修改论文,怎么样按要求完成论文相关的工作。老师的检查总是很仔细的，可以认真的看论文的每一个细小的格式要求，认真的读每一个同学的论文，然后提出最中肯的意见，这是很难得的。
参考文献
[1] E. Newham. The Biometric Report[R]. SJB Services, New York, 1995.
[2] Biometrics Market and Industry Report 2007-2012[R]. International Biometric Group, 2007.
[3] H. Chan and W.W.Bledsoe. A man-machine facial recognition system: some preliminary results[R]. Technical report, Panoramic Research Inc., Cal, 1965.
[4]T. Ojala, M. Pietikainen, D. Harwood. A comparative study of texture measures with classification based on feature distributions[J]. Pattern Recognition, 1996, 29(1):51-59.
[5]T. Ojala, M. Pietikainen, T. Maenpaa. Multiresolution gray scale and rotation invariant texture classification with local binary patterns[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987.
[6]X. Qing, Y. Jie, D. Siyi. Texture segmentation using LBP embedded region competition[J]. Electronic Letters on Computer Vision and Image Analysis, 2005, 5(1):41-47.
[7]T. Ahonen, A. Hadid, M. Pietikainen. Face recognition with local binary patterns[C]. In:Proc. of 8th European Conference on Computer Vision, Prague, Czech, 2004: 469-481.
[8]蒋思洋. 基于扩展LBP特征的人脸识别系统研究[D].电子科技大学,2012.
[9]康健. 基于多阈值多尺度LBP的人脸识别研究[D].北京邮电大学,2013.
[10]胥淘. 基于局部二值模式的人脸识别算法研究[D].中南大学,2010.
[11]李锐杰. 基于LBP的人脸图像集识别算法的研究[D].吉林大学,2014.
[12]陆华. 基于局部二值模式的人脸识别和表情识别研究[D].山东大学,2014.
[13]郭强. 基于改进LBP特征的人脸识别系统[D].西安电子科技大学,2013.
[14]岳林. 基于MB-LBP特征的人脸识别方法研究[D].西安电子科技大学,2013.
[15]胥淘. 一种基于改进LBP算子的人脸识别算法研究[J]. 电脑与信息技术,2010,06:36-38.
[16]王月华. 基于LBP的特征空间研究及其在自动人脸识别中的应用[D].南京航空航天大学,2006.
[17]翁宁龙,刘冉,吴子章. 一种改进的LBP特征的人脸识别方法[J]. 信息通信,2011,03:3-4.
[18]马丽,刘高原,吕海莲. 基于二阶LBP的人脸识别研究[J]. 河南大学学报(自然科学版),2013,06:703-706.
[19]王一丁,李鎏,杨虹. 使用汉明距离约束的LBP人脸识别算法[J]. 计算机工程与应用,2009,27:188-190+236.
[20]赵葛宏. 基于小波多层次LBP算法的生物特征识别与分类[D].昆明理工大学,2012.
[21]毛科. 基于局部二值模式的人脸识别算法研究[D].华南理工大学,2010.
[22]王凯. 基于图像纹理特征提取算法的研究及应用[D].西南交通大学,2013.
[23]赵怀勋,徐锋,陈家勇. 基于多尺度LBP的人脸识别[J]. 计算机应用与软件,2012,01:257-259+279.
[24]王宪,张彦,慕鑫,张方生. 基于改进的LBP人脸识别算法[J]. 光电工程,2012,07:109-114.
[25]黄非非. 基于LBP的人脸识别研究[D].重庆大学,2009.
[26]周凯. 基于局部二值模式的人脸识别方法研究[D].中南大学,2009.
[27]闫伟红. 基于LBP统计特征的人脸识别方法研究[D].安徽大学,2010.
附 录
一、英文原文：
Feature local binary patterns with application to eye detection
Abstract
This paper presents a new Feature Local Binary Patterns (FLBP) method that encodes the information of both local texture and features. The features are broadly defined by, for example, the edges, the Gabor wavelet features, the color features, etc. Specifically, a binary image is first derived by extracting feature pixels from a given image, and then a distance vector field is obtained by computing the distance vector between each pixel and its nearest feature pixel defined in the binary image. Based on the distance vector field and the FLBP parameters, the FLBP representation of the given image can be formed. In contrast to the original LBP that only compares a pixel with the pixels in its own neighborhood; the FLBP can compare a pixel with the pixels in its own neighborhood as well as in other neighborhoods. The experimental results on eye detection using the BioID and FERET databases show the feasibility of our FLBP method. In particular, first, the FLBP method significantly improves upon the LBP method in terms of both eye detection rate and eye center localization accuracy. Second, we present a new feature pixel extraction method—the LBP with Relative Bias Thresholding (LRBT) method. The new LRBT method helps improve the FLBP eye detection performance when compared with other feature pixel extraction methods. Third, the FLBP method displays superior representational power and flexibility to the LBP method due to the introduction of the feature pixels as well as the FLBP parameters. Finally, in comparison with some state-of-the-art methods, our FLBP method achieves the highest accuracy of eye center localization.
Keywords
• Feature Local Binary Pattern (FLBP);
• Local Binary Pattern (LBP);
• Eye detection;
• Distance vector;
• The LBP with Relative Bias Thresholding (LRBT)
1. Introduction
The Local Binary Patterns (LBP) method, which defines a gray-scale invariant texture description by comparing a center pixel with its neighbors, is a popular method for texture analysis [1], [2] and [3]. At an earlier stage for texture analysis, Wang and He [4] introduced the concept of texture unit and texture spectrum. A texture unit of a pixel is represented by eight elements, which correspond to the eight neighbors in a 3×3 neighborhood with three possible values: 0, 1, 2. The three values represent three possible relationships between the center pixel and its neighbors: “less than”, “equal to”, or “greater than”. As a result, there are 38=6561 possible texture units in total. A texture spectrum of a region is defined by the histogram of the texture units over the region. The large number of possible texture units, however, poses a computational challenge. To reduce the computational burden, Ojala et al. [1] and Gong et al. [5] proposed a method that applies two relationships: “less than or equal to” or “greater than” that are represented by two possible values: 0 or 1. The method thus reduces the total number of texture units from 6561 to 256, which can be represented by eight binary numbers. The two relationship version of texture units is named as Local Binary Patterns or LBP [1].
The LBP method has been applied in many pattern recognition tasks. While we are inspired by the achievement of LBP, two problems occurred to us. First, LBP only compares a pixel with the pixels in its own neighborhood. We believe that more information could be revealed if we can compare a pixel with the pixels in other neighborhoods. However arbitrarily comparing a pixel with any other neighborhoods might not provide useful information. Our first problem is how to locate a pixel and a neighborhood which will provide useful information after comparing them each other. Second, LBPs encodes a little information about the relationship of local texture with the features, such as edges, peaks and valleys. Our second problem is how to design a texture descriptor which encodes more information of the relationship of local texture with the features. These two problems motivated us to this study. The goal of our study is to find a new texture descriptor which can solve the two problems.
We present in this paper a new Feature Local Binary Patterns (FLBP) method that encodes the information of both local texture and features. The features are broadly defined by any features which meet the requirements of specific applications, such as the edges, the intensity peaks or valleys, the Gabor wavelet features [6] and [7], the color features [8], [9], [10] and [11], as well as the LBP with Relative Bias Thresholding (LRBT) features (see Section 4.1). The contributions of the paper are as follows:
•
A new FLBP method is presented. The FLBP encodes both local and feature information. In contrast to the original LBP that only compares a pixel with the pixels in its own neighborhood, the FLBP can compare a pixel with the pixels in its own neighborhood as well as in other neighborhoods. The FLBP generalize the LBP which can be considered as a special case of the FLBP. The FLBP is expected to perform better than the LBP approach for texture description and pattern recognition.
•
As the FLBP method encodes both local and feature information, the performance of FLBP depends on the extraction of the feature pixels. To improve FLBP performance, we present a new feature pixel extraction method, the LBP with Relative Bias Thresholding (LRBT) method.
•
For the application of FLBP on eye detection, experimental results using the BioID and FERET databases show that: (i) the FLBP method significantly improves upon the LBP method in terms of both eye detection rate and eye center localization accuracy; (ii) the new LRBT feature pixel extraction method helps improve the FLBP eye detection performance when compared with other feature pixel extraction methods; (iii) the FLBP method displays superior representational power and flexibility to the LBP method due to the introduction of feature pixels as well as its parameters; and (iv) in comparison with the state of the art methods, the FLBP method achieves the highest accuracy of eye center localization.
2. Background
In recent years, the LBP method has been applied in many pattern recognition tasks, such as face detection and recognition, scene and image texture classification. Many extensions of the original LBP have been proposed to improve the performance. Ahonen et al. [12] and [13] presented a facial image representation based on the LBP texture features for face recognition. In particular, a face image is divided into several regions where the LBP feature distributions are extracted and concatenated to form an enhanced feature vector, which serves as a face descriptor. Zhang and Gao [14] proposed a high-order local pattern descriptor, Local Derivative Pattern (LDP), for face recognition. Hussain and Triggs [15] introduced Local Quantized Patterns (LQP), a generalization that uses lookup-table based vector quantization to code larger or deeper patterns. Tan and Triggs [16] introduced Local Ternary Patterns (LTP), for face recognition. Liu and Liu [17]presented a method that fuses local LBP features, global frequency features, as well as color features for improving face recognition performance. Banerji et al. [18] proposed novel color LBP descriptors for scene and image texture classification.
Eye detection, an example of facial landmark detection, plays an important role in designing an automatic face recognition system. Eyes have some unique geometric and photometric characteristics, which provide important and reliable information for their localization. Even though a lot of research has been carried out and some progress has been reported, eye detection remains a challenging research topic due to the difficult factors caused by occlusion, closed eye, illumination variation, eye size and orientations, etc. Three major types of approaches for eye detection are template-based, distinctive feature-based and photometric appearance-based approaches. Yuille et al. [19] proposed a deformable template for face features, where an eye is described by a parameterized template. Specifically, an energy function is first defined to link the edges, peaks, and valleys in an image to the properties of the template. The template then interacts dynamically with the image by altering its parameter values to minimize the energy function, and by doing so deforms itself for the best fit. The method, however, is not only time consuming, but critically relies on the initial position of the template. If the initial position of the template is above the eyebrow, for example, the method fails to detect the eye. Further improvement of the method by applying some eye features in the initialization stage is reported in [20] and [21].
The common features in the distinctive feature-based approaches include edge, intensity of iris, as well as color distribution. Feng and Yuen [22] and [23] described an eye model that consists of six landmarks corresponding to the eye corner points, which are located based on a variance projection function or VPF. Zhou and Geng [24] extended the VPF to a generalized projection function (GPF). Their experiments show that the hybrid projection function, which is a special case of GPF, is better than VPF, while VPF is better than the integral projection function. Kawato and Ohya [25] and Kawato and Tetsutani [26] proposed a method that extracts the center point between the two eyes. Based on the observation that the between-eye area is dark on its left and right (eyes and eyebrows) and bright on the upper side (forehead) and the lower side (nose bridge), they proposed a circle-frequency filter to locate the candidate points. Sirohey et al.[27] and [28] presented methods for eye detection using linear and non-linear filters. The linear filter contains the Gabor wavelets with four orientations for detecting the edges of an eye's sclera, and a Gaussian filter for detecting the dark circle of the iris. The nonlinear filter is used to detect the left and right corners of an eye in a color image. Kawaguchi and Rizon [29] proposed a method for locating the iris of an eye using both intensity and edge information. Other methods [30] and [31] first extract the intensity valleys as the potential eye-analog segments. A pair of eye-analog segments is then detected as eyes if its placement is most consistent with the anthropological characteristic of human eyes. Khosravi and Safabakhsh [32] proposed an approach that uses a morphological method for extracting an eye strip, where the iris is located through template matching by means of an adaptive half circle template.
The photometric appearance-based approaches usually collect a large amount of training data representing the eyes of different subjects, with different face orientations and under different illumination conditions. A classifier or regression model is then constructed for eye detection. The Eigen analysis has been applied in eye detection [33], [34], [35] and [36]. Pentland et al. [33] extended the eigenfaces technique to the description and coding of facial features, yielding eigeneyes, eigennoses, and eigenmouths. Asteriadis et al.[37] proposed a method for detecting eye and mouth using distance vector field. Recently, Chen and Liu [38]presented an eye detection method using color information and wavelet features together with a new efficient Support Vector Machine (eSVM).
二、英文翻译：
特征的局部二元模式与眼检测中的应用
摘要
本文提出了一种新的基于纹理特征和功能的信息的特征局部二进制模式（FLBP）方法。这个特征是由广义的，例如，边缘，Gabor小波特征，色彩特征，等。具体地说，二进制图象首先被从给定图像中提取特征点导出，然后形成一个距离矢量场通过获得数值计算在所述二进制图像中定义的每个像素及其最接近的特征像素之间的距离矢量。基于距离矢量场和FLBP参数，可以形成给定图像的FLBP特征值。与此相反，以原来的LBP相比，在其自己的邻域的像素的像素;该FLBP可以在邻域，与其他邻居像素点比较。使用BioID和FERET数据库上的人眼检测实验结果表明我们的FLBP方法的可行性。特别是，首先，FLBP方法显著于LBP方法提高了在这两个眼检测率和眼中心定位精度方面。其次，我们提出了一个新的特征像素提取方法，用在相对偏阈值（LRBT）方法LBP。新LRBT方法有助于与其他特征像素提取方法相比提高了FLBP眼检测性能。第三，FLBP方法由于引入了特征的像素以及FLBP参数，表现出了出了优越表达能力和灵活性的LBP方法。最后，在与国家的最先进的一些方法相比，我们的FLBP方法所能达到的眼科中心的定位精度最高。
关键词 特征局部二进制模式；局部二进制模式（LBP）；人眼检测；距离矢量；相对偏差阈值的LBP
1.简介
何为局部二元模式（LBP）方法，该方法通过比较中心与其邻居像素得到限定灰度不变纹理的描述值，是一个受欢迎的纹理分析的方法。在纹理分析较早阶段，Wang提出纹理单元和纹理谱的概念。 0，1，2的三个值表示中心像素和其邻居之间的三个可能的关系：一个像素的纹理单元由八个元素组成，其对应于八个相邻的3×3邻域具有三个可能的值表示： “小于”，“等于”，或“大于”。其结果是，有38 = 6561可能的纹理单元总数。一个区域的纹理频谱由的纹理单元在区域直方图定义。然而，由大量可能的纹理单元，构成了计算的障碍。为了减少计算负担，Ojala和Gong等人。提出了适用于两个关系的方法：“小于或等于”或“大于”是由两个可能的值表示：0或1的方法，从而减少了纹理单元的总数从6561至256，这可以通过八个二进制数来表示。纹理单元两者关系的版本被命名为局部二元模式或LBP。
LBP该方法在许多模式识别任务中得到应用。虽然我们从LBP的表现中想到了我们两个问题。首先，LBP只比较有其自己的邻居像素一个像素。我们相信，更多的信息可以披露，如果我们能在像素与其他街区邻居素进行比较。但是比较随意的像素与任何其他街区可能无法提供有用的信息。我们的第一个问题是如何定位的像素和邻域比较之后将提供有用的信息。第二，LBPS编码大约局部纹理与功能，如边缘，峰和谷的关系的信息很少。我们的第二个问题是如何设计的纹理描述符编码局部纹理与特征的关系的详细信息。这两个问题促使我们这项研究。我们的研究的目的是要找到一个新的纹理描述符，它可以解决两个问题。所以我们提出了一种基于纹理特征的新的局部二进制模式特征方法（FLBP）。他特性是由满足特定应用的要求的任何特征广泛定义，如边缘的强度峰或谷，在Gabor小波特征，颜色特征以及与相对偏阈值（LRBT）功能的LBP。是本文的贡献如下：
①这个新的FLBP方法是通过编码局部特征信息。与原来的LBP只有比较的像素与在其自己的邻居的像素相反，FLBP可以在其自己的邻域，以及在其他领域比较像素。所述FLBP概括其可以被认为FLBP是一个特例的LBP。该FLBP预计比执行纹理的描述和模式识别方法LBP更好。
②由于FLBP编码方法基于纹理特征特征信息所以FLBP的性能取决于特征点的提取。为了提高性能FLBP，我们提出了一个新的特征像素提取方法，具有相对偏阈值（LRBT）方法LBP。
对于FLBP对人眼检测的应用，使用BioID深挖数据库，实验结果表明：（i）本FLBP方法显著于LBP方法提高了两个眼的检测率和眼中心定位精度方面; （ii）与其它特征像素提取方法相比新LRBT特征像素提取方法有助于提高FLBP眼睛检测性能; （iii）由于引入特征的像素以及其参数所述，FLBP方法显示出优越表达能力和灵活性; （iv）符合的技术方法状态相比，FLBP方法实现眼中心定位精度最高。
2.背景
近年来，该LBP方法已在许多模式识别任务上面进行应用，如人脸检测与识别，场景和图像纹理分类应用。原始的LBP的许多扩展算法已经提出了各种方法以提高性能。Ahonen等提出了基于LBP纹理特征用于人脸识别面部图像表示。面部图像被分成LBP特征分布被提取并连接起来形成一个增强特性矢量，作为脸部描述符几个区域。Zhang和Gao提出了一种高阶局部图案描述，局部导数模式人脸识别。Hussain和Triggs提出了量化的本地模式（LQP），其使用对照表基于矢量量化编码较大或较深的模式的推广。 Tan和Triggs 介绍了局部三元模式（LTP），人脸识别。 Liu和Liu 提出，融合局部LBP特征，全局频率的功能，以及颜色特征对于提高人脸识别的性能的方法。巴纳吉等提出了新颖的彩色LBP
描述场景和图像纹理分类。
眼睛检测，是人脸特征点检测的一个例子，在自动面部识别系统发挥着一个重要的角色。眼睛有一些独特的几何和光度特性，这为他们提供本地化的重要和可靠的信息。尽管大量的研究已经进行了一些进展报道，眼睛检测仍然是一个挑战性的研究课题，闭眼，照明变化，眼睛大小和方向等的困难因素是三种主要类型眼睛的检测方法是基于模板的，，有特色的基于特征的和光度的外观为基础的方法。 Yuille提出了一种变形模板的面部特征，其中一个是将眼睛被参数化描述。具体地说，能量函数被首先定义为在图像中的边缘，峰和谷链接到模板的属性。模板然后与图像动态交互，通过改变其参数值以最小化能量函数，并通过这样做变形本身为最合适的。的方法，但是，不仅费时费力，而且极其依赖于模板的初始位置。如果模板的初始位置是眉以上，例如，该方法未能检测到眼睛。该方法的应用，在初始化阶段某些眼部特征进
一步改进。
在基于特征的独特的共同点，包括边沿虹膜的强度以及颜色分布。 Feng和Yuan描述的眼睛模型中，它由对应的眼角点，这是基于方差投影函数或VPF位于6的地标。Zhong和Geng扩展到VPF广义投影功能（GPF）。他们的实验表明，该混合投影函数，是GPF的一种特殊情况，是低于VPF更好，而VPF比整体投影功能更好。Kawato和Tetsutani提出，提取其两眼之间的中心点的方法。基于观察的眼之间区域是暗在其左侧和右侧（眼睛和眉毛）和明亮的上侧（前额）和下侧（鼻梁），他们提出了一种圆频率滤波器来定位候选点。 Sirohey等提出了使用线性和非线性滤波器为眼睛检测方法。线性滤波器包含Gabor小波与四个方向，用于检测眼睛的巩膜的边缘，和高斯滤波器用于检测虹膜的暗圈。该非线性滤波器被用于检测眼睛的左边和右边的角落中的彩色图象。Kawaguchi和Rizon 提出了同时使用强度和边缘信息查找眼睛的虹膜的方法。其他方法首先提取强度至高点作为潜在的眼模拟段。一对眼睛模段然后被检测为眼睛，它的位置是与人眼的人类学特性最相一致。Khosravi和Safabakhsh 提出一种使用形态方法提取眼地带，虹膜位于通过模板匹配通过自适应半圈模板的手段的方法。
以测光外观为基础的方法通常是作为大量的训练数据用在不同的方位和不同光照条件下收集不同的眼睛数据。然后构建一个眼睛检测的分类或回归模型。本特征分析已经在眼睛检测中得到应用。Pentland et al扩展特征脸技术的面部特征，产生特征值，特征脸，以及eigenmouths描述和编码。 Asteriadis等人[提出了使用距离矢量场检测眼睛和嘴的方法。近日，Chen和Liu提出使用颜色信息和小波一起提供一个新的有效的支持向量机（SVM）眼检测方法。