实时鲁棒的自动人眼状态分类李召荣，艾海舟（清华大学计算机科学与技术系，北京100084）E-mail:ahz@mail.tsinghua.edu.cn摘要：本文探讨了自动人眼状态分类问题。提出一种基于全局扫描并验证策略的分类框架。该方法采用一种级联结构（Cascade）来组织分类器，采用Adaboost算法学习分类器。实验表明这种方法无论在鲁棒性、正确率和速度方面都达到了很好的性能，具有非常明显的实际应用价值。关键词：人眼状态分类；全局扫描并验证；Adaboost；级联结构中图法分类号：TP391Real-timeRobustAutomaticEyeStateClassificationLIZhaorong,AIHaizhouDepartmentofComputerScienceandTechnology,TsinghuaUniversity,Beijing,100084E-mail:ahz@mail.tsinghua.edu.cnAbstract:Inthispaper,wediscusstheproblemofautomatichumaneyestateclassification.Anewclassificationframeworkbasedonaglobalscanandverificationstrategyisproposed.ThismethodemploysacascadestructuretoorganizeaseriesofeyestateclassifierstrainedbyAdaboost.Experimentsoveralargedatasetshowthatproposedsystemreachesagoodperformanceinrobustness,correctnessandspeed,whichhassignificantvalueinrealapplications.KeyWords:Eyestateclassification;Globalscanandverification;Adaboost;Cascade在过去的十到二十年内，人脸信息处理已经成为计算机视觉和模式识别领域的一个研究热点。作为人脸的主要部分，人脸器官（眼睛和嘴巴）以及它们的状态（张开和闭合），包含了丰富的表情和感情信息。它在许多人脸视觉系统中都有重要应用，比如驾驶员的疲劳驾驶检测，活性验证，人脸表情分析等。但是一直以来，这个问题并没有引起大家的重视，也没有专门的、系统的研究文献发表。仅有的少量的研究存在于某些人脸分析系统中，被当作一个子问题来对待。这些研究也通常是一些经典的模式识别方法的简单应用。以眼睛为例，Chu等[1]在研究驾驶员的疲劳检测中，采用一个3层的BP网络来进行眼睛睁闭分类。他们采用的特征是一个由6个几何参数：眼宽，眼高以及4个弧度参数构成的6维向量。他们在一个自建的包含124张图片的数据集上取得了85%的正确率。类似地，Tian等[2]也采用神经网络来进行分类，但抽取的特征是包含眼睛区域纹理的Gabor变换系数。他们在一个自建的数据集上获得了93%的正确率。邓等[3]在研究活性判别算法中，使用支持向量机来对直方图均衡化后的人眼灰度块直接分类。他们采用大约1300张图片进行实验，根据选择的核函数不同，支持向量的个数大概在60~200之间，分类正确率大概在90%~97%之间。上述这些方法大多假设特征点定位非常准确，或者直接采用手工标定的特征点，而这对通常的自动定位系统来说比较困难。除了分类的方法本课题得到国家自然科学基金（60332010，60673107）的资助。李召荣，男，1982年生，硕士研究生，主要研究方向为计算机视觉。艾海舟，男，1964年生，博士，教授，博士生导师，主要研究方向为计算机视觉。以外，还有一类基于检测的方法。例如，Veeraraghavan等[4]在检测驾驶员疲劳的研究中，直接检测睁眼和闭眼。他们使用基于模板匹配的方法来检测睁眼和闭眼。模板共四种：左眼睁模板，左眼闭模板，右眼睁模板，右眼闭模板。该方法的正确率达到85%以上。鉴于上面提到的原因，本文系统地试验并比较了一些经典的机器学习方法，包括Fisher线性鉴别（FisherLinearDiscriminant,FLD）分析，支持向量机（SupportVectorMachine,SVM），以及基于Haar型矩形特征的Adaboost算法。实验表明，在手工标定特征点的测试集合上，三种经典的分类算法都取得了非常高的分类正确率。然而，不幸的是，在自动定位特征点系统中，三种分类算法的分类正确率都大幅度下降。究其原因，我们发现三种分类算法都对特征点的位置非常敏感，有时甚至1~2个像素的偏差可能导致完全相反的结果，而在自动系统中，由于特征点定位算法的局限，不可能产生手工标点那么准确的定位，因而分类性能大幅下降不可避免。一些简单的思想，比如扰动并投票，统计特征点定位的误差分布等，可以在一定程度上缓解这个问题，但并不能令人满意。为了从根本上解决...
