眼控人机交互系统及方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 107145226 A(43)申请公布日 2017.09.08

(21)申请号 201710261706.7(22)申请日 2017.04.20

(71)申请人 中国地质大学（武汉）

地址 430074 湖北省武汉市洪山区鲁磨路

388号(72)发明人 贺良华　刘娅婷　刘启　葛来　(74)专利代理机构 武汉知产时代知识产权代理

有限公司 42238

代理人 曹雄(51)Int.Cl.

G06F 3/01(2006.01)G06K 9/00(2006.01)

权利要求书2页 说明书5页 附图2页

CN 107145226 A(54)发明名称

眼控人机交互系统及方法(57)摘要

本发明涉及一种眼控人机交互系统，包括图像采集装置及主机，所述图像采集装置用于采集人脸部图像信息，所述主机包括眼特征提取模块、瞳孔中心追踪模块、坐标转换模块及鼠标模拟模块，所述眼特征提取模块用于提取出眼部特征信息，所述瞳孔中心追踪模块用于追踪瞳孔中心并确定瞳孔中心坐标，所述坐标转换模块用于将瞳孔中心坐标映射成屏幕窗口中的坐标，所述鼠标模拟模块用于将屏幕窗口中的坐标转成鼠标指令。本发明的眼控人机交互系统安装容易、操作简单、价格低廉且能够帮助残疾人获得更多的学习机会。本发明还涉及一种眼控人机交互方法。

CN 107145226 A

权　利　要　求　书

1/2页

1.一种眼控人机交互系统，其特征在于，包括图像采集装置(1)及主机(2)，所述图像采集装置(1)用于采集人脸部图像信息并将采集到的人脸部图像信息发送至所述主机(2)，所述主机(2)包括眼特征提取模块(22)、瞳孔中心追踪模块(23)、坐标转换模块(24)及鼠标模拟模块(25)，其中，所述眼特征提取模块(22)用于接收图像采集装置(1)采集的人脸部图像信息并根据接收到的人脸部图像信息提取出眼部特征信息，所述瞳孔中心追踪模块(23)用于接收眼部特征信息并根据接收到眼部特征信息追踪瞳孔中心并确定瞳孔中心坐标，所述坐标转换模块(24)用于接收瞳孔中心坐标并将接收到的瞳孔中心坐标映射成屏幕窗口中的坐标，所述鼠标模拟模块(25)用于接收成屏幕窗口中的坐标，并将接收到的屏幕窗口中的坐标转成鼠标指令。

2.如权利要求1所述的眼控人机交互系统，其特征在于，所述图像采集装置(1)运用OpenCv对脸部图像信息进行采集，运用OpenCv对脸部图像信息进行采集的过程包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。

3.如权利要求2所述的眼控人机交互系统，其特征在于，所述眼特征提取模块(22)采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息，采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息的过程包括：接收需要圈出的ROI区域；对摄像头采集到的源图像做ROI处理；以及载入并显示该ROI区域。

4.如权利要求3所述的眼控人机交互系统，其特征在于，所述瞳孔中心追踪模块(23)利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标，利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标的过程包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪，并进行显示；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。

5.如权利要求4所述的眼控人机交互系统，其特征在于，所述坐标转换模块(24)将接收到的人眼瞳孔中心坐标映射成屏幕窗口中的坐标的方法包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；确定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。

6.一种眼控人机交互的方法，其特征在于，包括以下步骤：采集人脸部图像信息；提取出眼部特征信息；

追踪瞳孔中心并确定瞳孔中心坐标；

将瞳孔中心坐标映射成屏幕窗口中的坐标；以及将屏幕窗口中的坐标转成鼠标指令。

7.如权利要求6所述的眼控人机交互方法，其特征在于，所述步骤“采集人脸部图像信息”包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。

8.如权利要求7所述的眼控人机交互方法，其特征在于，所述步骤“提取出眼部特征信息”包括：接收需要圈出的ROI区域；对采集到的源图像做ROI处理；载入并显示该ROI区域。

9.如权利要求8所述的眼控人机交互方法，其特征在于，所述步骤“追踪瞳孔中心并确定瞳孔中心坐标”包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。

2

CN 107145226 A

权　利　要　求　书

2/2页

10.如权利要求9所述的眼控人机交互方法，其特征在于，所述步骤“将瞳孔中心坐标映射成屏幕窗口中的坐标”包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。

3

CN 107145226 A

说　明　书

眼控人机交互系统及方法

1/5页

技术领域

[0001]本发明涉及人工智能技术领域，尤其涉及一种眼控人机交互系统及方法。背景技术

[0002]随着计算机技术的发展，操作命令也越来越多，功能也越来越强。随着模式识别，如语音识别、汉字识别等输入设备的发展，操作员和计算机在类似于自然语言或受限制的自然语言这一级上进行交互成为可能。

[0003]视觉跟踪技术利用视觉的变化代替人手在触摸屏上的运动，使人远离屏幕时仍可以定位屏幕上的任意区域，通过眼睛的运动使用触摸屏，减少了许多步骤，加速以人为中心的智能化人机交互的发展与实现，然而，传统的视线跟踪技术虽然跟踪精度较高，但是价格昂贵，使用方法复杂，尤其是插入式的方法，不仅使人的活动受到限制，而且给用户带来了很大的不舒适感，很难被大多数人接受，只适用于某些特殊场合。发明内容

[0004]为了解决上述技术问题，本发明提供一种眼控人机交互系统。[0005]本发明提供一种眼控人机交互系统，包括图像采集装置及主机，所述图像采集装置用于采集人脸部图像信息并将采集到的人脸部图像信息发送至所述主机，所述主机包括眼特征提取模块、瞳孔中心追踪模块、坐标转换模块及鼠标模拟模块，其中，所述眼特征提取模块用于接收图像采集装置采集的人脸部图像信息并根据接收到的人脸部图像信息提取出眼部特征信息，所述瞳孔中心追踪模块用于接收眼部特征信息并根据接收到眼部特征信息追踪瞳孔中心并确定瞳孔中心坐标，所述坐标转换模块用于接收瞳孔中心坐标并将接收到的瞳孔中心坐标映射成屏幕窗口中的坐标，所述鼠标模拟模块用于接收成屏幕窗口中的坐标，并将接收到的屏幕窗口中的坐标转成鼠标指令。[0006]进一步地，所述图像采集装置运用OpenCv对脸部图像信息进行采集，运用OpenCv对脸部图像信息进行采集的过程包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。[0007]进一步地，所述眼特征提取模块采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息，采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息的过程包括：接收需要圈出的ROI区域；对摄像头采集到的源图像做ROI处理；以及载入并显示该ROI区域。[0008]进一步地，所述瞳孔中心追踪模块利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标，利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标的过程包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪，并进行显示；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。[0009]进一步地，所述坐标转换模块将接收到的人眼瞳孔中心坐标映射成屏幕窗口中的坐标的方法包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采

4

CN 107145226 A

说　明　书

2/5页

集；确定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。

[0010]本发明还提供一种眼控人机交互的方法，包括以下步骤：[0011]采集人脸部图像信息；[0012]提取出眼部特征信息；

[0013]追踪瞳孔中心并确定瞳孔中心坐标；

[0014]将瞳孔中心坐标映射成屏幕窗口中的坐标；以及[0015]将屏幕窗口中的坐标转成鼠标指令。[0016]进一步地，所述步骤“采集人脸部图像信息”包括：与想要捕获的摄像头的接口对应；以及接收视频的每一帧图像，并循环显示。[0017]进一步地，所述步骤“提取出眼部特征信息”包括：接收需要圈出的ROI区域；对采集到的源图像做ROI处理；载入并显示该ROI区域。[0018]进一步地，所述步骤“追踪瞳孔中心并确定瞳孔中心坐标”包括：将采集到的眼部ROI区域进行放大；将放大之后的ROI区域转换为灰度图；对灰度图进行高斯滤波去噪；对作完滤波处理的区域进行canny边缘检测；以及进行霍夫圆变换，算出圆的中心坐标。[0019]进一步地，所述步骤“将瞳孔中心坐标映射成屏幕窗口中的坐标”包括：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；定屏幕窗口四个点在屏幕中的实际位置；以及完成瞳孔中心坐标到屏幕窗口坐标的映射转换。[0020]相较于现有技术，本发明的眼控人机交互系统及方法具有以下优点：[0021]本发明的眼控人机交互系统及方法，图像采集装置对操作者的眼睛进行拍摄并采集到图像，然后对图像进行一系列处理，提取出眼部特征，接下来进行瞳孔的检测及其跟踪，实现瞳孔中心的跟踪定位，利用检测到的瞳孔中心的坐标，来进行坐标转换，实现瞳孔中心坐标到电脑屏幕的映射，最后通过鼠标模拟来完成对计算机的操作，安装容易、操作简单、价格低廉且能够帮助残疾人获得更多的学习机会。附图说明

[0022]图1为本发明的眼控人机交互系统的结构示意图。[0023]图2为本发明的眼控人机交互方法的流程图。[0024]图3为图2中的步骤S1的流程图。[0025]图4为图2中的步骤S2的流程图。[0026]图5为图2中的步骤S3的流程图。[0027]图6为图2中的步骤S4的流程图。

具体实施方式

[0028]下面将对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。[0029]请参阅图1，本发明实施例提供一种眼控人机交互系统包括图像采集装置1及主机

5

CN 107145226 A

说　明　书

3/5页

2。其中，图像采集装置1用于采集人脸部图像信息并将采集到的人脸部图像信息发送至主机2，主机2包括眼特征提取模块22、瞳孔中心追踪模块23、坐标转换模块24及鼠标模拟模块25。其中，眼特征提取模块22用于接收图像采集装置1采集的人脸部图像信息并根据接收到的人脸部图像信息提取出眼部特征信息，瞳孔中心追踪模块23用于接收眼部特征信息并根据接收到眼部特征信息追踪瞳孔中心并确定瞳孔中心坐标，坐标转换模块24用于接收瞳孔中心坐标并将接收到的瞳孔中心坐标映射成屏幕窗口中的坐标，鼠标模拟模块25用于接收成屏幕窗口中的坐标，并将接收到的屏幕窗口中的坐标转成鼠标指令，进而完成对主机2的操作，实现人机交互。[0030]在本实施例中，图像采集装置1包括USB免驱摄像头模组，该USB免驱摄像头模组具体为21度镜头角度、30W像素并贴上850nm红外光滤波片滤去可见光及6个红外LED灯的USB免驱摄像头模组。该摄像头帧率为30帧/秒，采集到的一帧图片大小为640*480，位深为24位，调焦模式为手动调焦。该图像采集装置1运用OpenCv对脸部图像信息进行采集，具体应用OpenCv中的一些基本类和函数，包括：(1)定义一个VideoCapture类，并实例化，使之与想要捕获的摄像头的接口对应；(2)定义一个Mat类对象，接收视频的每一帧图像，并循环显示，同时用waitKey函数控制帧率。需要说明的是，VideoCapture类是OpenCv 2.X版本中新增的一个类，提供了从摄像机或视频文件捕获视频的C++接口，作用是从视频文件或从摄像头捕获视频帧，并显示出来。imread及imshow函数：都有两个参数，第一个参数为窗口名，第二个参数为显示的图片(可为路径或一个mat类对象)。两个函数的功能分别是载入、显示一副图像。waitKey函数：为一个延时函数，用于调整视频帧率，使视频能够流畅显示。[0031]优选地，图像采集装置1还包括眼镜、胶带及连接支架例如铁丝，连接支架通过胶带与眼镜连接并位于眼镜的正前方，USB免驱摄像头模组通过胶带与连接支架连接，以方便采集用户的脸部图形信息。[0032]在本实施例中，眼特征提取模块22采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特征信息。ROI(region of interest)，感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，ROI。在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子(Operator)和函数来求得感兴趣区域ROI，并进行图像的下一步处理。在图像处理领域，ROI是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点，圈定该区域以便进行进一步处理。使用ROI圈定可以减少图像处理时间，增加精度。定义ROI区域有两种方法：一种是使用表示矩形区域的Rect，它指定矩形的左上角坐标和矩形的长和宽，从而定义一个矩形，另一种定义ROI的方式是指定感兴趣的行或列的范围。本系统在硬件设计时，固定了摄像头与头部的相对位置，所以即使头部有轻微的扰动，眼睛与摄像头的相对位置是不变的，也就是说，我们只需要从一副图像帧中，比较准确的圈出我们想要的眼睛部分区域即可。当这一部分参数固定后，以后头部再怎么扰动，我们都能够准确只定位到眼睛部位。这里我们首先需要知道摄像头捕获的图像帧的大小，经过拍照测试，摄像头捕获的图像大小为640*480。下一步要做的就是眼部提取了。这里有四个参数，分别是是左上角的原点坐标x，y、矩形区域的宽和高width、height。实现此方法的基本流程是：(1)定义一个Mat类的imgROI对象接收需要圈出的ROI区域；(2)对摄像头采集到的源图像做ROI处理；(3)载入并显示该ROI区域。[0033]瞳孔中心追踪模块23利用霍夫变换追踪瞳孔中心并定位瞳孔中心坐标。具体地，

6

CN 107145226 A

说　明　书

4/5页

霍夫变换(Hough Transform)，是图像处理中的一种特征提取技术，该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果。霍夫变换在OpenCv中分为霍夫线变换和霍夫圆变换两种，这里用到的是霍夫圆变换。霍夫圆变换调用的是HoughCircles()函数，该函数的定义如下:C++：void HoughCircles(InputArray image,OutputArray circles,int method,double dp,double minDist,double param1＝100,double para2m＝100,int minRadius＝0,int maxRadius＝0)；可以看到该函数一共有九个参数，这里选择比较重要的几个参数作简要解释。第二个参数，OutputArray类型的circles，经过调用HoughCircles函数后，此参数存储了检测到的圆的输出矢量，每个矢量由包含了3个元素的浮点矢量(x，y，radius)表示。分别表示圆的中心坐标和半径大小。第五个参数，double类型的minDist，为霍夫变换检测到的圆的圆心之间的最小距离，即让算法能明显区分的两个不同圆之间的最小距离。这个参数如果设置的太小，那么多个相邻的圆可能被错误地检测成一个重合的圆。反之，这个参数设置太大，某些圆就不能被检测出来。第七个参数，double类型的param2。对当前唯一方法霍夫梯度法，它表示在检测阶段圆心的累加器阈值。它越小，就越可以检测到更多根本不存在的圆，而它越大的话，能通过检测的圆就越接近完美的圆形了。第八、九个参数，分别表示检测出的圆半径的最小值和最大值。实现此方法的基本流程是：(1)将采集到的眼部ROI区域进行放大，放大倍数选择两倍，由于摄像头只有30w像素，若放大倍数过大，则该区域会非常模糊，对后续处理也非常不利，所以选择放大两倍，经测试，在视觉上与检测效果上均能满足要求；(2)运用cvtColor()函数对放大之后的ROI区域进行转换，转换为灰度图，并进行显示，查看效果；(3)运用GaussianBlur()函数对灰度图进行高斯滤波去噪，并进行显示，查看效果，根据效果来调整函数的参数；(4)运用Canny()函数对作完滤波处理的区域进行canny边缘检测，并进行显示，查看效果；(5)图像预处理完毕后，接下来进行霍夫圆变换，然后算出圆的中心坐标，即计算出瞳孔中心坐标。

[0034]坐标转换模块24将接收到的人眼瞳孔中心坐标映射成屏幕窗口中的坐标的方法为：(1)选取屏幕窗口的四个基本点，然后依次对这四个点的瞳孔中心坐标进行采集，并记录下来；(2)确定屏幕窗口四个点在屏幕中的实际位置，同时也记录下来；(3)完成瞳孔中心坐标到屏幕窗口坐标的映射转换。[0035]请参阅图2，本发明还提供一种人机交互的方法，包括以下步骤：[0036]步骤S1：采集人脸部图像信息；[0037]步骤S2：提取出眼部特征信息；[0038]步骤S3：追踪瞳孔中心并确定瞳孔中心坐标；[0039]步骤S4：将瞳孔中心坐标映射成屏幕窗口中的坐标；以及[0040]步骤S5：将屏幕窗口中的坐标转成鼠标指令。[0041]请参阅图3，步骤S1利用OpenCv对脸部图像信息进行采集，具体应用OpenCv中的一些基本类和函数，该步骤包括以下内容：[0042]步骤S11：与想要捕获的摄像头的接口对应。该过程首先定义一个VideoCapture类，并实例化，使之与想要捕获的摄像头的接口对应、[0043]步骤S12：接收视频的每一帧图像，并循环显示。该过程首先需要定义一个Mat类对象，以接收视频的每一帧图像，并循环显示。

7

CN 107145226 A[0044]

说　明　书

5/5页

请参阅图4，步骤S2采用ROI提取的方式提取接收到的人脸部图像信息中的眼部特

征信息，步骤S2具体包括以下内容：[0045]步骤S21：对象接收需要圈出的ROI区域。该过程需要定义一个Mat类的imgROI对象接收需要圈出的ROI区域。[0046]步骤S22：对采集到的源图像做ROI处理。[0047]步骤S23：载入并显示该ROI区域。[0048]请参阅图5，步骤S3利用霍夫变换追踪瞳孔中心并定位瞳孔中心，步骤S3具体包括以下内容：

[0049]步骤S31：将采集到的眼部ROI区域进行放大。[0050]步骤S32：将放大之后的ROI区域转换为灰度图。该过程运用cvtColor()函数。[0051]步骤S33：对灰度图进行高斯滤波去噪。该过程运用GaussianBlur()函数。[0052]步骤S34：对作完滤波处理的区域进行canny边缘检测。该过程运用Canny()函数。[0053]步骤S35：进行霍夫圆变换，算出圆的中心坐标。[0054]请参阅图6，步骤S4具体内容包括以下步骤：[0055]步骤S41：选取屏幕窗口的四个基本点并依次对这四个点的瞳孔中心坐标进行采集；

[0056]步骤S42：定屏幕窗口四个点在屏幕中的实际位置；以及[0057]步骤S43：完成瞳孔中心坐标到屏幕窗口坐标的映射转换。[0058]本发明的眼控人机交互系统及方法，图像采集装置对操作者的眼睛进行拍摄并采集到图像，然后对图像进行一系列处理，提取出眼部特征，接下来进行瞳孔的检测及其跟踪，实现瞳孔中心的跟踪定位，利用检测到的瞳孔中心的坐标，来进行坐标转换，实现瞳孔中心坐标到电脑屏幕的映射，最后通过鼠标模拟来完成对计算机的操作，安装容易、操作简单、价格低廉且能够帮助残疾人获得更多的学习机会。

[0059]以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

8

CN 107145226 A

说　明　书　附　图

1/2页

图1

图2

图3

9

CN 107145226 A

说　明　书　附　图

2/2页

图4

图5

图6

10