主要成员
huangqp79的标识图片 huangqp79 [创建者
lifeng612的标识图片 lifeng612 [普通成员
绣花小浣熊的标识图片 绣花小浣熊 [普通成员
panice的标识图片 panice [普通成员
申请参加这个项目
了解该团队的信息
帮助文档
 
项目信息
项目名称:基于Zynq的眼球控制应用系统  
英文名称:Zynq-Based Gaze Controlling System 
项目信息:
应用领域:消费类电子
设计摘要:
人眼状态检测、视线跟踪技术是近几年来的活跃研究主题,越来越受到人们的关注。由于人眼状态、视线操作具有直接性、自然性和互动性等优点,在商业、军事、娱乐、日常生活等多个领域得到广泛的应用。如今电子应用产品微型化、低功耗、低成本及高集成度等要求的日益提高,人们纷纷把目光聚焦在芯片化这一解决方案上。
本项目利用模式识别和多种图像处理技术对人眼进行监测定位,再进行状态检测、眼部特征点精确定位以及视线方向计算,在此基础上构建一个实时处理、实用化的人眼应用系统。本设计将实现以下应用功能:眼控密码输入、眼控游戏、疲劳驾驶检测。
系统原理和技术特点:

系统原理:

本系统采用软硬件协同处理的方式:
硬件部分(FPGA)首先通过高清数字摄像头采集视频图像,然后将其转换为灰度图像,再对得到的图像进行预处理,包括图像缩放、积分和计算等操作,为后续处理提供有效的数据流。最后将预处理后的数据存于DDR3存储器中,以供后续软件部分使用。
软件部分首先根据用户对功能的不同选择,进入不同的系统处理流程。
   如果选择的是眼控密码输入或眼控游戏类的功能,系统将采取的处理措施是:
由于本系统利用Adaboost进行人眼检测,需要大量的分类器参数,因此软件部分(Cortex-ARM9双核处理器)在系统初始化时需加载所有的分类器参数,这样在运行时就不必要重新读取参数,如此可以大幅度提高系统的运行速度。加载完毕之后开始读取硬件部分存入DDR3中的积分图进行级联检测,利用Adaboost的分类器遍历该图像,逐步对图像中的每个区域进行检测,判断其是否能通过分类器。不能通过分类器的图像信息可以直接舍弃掉,能通过的则作为备选结果,再择优选取以确定人眼目标,如此可以提取到眼部区域图像数据。接下来再对眼部区域图像进行处理。通过滤波、自适应阈值二值化、图像区域质心坐标求取等处理过程来定位瞳孔中心,再通过改进的susan焦点检测算子得到左右眼内眼角点的坐标。如此眼部图像处理部分已完成。接下来就是视线焦点的计算。利用上述得到的瞳孔中心坐标和内眼角点坐标,根据一定的几何向量对应关系进行计算,以得出用户眼睛视线焦点在显示屏上的具体位置。得到这一结果后即可应用于眼控密码输入、眼控游戏等应用系统上。
 
   如果选择的是疲劳驾驶功能,系统将采取的处理措施是:
基于模式识别技术,采用PERCLOSpercentage of eyelid closure over the pupil over time)算法,即通过检测驾驶员眼睛闭合时间占某一特定时间的百分率来检测驾驶员的疲劳状态。具体来说,是利用Adaboost分类器对睁眼和闭眼状态进行分类,可以检测视频序列当中的睁眼图像和闭眼图像的帧数,计算在一定时间内闭眼图像数目占总数目的百分比,进而计算得到PERCLOS值,对驾驶员的眼睛状态进行判定,从而决定是否需要对驾驶员发出疲劳驾驶的预警信号。
 
技术特点:
1.   便携的人机交互:采取眼睛控制的新型人机交互方式,仅需单一摄像头的辅助即可完成相应的功能,操作简单方便;
2.   软硬件协同设计:算法中计算量庞大的部分用FPGA硬件实现,充分利用硬件并行和高速的特点,保证系统的高效率及高实时性;图形界面和控制等其它部分用ARM嵌入式软件实现,能灵活利用各种软件资源,满足系统功能设计需求;
3.   可扩展性强:充分利用ZedBoard平台特有的FPGA+ARM架构资源,及其强大的扩展功能,设计出可做诸如眼控密码输入、眼控玩游戏、疲劳驾驶等多方面应用的眼球控制系统;
4.    友好的图形界面系统:采用图形界面系统,界面简洁,操作人性化;
5.   高精度的算法:采用复杂的算法,融合多种图像处理技术,使系统计算精度高、鲁棒性强。
系统框图.JPG
系统框图:系统框图.JPG
积分图计算硬件框图.JPG
系统框图:积分图计算硬件框图.JPG
软件流程介绍: 软件流程介绍.pdf [316 KB]
计划书:项目计划书.doc [1 MB]
当前项目状态:
参赛信息:
指导老师姓名: 庞志勇
指导老师职称: 讲师
学校: 中山大学
研究方向: 视频图像处理、IC设计
参赛情况: OpenHW12开源硬件与嵌入式计算大赛
需求信息:
拟采用的平台:ZED板
是否需要设计扩展板?
需要的基本功能:
最新版本:
请同时下载该项目版权声明
update 13-07-01 07:07:40
最终参赛版本
相关文件:
工程文件.zip  433.3 KB 
基于Zynq的眼球控制系统.doc  1.3 MB 
了解整个项目的开发记录
相关评论:  
添加评论  更多评论
正在读取数据……
关于OpenHW | OpenHW使用说明 | FAQ | 相关法律 | 版权声明 | 网站地图
联系邮件:aimei@eefocus.com  联系电话: 0512-80981663-8069    Fax:0512-80981279
Powered by eefocus.com