主要成员
valar1234的标识图片 valar1234 [创建者
hailele的标识图片 hailele [未验证
yjliuyifei的标识图片 yjliuyifei [普通成员
Raymond-eva的标识图片 Raymond-eva [普通成员
做一个快乐的程序员
cyboic的标识图片 cyboic [普通成员
时间只在自己身上汹涌地流逝了。。。
cheryl的标识图片 cheryl [普通成员
申请参加这个项目
了解该团队的信息
帮助文档
 
项目信息
项目名称:基于图像硬件加速单元设计的手势识别  
项目信息:
应用领域:航空/国防
设计摘要:
随着信息多元化发展,人机自然交互迅速发展以弥补传统人机交互的不足,其中手势识别是一种简单自然的交互方法,并已经得到了初步的应用,如三星的智能电视,微软的Kinect等。但是手势识别由于其多样性,多义性等特点,带来了识别精度低,实时性差等问题。
为了提高手势识别的精度和改善实时性,项目采用Cotex-A9与FPGA协同的异构系统,采用硬件加速完成图像高密度的运算过程。同时Xilinx推出的可综合的HLS Video Library大大缩短了FPGA数字图像设计开发周期并降低了开发难度,其与OpenCV Library联合使用可满足Cortex-A9 + FPGA异构系统的设计要求。
系统原理和技术特点:

 1.1          系统整体演示框架

本项目核心技术是从视频图像中提取关于手势的有效信息,并根据有效信息做出反应。据此,项目总体演示方案如图1所示。

 

Figure 1整体演示框架

根据手势的有效信息的提取与处理过程,整个过程分为以下三个步骤:

Ø  视频数据采集

由于USB2.0最高可实现480MB的带宽,满足一般的视频采集速度要求,故项目采用USB2.0 ULPI接口将摄像头与板卡连接在一起,实现数据采集通路。获取摄像头原始数据后,Linux OS根据图像的相关协议进行解析,最后传送给下一级做手势识别处理。

Ø  手势识别处理

鉴于处理器Cortex-A9的灵活性和FPGA高并行度等特点,本项目将两者结合使用。Hardware Video Processing Components作为Cortex-A9的图像处理加速单元,完成高密度的图像运算过程,降低Cortex-A9占用率;Cortex-A9负责硬件加速单元的调度,图像数据的传输与管理等过程。

Ø  手势信息应用

当提取出有效的手势信息后,Linux OS或者Applications根据该手势信息作出反应,例如游戏,物体移动控制等应用,最后通过HDMI接口输出到显示屏,完成整个演示过程。

1.2          视频数据通路架构

对于视频处理类应用,数据通路显示了系统的软硬件结构,本项目的数据通路框架如图2所示。项目的关键技术如下:

Ø  AXI4 Streaming Video

Zynq-7000系列板卡中,AXI4 Steaming protocol 能够高效方便的支持图像像素点的传输,同时High Level Synthesis (HLS) 中的 HLS Video Library能够对其综合,加快了图像加速单元的开发过程。因此Video Processing Component配合AXI VDMA控制器,能够实现图像的快速收发。

Ø  Video Processing Component

Video Processing Component(图像处理单元)在手势识别处理时,作为Cortex-A9的硬件加速器,负责高密度的图像运算操作,例如缩放,滤波等处理过程。整个结构中包含若干个Video Processing Component, 每个单元独立挂载到AXI总线上,负责不同的图像处理任务。同时,加速单元之间也存在数据通路(如虚线所示),以实现图像的流水线处理。

 

Figure 2数据通路框架

Ø  软硬件任务调度

由于采用FPGA + Cortex-A9异构系统,系统中存在软件图像处理过程和硬件加速单元,并且两者之间存在图像数据共享1.1          系统整体演示框架

本项目核心技术是从视频图像中提取关于手势的有效信息,并根据有效信息做出反应。据此,项目总体演示方案如图1所示。

 

Figure 1整体演示框架

根据手势的有效信息的提取与处理过程,整个过程分为以下三个步骤:

Ø  视频数据采集

由于USB2.0最高可实现480MB的带宽,满足一般的视频采集速度要求,故项目采用USB2.0 ULPI接口将摄像头与板卡连接在一起,实现数据采集通路。获取摄像头原始数据后,Linux OS根据图像的相关协议进行解析,最后传送给下一级做手势识别处理。

Ø  手势识别处理

鉴于处理器Cortex-A9的灵活性和FPGA高并行度等特点,本项目将两者结合使用。Hardware Video Processing Components作为Cortex-A9的图像处理加速单元,完成高密度的图像运算过程,降低Cortex-A9占用率;Cortex-A9负责硬件加速单元的调度,图像数据的传输与管理等过程。

Ø  手势信息应用

当提取出有效的手势信息后,Linux OS或者Applications根据该手势信息作出反应,例如游戏,物体移动控制等应用,最后通过HDMI接口输出到显示屏,完成整个演示过程。

1.2          视频数据通路架构

对于视频处理类应用,数据通路显示了系统的软硬件结构,本项目的数据通路框架如图2所示。项目的关键技术如下:

Ø  AXI4 Streaming Video

Zynq-7000系列板卡中,AXI4 Steaming protocol 能够高效方便的支持图像像素点的传输,同时High Level Synthesis (HLS) 中的 HLS Video Library能够对其综合,加快了图像加速单元的开发过程。因此Video Processing Component配合AXI VDMA控制器,能够实现图像的快速收发。

Ø  Video Processing Component

Video Processing Component(图像处理单元)在手势识别处理时,作为Cortex-A9的硬件加速器,负责高密度的图像运算操作,例如缩放,滤波等处理过程。整个结构中包含若干个Video Processing Component, 每个单元独立挂载到AXI总线上,负责不同的图像处理任务。同时,加速单元之间也存在数据通路(如虚线所示),以实现图像的流水线处理。

 

Figure 2数据通路框架

Ø  软硬件任务调度

由于采用FPGA + Cortex-A9异构系统,系统中存在软件图像处理过程和硬件加速单元,并且两者之间存在图像数据共享与传输;同时手势动态信息复杂多变,因此要求高效的软硬件任务管理系统,以提高系统的运行效率。与传输;同时手势动态信息复杂多变,因此要求高效的软硬件任务管理系统,以提高系统的运行效率。

软硬件任务调度.jpg
系统框图:软硬件任务调度.jpg
数据通路.jpg
系统框图:数据通路.jpg
算法.jpg
系统框图:算法.jpg
当前项目状态:
参赛信息:
指导老师姓名: 尹文波
指导老师职称: 讲师
学校: 复旦大学
研究方向: EDA算法,高层次综合
参赛情况: OpenHW2014开源硬件与嵌入式计算大赛
需求信息:
拟采用的平台:ZyBo
是否需要设计扩展板?
需要的基本功能:
最新版本:
暂无发布的版本信息   了解目前项目的开发进度
相关评论:  
添加评论  更多评论
正在读取数据……
关于OpenHW | OpenHW使用说明 | FAQ | 相关法律 | 版权声明 | 网站地图
联系邮件:aimei@eefocus.com  联系电话: 0512-80981663-8069    Fax:0512-80981279
Powered by eefocus.com