主要成员
tanweimin666的标识图片 tanweimin666 [创建者
思考方式决定结果
wdzwanghui的标识图片 wdzwanghui [未验证
申请参加这个项目
了解该团队的信息
帮助文档
 
项目信息
项目名称:基于FPGA的实时全高清2D转3D系统 (转到SVN--转到TRAC
项目信息:
应用领域:消费类电子
设计摘要:
1.设计摘要
1.1 项目背景
电影《阿凡达》、《泰坦尼克号》的热映使得立体电影成为影片的一大卖点,推动票房高速增长,进而带动了国内外对立体技术的广泛关注和研究。传统的数字高清2D电视已经不能满足人们对视频逼真感的需求,人们需要在观看视频时有一种真切的身临其境的感受,于是3D(three-dimensional:3DTV)电视便应运而生了。3DTV的显示离不开合适内容的制作,而由于目前大量传统2D视频的存在,对2D转3D技术的研究有着更为现实的意义,这一技术的研究不仅可以为立体显示提供丰富的素材,而且能大大节省内容制作的成本,同时还可以让2D视频以一种全新的方式呈现给观众。
1.2 系统功能及项目目标
本作品将设计实现一个2D转3D系统,该系统能够方便地实现高清的2D视频输入,经过系统处理后输出高清的3D视频,并支持用户根据自己的体验对立体感进行调节,从而实现高品质3D视频图像处理的突破。作品在数字电视SoC芯片、手持设备三维显示处理芯片等领域有良好的应用前景,具体设计特点包括:
 支持HDMI(High Definition Multimedia Interface, 高清晰度多媒体接口)视频接口输入和输出;
 支持10-bit像素位宽(RGB或YCbCr各分量分别为10bit);
 采用异步复位方式;
 支持红蓝眼镜和快门眼镜;
 支持2D视频转3D视频;
 支持多种分辨率的视频输入/输出,最高分辨率为1920*1080;
 深度可根据观众的需要进行连续调节,从而获得最佳的立体视觉效果。
系统的所有功能和算法都使用FPGA实现,基于像素级流水处理,采用纯逻辑设计实现,系统能满足实时处理要求,达到系统的实用性。
系统原理和技术特点:

 

2.    项目方案

2.1 功能模块

本系统的主要功能分为下面四个部分:

(1)    深度估计模块。用于估计外部输入进来的2D图像深度;

(2)    DIBR模块(depth-image-based rendering),即基于深度图像绘制。它实现由一幅参考图像及其对应深度图像合成质量较高的新视点视图(目标图像)的功能,它包含4个子模块:三维图像变换(threed_image_warping)、视差值中值滤波(disparity_median_filter)、空洞填充(hole_filling)和像素拷贝(pixel_copy)

(3)    图像融合模块。用于将生成的目标图像与原参考图像融合后,输出显示;

(4)    参数配置模块。本模块的主要功能是完成整个系统(包括各个子模块的参数)的参数设置。

采用下图表示系统功能,如图1所示。

1 系统功能框图

1可以看出,本系统主要由深度估计模块、参数配置模块、图像融合模块和DIBR模块组成。

(1)   深度估计(depth_estimation)模块

本模块位于DIBR模块的前端,用于估计单幅图像的深度,在数据有效信号data_valid为高时开始启动。

(2)   IIC参数配置模块

本模块的主要功能是完成整个系统(包括各个子模块的参数)的参数设置。每次绘制新的目标图像,系统都会从该模块读取相关参数。用户在场消隐期间可以将参数设置成上次相同的值(即保持参数值不变),也可以根据需要更改某些参数值。由于DIBR模块的参数也是在这个模块设置的,因此可以通过改变DIBR模块的参数来调节视差,从而实现深度的调节。

(3)   图像融合模块

本模块的主要功能是根据行场同步信号,将生成的目标图像与原参考图像融合后输出显示,同时支持红蓝和左右视图两种显示方式。

(4)   DIBR模块

DIBR模块实现由一幅参考图像及其对应深度图像合成质量较高的新视点视图(目标图像)的功能,它包含4个子模块:三维图像变换(threed_image_warping)、视差值中值滤波(disparity_median_filter)、空洞填充(hole_filling)和像素拷贝(pixel_copy)

1)        三维图像变换

根据深度图像将参考图像中的像素点映射到目标图像。三维图像变换部分包括画家算法、三维图像变换等子模块。

2)        视差值中值滤波

经过三维图像变换后,图像中会有一些突变噪声,所以,本模块完成滤除噪声的功能。

3)        空洞填充

三维图像变换后得到的目标图像往往存在空洞。空洞填充完成的主要功能便是填充这些空洞,并尽可能地改善目标图像的画质。

4)        像素拷贝

空洞填充之后,需要从原参考图像拷贝像素,以得到最终的目标图像。

2.2 处理流程

该系统的处理流程如图2所示。

2 系统处理流程

系统的整个处理流程如图2所示,参数配置模块首先启动,对整个系统完成配置后,深度估计模块,DIBR模块、图像融合模块才开始启动,但这三个模块是基于流水处理。

深度估计模块将估计后得到的深度图传给DIBR模块,DIBR模块根据深度图产生目标图,最后,图像融合模块将目标图与参考图融合后,输出显示。

2.3 实验结果

“Ballet”序列摄像机4捕获的第0(右视图)

生成的虚拟视图(左视图)

本系统生成的立体图像效果

系统功能框图.jpg
系统框图:系统功能框图.jpg
系统硬件架构图.jpg
系统框图:系统硬件架构图.jpg
系统数据流和控制流图.jpg
系统框图:系统数据流和控制流图.jpg
软件流程介绍: 系统处理流程.pdf [62.9 KB]
计划书:基于FPGA的实时全高清2D转3D系统——计划书.doc [2.6 MB]
当前项目状态: 完成
参赛信息:
指导老师姓名: 刘然
指导老师职称: 副教授
学校: 重庆大学
研究方向: 视频图像处理,片上系统实现
参赛情况: OpenHW12开源硬件与嵌入式计算大赛
需求信息:
拟采用的平台:Atlys Spartan®-6 FPGA 开发套件
是否需要设计扩展板?
需要的基本功能:
最新版本:
暂无发布的版本信息   了解目前项目的开发进度
相关评论:  
添加评论  更多评论
正在读取数据……
关于OpenHW | OpenHW使用说明 | FAQ | 相关法律 | 版权声明 | 网站地图
联系邮件:aimei@eefocus.com  联系电话: 0512-80981663-8069    Fax:0512-80981279
Powered by eefocus.com