主要成员
xuzihao的标识图片 xuzihao [创建者
jasonhuang1982的标识图片 jasonhuang1982 [未验证
xiangzhi-233163的标识图片 xiangzhi-233163 [未验证
zwy440的标识图片 zwy440 [未验证
wuboezone的标识图片 wuboezone [未验证
小辉辉-181019的标识图片 小辉辉-181019 [普通成员
韬光养晦,厚积薄发!
guo8113的标识图片 guo8113 [普通成员
精诚所至金石为开
xuqiong89的标识图片 xuqiong89 [普通成员
申请参加这个项目
了解该团队的信息
帮助文档
 
项目信息
项目名称:基于Zynq平台的视频总结和检索系统  
英文名称:a system based on Zynq for video synopsis& index 
项目信息:
应用领域:消费类电子
设计摘要:
面对与日俱增的全天候监控摄像头拍摄的交通/安防海量视频数据,传统耗时的人工浏览方式远远不能满足人们对于视频信息浏览和检索的需求,如何简洁地表达视频浓缩内容,方便事后浏览、排查以及从海量视频中搜索需要的信息,已成为多媒体领域的一项重要研究课题,并具有广泛的应用前景。
国内外很多著名研究机构如微软亚洲研究院、 IBM、清华大学针对海量视频的快速浏览问题,提出过基于关键帧的视频摘要方法,并且取得了很多研究成果,国内针对这个问题很大部分也是基于这个思路。但是,近几年,国外科学家提出通过分割视频中运动物体进行时间平移重新组合的方法,使得视频的浏览时间大大减少,同时保持了视频中运动物体的运动特性,具有相比于前者更少的浏览时间和更好的用户体验。这一创新获得华尔街日报评选的2010年全球17大科技发明。同时,2012年9月21日,《科学》杂志在显目位置报道了中国科技工作者在海量视频检索领域的重大研究突破和这一技术对国家安全的重要影响。
我们通过视频运动物体分割,然后进行分割物体序列时间平移重组,图像拼接的思路,实现如下功能:
1.在FPGA上实现基于目标运动信息的视频总结系统,将1小时的安防监控视频压缩为3-5分钟,同时保持良好的用户体验。
2.在运动物体分割工作完成的基础上,帮助用户在海量视频中搜索需要的目标,实现多目标检索:如:红色的汽车,带帽子的行人,人脸识别,车牌号为***的车灯。
系统原理和技术特点:

                1.系统原理:

1.1 视频总结介绍
       视频总结(video synopsis):是一种视频--视频的转化模式。该方法一改常规提取关键帧进行视频浓缩的思路,采用提取视频运动物体进行时间上平移重新组合的方式,以空间换时间。首先采用均值滤波的方式得到背景图像;利用原始视频和背景图像的帧差图像、原始图像内的领域关系,构建Gibbs能量函数,运用图割的方法,得到运动目标体;定义能量函数,综合考虑各目标体损失的像素值、不同目标间遮挡损失的像素值以及不同目标体时间一致性等因素,运用模拟退火算法,确定各目标体在总结视频中的起始时间位置;梯度算法用于目标体、背景图像的拼接。最后形成视频总结。
                     
                
1.2 视频检索介绍
多目标检索:在运动视频总结的基础上,满足用户更深层次的需求(比如,穿红色衣服的人,寻找车牌为***的车等),搜索出用户感兴趣的区域与目标。第一步,建立图像训练库;第二步,通过分类器算法(Adaboost算法、SVM算法)训练出满足条件的分类器,最后,结合bag-of-words模型以及CRF(Conditional Random Field)条件随机场进行目标最终的识别。
多目标搜索,这里我们主要对行人、汽车以及行人、汽车的属性进行识别,比如:穿红色衣服的行人,车牌号为***的车,颜色是蓝色的车灯。
     首先建立训练库、测试库
对于行人检测的库,应该包含行人样本(正样本)、背景样本(负样本,除了行人的样本都可);对于车牌识别的库,应该包含车牌图像样本(正样本)、背景样本(负样本,除了车牌图像的样本都可)。
      将训练样本提取特征,训练分类器
比如对于行人样本,可以提取Haar特征、LBP特征,通过SVM或者Adaboost训练分类器,实现对行人的分类;对于车牌的识别,可以提取HOG特征、LBP特征,再作为分类器输入进行训练出合适的分类器,实现对车牌样本的分类。
 
a、行人检测相关
行人检测:
基于以上两步,通过利用分割好的目标物体,就可以实现人脸的检测。
衣服颜色识别:(行人检测+基于颜色的图像搜索)
比如,检测穿A颜色衣服的行人,在行人检测实现的基础上,联合基于颜色的图像搜索。图像颜色特征常用的方法主要有颜色直方图( Color Histogram) 、颜色矩( Color Moment) 、颜色相关图( Color Correlogram) 、颜色一致性矢量( Color Coherence Vectors,CCV) 等。
帽子识别:(行人检测+基于形状的图像检索
                     检测戴帽子的行人,在行人检测实现的基础上,联合基于形状的图像搜索。
在对图像形状特征进行提取时,可以首先使用sobel 算子提取图像的边缘,在此基础上使用Hu 矩描述图像形状特征。
 
b、车牌
           在分类器训练好后,在分割好的汽车物体的基础上,进行车牌的初定位;
          引入CRF条件随机场模型,进行车牌的细定位,去除分类器勿分类的区域;
            通过图割(graph cut)算法,将车牌区域的字分割出来;
           通过OCR将字识别出来,并储存;
          当用户输入一个车牌时,将之与上一步储存的所有结果进行比对,找到与之完全 一致或者相似度最高的车牌,并定位到具体场景;
 
               1.3 系统原理
   本系统使用ZED Board上Processing System(以下简称PS)中的Cortex-A9 作为系统的主控制器,利用Xilinx为Cortex-A9提供的嵌入式Linux支持,实现系统资源的管理以及人机界面交互,使用Programmable Logic(以下简称PL)作为主要的DSP实现单元,同时协同PS中的NEONTM Processing / FPU Engines进行硬件加速,进行海量数据的处理与图像处理算法的实现。PS与PL之间通过AXI总线进行数据通信,协同完成海量视频总结与检索。
   
             ZED 板的介绍ZEDBOARD板卡具具有丰富的FPGA资源可以实现外部事件及中断捕获功能;具有VGA和HDMI接口可实现显示功能;SD卡和USBOTG接口实现大容量存贮;以太网接口实现远程数据通信。在核心芯片ZYNQ中集成了双核Cortex-A9可以运行LINUX/ANDROID等操作系统,方便硬件资源的管理,加快了应用软件的开发,内部的NEON指令具有通用DSP的数据处理功能可以进行数据分析。综上所述,ZEDBOARD非常适合用于图像处理设备。
 
技术特点:
 2.1 新方法解决老问题
       区别于传统的基于关键帧的视频摘要,本算法采用提取视频运动物体进行时间上平移重新组合的方式,以空间换时间。突破了传统方法,大大减少视频浏览的时间,具有更好的用户体验。
 
 2.2 算法的选择
                算法实现上,背景提取选择高斯混合模型、目标检测采用背景分割(background cut),目标跟踪采用基于空间距离的目标跟踪方法,目标体的起始规划算法采用模拟退火最小化能量函数的思路,目标体、背景图像的拼接采用梯度算法。对于视频检索,在建立图像训练库后,首先通过分类器算法(Adaboost算法、SVM算法)训练出满足条件的分类器,接下来,结合bag-of-words模型以及CRF(Conditional Random Field))条件随机场实现目标最终的识别。
 
 2.3 先物体分割,再检索
         通过分割的物体进行视频检索的技术特点:
 (1)计算量、运算复杂度降低;
如果直接在原视频中进行搜索,那么在训练出分类器之后,对具体的单帧图  像还要进行精确定位,这一步包含了:金字塔模型构建,图像遍历以及多层图像 结果的融合;而采用分割的物体进行视频检索,可以省略这部分的步骤,大大减少了计算量以及运算复杂度。
(2)分类器效果更佳
进行分割后的物体,没有背景,因此,在进行分类器训练时,采用的训练库就可以为无背景的目标,在此情况下,训练出的分类器在训练库没有背景的干扰下,可以是实现更好的分类效果。
 
2.4 硬件运算速度要求高
               FPGA采用并行处理结构,相比于ARM或DSP在相同的时钟周期中有着更快的运算速度,可以更好的满足视频处理的要求。在图像处理中,由于需要处理的数据是二维甚至多维数据,会用到对图像像素的滤波、卷积等数学运算,运算量的庞大,FPGA并行处理运算显现出优势,且对于到多路和高清解决方案的过渡,基于FPGA的解决方案可以实现快速演进。
 
2.5 多领域技术融合
                 视频总结和检索的算法实现融合了背景建模、视频运动物体分割、图像拼接、物体识别和分析等多个图像和视频领域的知识,工作量算是比较大的。需要团队的队员分工协作。
 
2.6 ARMFPGA协同处理
                 ARM采用传统的计算机顺序运行结构,易于实现串行控制算法。FPGA采用并行处理结构,可在一个时钟周期内完成大任务量运算,易于实现复杂的代数运算。将ARM与FPGA进行协同,能高速地实现大量复杂运算。

 

系统框图.jpg
系统框图:系统框图.jpg
视频总结原理图.jpg
系统框图:视频总结原理图.jpg
视频总结效果图.jpg
系统框图:视频总结效果图.jpg
软件流程介绍: 基于Zynq平台的视频总结和检索系统--流程图.doc [23.5 KB]
计划书:基于Zynq平台的视频总结和检索系统--计划书.doc [3.5 MB]
当前项目状态: 正在执行中
参赛信息:
指导老师姓名: 刘峰
指导老师职称: 教授
学校: 南京邮电大学
研究方向: 从事网络视频传输、多媒体通信等关键技术的研究,具体包括
(1)新颖与高效的图像处理与分析、智能视频分析,视频压缩编码理论、技术和算法研究。
(2)立体视频的分布式编码技术研究。
(3)基于异构网络的视频通信技术、流媒体传输技术研究。
(4)基于DSP和ARM的嵌入式视频图像通信及其应用系统的设计与实现。
参赛情况: OpenHW12开源硬件与嵌入式计算大赛
需求信息:
拟采用的平台:ZED板
是否需要设计扩展板?
需要的基本功能:
最新版本:
暂无发布的版本信息   了解目前项目的开发进度
相关评论:  
添加评论  更多评论
正在读取数据……
关于OpenHW | OpenHW使用说明 | FAQ | 相关法律 | 版权声明 | 网站地图
联系邮件:aimei@eefocus.com  联系电话: 0512-80981663-8069    Fax:0512-80981279
Powered by eefocus.com