基于多帧融合的智能相机处理系统

吴靖玮;姜雪涵;贺杨鹏

 

第一部分 设计概述

 

1.1 设计目的

本设计针对低照度高动态情况下,单帧图像曝光不足导致的图像噪声大、色彩失准等问题,在传统的 HDR 多帧融合(Frames Merging)方法上,采用层次化的图像配准(Image Alignment)方案、自适应白平衡(White Balance)与色调映射(Tone Mapping)策略,在降低图像噪声、真实还原景物色彩的基础上,极大 抑制了多帧融合时常见的运动伪影(Motion Artifact)现象。本设计采用 FPGA 进 行图像处理加速后,可以实现视频流的实时处理,视频流经过摄像头输入后,由 FPGA 进行处理并以较低的时延经 HDMI 信号输出。

1.2 应用领域

本设计可用于手持摄像系统(摄像机、智能手机)图像、视频流的 HDR 处 理,可用于低照度情况下固定监控系统的视频流 HDR 处理,可用于线上直播系统的视频流 HDR 处理。

1.3 主要技术特点

采用层次化的图像配准方案,对输入的拜尔格式(Bayer Mosaic)原始图像 进行处理,生成四层高斯图像金字塔(Gaussian Pyramids)。较高层次的图像配准结果将作为低层次配准的预偏移。这一过程极大优化了算法效率,其结构化的特 点为并行处理提供了便利。

采用有权重的图像融合方案,对输入的多帧图像,经图像配准后计算相应图像对(Image Pairs)的 L1 残差,得到各融合帧(Alternate Frame)相对参考帧 (Reference Frame)的权重,有效地降低了配准失误造成的运动伪影。

采用自适应白平衡及色调映射策略,在低光照情况下最大程度还原了景物的 色彩;在保证较高信噪比的情况下,提高了主要景物的亮度。

利用 FPGA 进行硬件加速,在 Pynq-z2 的 Python 开发环境中挂载封装有 IP 加速核的 Overlay,极大提高了运行速度,能够实时处理。

1.4 关键性能指标

相机感光度(ISO)、快门时间(Shutter Time)、融合帧数;

图像融合处理时间、视频流处理延时;

图像信噪比、色彩还原度、细节清晰度、纹理清晰度(人眼观察)。

1.5 主要创新点

(1) 低照度高动态图像处理;

(2) 层次化的图像配准;

(3) 有权重的图像融合降噪;

(4) 自适应白平衡与色调映射策略;

(5) FPGA 硬件加速;

(6) 低时延视频流处理。

 

第二部分 系统组成及功能说明

 

2.1 整体介绍

PYNQ-Z2 是基于 Xilinx ZYNQ-7000 FPGA 的平台,除继承了传统 ZYNQ 平 台的强大处理性能外,还兼容 Arduino 接口与标准树莓派接口,这使得 PYNQZ2 的具有极大的可拓展性与开源性。PYNQ 是一个新的开源框架,使嵌入式编 程人员能够在无需设计可编程逻辑电路的情况下即可充分发挥 Xilinx Zynq All Programmable SoC(APSoC)的功能。与常规方式不同的是,通过 PYNQ-Z2,用户可以使用 Python 进行 APSoC 编程,并且代码可直接在 PYNQ-Z2 上进行开发 和测试。通过 PYNQ-Z2,可编程逻辑电路将作为硬件库导入并通过其 API 进行编程,其方式与导入和编程软件库基本相同。

Xilinx Zyng All Programmable device 是一种基于双核 ARM cortex - a9 处理 器(称为处理系统或 PS)的 SOC,集成了 FPGA fabric(称为可编程逻辑或 PL)。 PS 子系统包括许多专用外设(内存控制器、USB、Uart、IIC、SPI 等),并可以扩展额外的硬件 IP,其封装在 PL 的 Overlay 中。Overlay(或 Hardware Libraries, 硬件库)是可编程/可配置的 FPGA 设计,能将用户设计的应用从 Zynq 的处理系 统(PS 端)扩展到可编程逻辑(PL 端)。Overlay 可用于加速软件程序,或为特定程序定制硬件平台。

本设计的硬件平台整体结构如上图所示。为了对低照度高动态下的多帧融合 图像处理系统进行硬件加速,我们利用 Vivado HLs 工具,自主设计了 DownSample、Alignment、Merge、raw2rgb 等 IP Cores,并通过 AXI 总线与处理器核(PS 端)及存储器接口相连。在 PYNQ-Z2 的设计流中,这些 IP 被封装成 Overlay 并构造 Python API 驱动,以供 PYNQ-Z2 中的 Python 开发环境(JupyterNotebook)调用。

我们调用了 PYNQ-Z2 自有的 HDMI Overlay 进行处理流程及结果的显示。此外,PYNQ-Z2 为我们提供了丰富的存储单元、外设模块与通信接口。这些存储单元被用来存储图像数据及各类处理中间结果,而各类外设模块及通信接口则 被用来进行系统调试与控制的过程监控。

图像处理系统的工作流程如上图所示。相机在低曝光的情况下拍摄多帧(比 如说,6 帧)图片,这些原始图片(RAW images)由相机 CCD 或 CMOS 图像传感器生成,其像素值以拜耳阵列的形式存储。我们首先将原始各输入帧进行一次系数 2 的均值下采样,两次系数 4 的高斯下采样,得到一个四层的高斯图像金字塔。基于这个高斯图像金字塔,我们进行层次化的图像配准。配准的结果将作为图像融合的参考,同时结合备选帧与参考帧的 L1 残差作为融合权重,进行图像 融合。融合后的图像进行去马赛克及伽马降噪,并进行自适应的白平衡及色调映 射等操作,将单通道的融合图像转为三通道(对应 RGB 色彩空间)输出图像, 最终输出与原始图像同分辨率的处理结果。

均值下采样与高斯下采样处理被封装在名为 DownSample 的 IP core 中,层次化图像配准处理被封装在名为 Alignment 的 IP core 中,图像融合处理被封装在名为 Merge 的 IP core 中,去马赛克、白平衡、色调映射等处理被封装在名为 raw2rgb 的 IP core 中。这些 IP cores 挂载到 AXI 总线上,经封装为 Overlay 提供 Python API 给 PYNQ-Z2 的 Jupyter-Notebook。

2.2 各模块介绍

下采样模块(DownSample)

下采样模块为后续的层次化图像配准处理提供四层高斯图像金字塔。四层高斯金字塔的最底层为全分辨率的拜耳原始图像(我们称该层为 layer_raw),其像素点以拜耳阵列的形式排布,如下图所示。

我们首先进行系数 2 的均值下采样,直观上将一个 2*2 像素的“方格”取均值下采样为一个像素。下采样后的结果类似于一个单通道的灰度图像,但实际上绿色通道对下采样后的结果影响较大。我们称该层为 layer_0。

layer_0 随后进行两次系数 4 的高斯下采样。卷积核函数见附录。该卷积核 函数的大小为 5*5 像素,以 4 像素为步长在被采样的图像上以后,对该图像进行下采样。高斯下采样的结果将在一定程度上保留了采样前图像的低频信息,而图 像细节则被丢失。直观上图像的大致轮廓被保留,图像尺寸更小,细节模糊不清。 两次高斯下采样的结果分为称之为 layer_1 与 layer_2。

经下采样模块处理后的结果可以用下图说明。

图像配准模块(Alignment)

图像配准以图像对(Image Pairs)的形式,在融合备选帧(Alternate Frame) 与参考帧(Reference Frame)之间展开。对参考帧中的每一个 16*16 像素的图块 (Tile),寻找其在融合备选帧中使两者 L1 残差最小图块,两个图块位置上的偏 移即为配准结果。其 L1 残差的计算方式可用下式表达。

式中的求和对一个图块内的所有像素进行,配准的目的是对参考帧中的每一个图 块,寻找其在每一个备选帧中的对应图块,使得上式的结果最小。此时两个图块 的坐标偏移量即为配准结果。

在保证图像间偏差不大的前提下,图块配准的搜索范围可以限定图块原始位 置周围的若干像素内。为了进一步提高配准的效率,我们采用层次化的配准方案: 在上层低分辨率图像中进行预配准,配准结果将作为下层图像配准的预偏移 (Previous Offset)。各层图像以图块为基本单位,在预偏移的基础上进行小范围的配准。由此,上述残差计算式可以重新表达如下。

式中的𝑥𝑝, 𝑦𝑝即为上一层图像配准结果在本层配准的表达。

最终,层次化的图像配准处理将生成各层次上的配准结果。而我们所关心的 是全分辨率原始图像的配准结果,其将作为图像融合的依据进入到后续处理当中。

图像融合(Merge)

图像融合是多帧处理的关键步骤之一。在经过图像配准后,我们已经知道了参考帧中每一个图块在融合备选帧中的位置。这样一来,根据配准结果,从每一 个备选帧中提取相应的图块叠加在参考帧上,即可完成图像融合。然而,图像配准过程中有可能出现配准失误;另一方面,备选帧同样可能因为抖动而产生伪影。 这就需要依照参考帧图块与备选帧图块的偏差建立误差权重,误差小的图块融合时的权重大,而误差较大的图块在融合时的权重较小。

我们仍然使用类似于图像配准时的残差公式来计算误差,具体如下。

式中,𝑡𝑥,𝑡𝑦为参考帧中图块的索引,𝑥1, 𝑦1为配准后备选帧中图块内的像素 索引。通过计算相应图块内所有像素值的 L1 残差,我们就能衡量经过配准后的 图块对的误差,进而确定其在融合时的权重。

拜耳图像到 RGB 图像(raw2rgb)

上述处理的结果仍然是单通道的拜尔图像。我们需要将其转化为三通道的 RGB 图像,从而进行显示。余下的处理步骤通常包括校正(Correction)、去马赛 克(Demosaic)、色调映射(Tone Mapping)、白平衡(White Balance)等处理。 这些处理通常也由 ISP 完成。我们将这些处理封装在 raw2rgb 这一 IP core 中,进 而将处理的结果通过 HDMI 显示。

 

第三部分 完成情况及性能参数

 

我们完成了图 2 所述的各处理模块 IP cores 的封装与 Overlay 的挂载,通过在PYNQ-Z2本地读取一组6帧RAW格式拜耳图像(这些图像固定采用ISO=800, 快门时间为 1/16s 的拍摄参数),分块循环调用挂载的各处理模块 IP cores,进而 得到处理后的结果,通过 HDMI 进行显示。关键地,整个处理流程平均用时为83ms,并且具有进一步优化的空间。通过将更多的处理流程硬件化,减少在 AXI 总线上来回数据传输的次数,我们将进一步减少系统处理的平均用时。

下图是系统调试的实拍图。

通过对比,我们能够较为明显地看到处理效果。通常在低照度下拍摄的图像会呈现如下的效果。

如果为了图像效果,直接提高图像亮度,并提高对比度,则会产生较多噪声, 同时产生色彩偏移。图像会呈现如下的效果。

而经过 FPGA 中的图像处理系统处理后,图像的噪点被极大消去,色彩得到了校正,更加接近景物的原始色泽。图像呈现出如下的效果。

对上图的局部进行放大后,可以明显看到经过处理后的图像,在效果上有了明显的提升。下图是三处细节放大后的对比结果。

 

第四部分 总结

 

4.1 可扩展之处

(1)通过将更多的处理流程硬件化,减少在 AXI 总线上来回数据传输的次数,我们将进一步减少系统处理的平均用时,最后实现视频流的实时处理。之后,我们将为该系统加装摄像头模块,使得实时视频流经过系统处理后,以低时延输出。

(2)通过优化色调映射模块,我们计划在全局色调映射前加入局部色调映射,进一步提升在低照度下图像色彩的质量。

(3)通过调用 PYNQ-Z2 提供的 OpenCV 图像处理库,我们计划在图像处理流中增加人脸识别模块,对人脸识别激活的图块进行细致的配准及融合处理, 使得我们的图像处理系统在面对人脸时具有更好的效果。

2021年1月7日 10:04
浏览量:0
点赞
首页    Catalog    2020 FPGA竞赛    基于多帧融合的智能相机处理系统