基于PYNQ的双目机器视觉系统

郭超，牛艺锋，孙正源，曹运合（导师）

西安电子科技大学

概述

本文设计了一个低成本、高可靠性、便于移植的双目视觉货物分拣系统。以异构芯片Zynq7020作为核心处理器，使用双目摄像头采集图像信息，传输到PYNQ上，在PYNQ的PS端部署图像处理算法，提取物体种类和景深等信息，上位机通过UDP协议向PS端发送指令，PS端根据指令和提取的图像信息向PL端发送控制信号，PL端根据控制信号生成PWM波，控制机械臂到达指定位置，然后抓取相应的货物放到目标区域。

该作品的创新点是：

1.通过双目摄像头来实现目标识别和提取物体特征，相对于其它的目标识别方案，本方案可适用面广，针对不同的物体的识别不需要更改硬件结构，只需训练相应物体的特征样本即可实现高效、准确的物体识别。

2.识别到物体之后，能通过视差提取到三维的距离信息，相对于其它传感器的方案，能获取更加丰富的位置信息。

3.将算法部署到PYNQ上，大大增强了系统的可扩展性，使用FPGA进行识别算法的硬件加速也将大大优于其它平台。具有低功耗、低成本、高可扩展性。

系统架构

设计演示

Source Code Github Link

Description: After continuing to improve, the project plans to participate in the next year's graduate electronic design competition, temporarily unable to open source.