基于PYNQ的双目机器视觉系统
郭超,牛艺锋,孙正源,曹运合(导师)
西安电子科技大学
概述
本文设计了一个低成本、高可靠性、便于移植的双目视觉货物分拣系统。以异构芯片Zynq7020作为核心处理器,使用双目摄像头采集图像信息,传输到PYNQ上,在PYNQ的PS端部署图像处理算法,提取物体种类和景深等信息,上位机通过UDP协议向PS端发送指令,PS端根据指令和提取的图像信息向PL端发送控制信号,PL端根据控制信号生成PWM波,控制机械臂到达指定位置,然后抓取相应的货物放到目标区域。
该作品的创新点是:
1.通过双目摄像头来实现目标识别和提取物体特征,相对于其它的目标识别方案,本方案可适用面广,针对不同的物体的识别不需要更改硬件结构,只需训练相应物体的特征样本即可实现高效、准确的物体识别。
2.识别到物体之后,能通过视差提取到三维的距离信息,相对于其它传感器的方案,能获取更加丰富的位置信息。
3.将算法部署到PYNQ上,大大增强了系统的可扩展性,使用FPGA进行识别算法的硬件加速也将大大优于其它平台。具有低功耗、低成本、高可扩展性。
系统架构
设计演示
Source Code Github Link
Description: After continuing to improve, the project plans to participate in the next year's graduate electronic design competition, temporarily unable to open source.