三自由度仿生立体视觉系统技术方案

本发明专利技术公开了一种三自由度仿生立体视觉系统，包括两只仿生眼、一个仿生颈部云台、三个三轴伺服电机驱动器、FPGA信号处理板卡和DSP信号处理器构成，每只仿生眼都包括眼球摄像装置、三个伺服电机、FPGA图像采集板卡、电机和应变片力传感器。本发明专利技术的有益效果为：结构简单，采用伺服电机实现快速位置伺服，仿生颈部云台控制仿生眼的三自由度运动，可实现全方位的图像捕捉；FPGA并行处理图像处理模块中的算法，提高了处理的效率和精度，实现目标的实时跟踪和三维定位。

【技术实现步骤摘要】

本专利技术涉及仿生机器人
，具体而言，涉及一种三自由度仿生立体视觉系统。
技术介绍
现有视觉系统在感知定位、运动跟踪、快速并行处理方面与人眼有很大差距。例如，现有的仿生眼睛大多是两自由度的，只有水平和竖直两个自由度，一般只能捕捉到小范围的图像，不能很精确的定位，也不能实现全方位的捕捉，在对采集的图像处理上处理速度较慢、精度也不高，无法快速准确的实现目标的实时跟踪和三维定位。这些问题已成为机器人视觉技术发展的瓶颈。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种可实现全方位图像捕捉、跟踪速度快、定位精度高的三自由度仿生立体视觉系统。本专利技术提供了一种三自由度仿生立体视觉系统，包括：支架，其上部对称的设有第一转轴和第二转轴，所述支架下部的中间位置设有第三转轴；第一仿生眼，其包括第一眼球、第一摄像装置、第一伺服电机、第二伺服电机、第三伺服电机、第一FPGA图像采集板卡、第一电机和第一应变片力传感器；所述第一眼球为球形腔，并可转动的安装在所述第一转轴上，所述第一眼球外部安装有第一伺服电机、第二伺服电机和第三轴伺服电机；所述第一伺服电机位于所述第一眼球的X轴方向上，并通过第一伺服电机的扭矩臂与所述第一眼球连接；所述第二伺服电机位于所述第一眼球的Y轴方向上，并通过所述第二伺服电机的扭矩臂与所述第一眼球连接；所述第三伺服电机位于所述第一眼球的Z轴方向上，并通过所述第三伺服电机的扭矩臂与所述第一眼球连接；第一摄像装置位于所述第一眼球内的前半部，与所述第二伺服电机的扭矩臂相对设置，且位于所述第一眼球的Y轴方向的反方向上；所述第一FPGA图像采集板卡设置在所述第一眼球内；所述第一摄像装置包括左右相邻设置的第一摄像头和第二摄像头，所述第一摄像头为广角短焦摄像头，所述第二摄像头为长焦摄像头；所述第一电机和所述第一应变片力传感器均位于所述第一眼球内，并与所述第一摄像装置连接；第一三轴伺服电机驱动器，其设置在所述第一仿生眼外，所述第一伺服电机、所述第二伺服电机和所述第三伺服电机均与所述第一三轴伺服电机驱动器连接；第二仿生眼，其包括第二眼球、第二摄像装置、第四伺服电机、第五伺服电机、第六伺服电机、第二FPGA图像采集板卡、第一电机和第一应变片力传感器；所述第二眼球为球形腔，并可转动的安装在所述第二转轴上，所述第二眼球外部安装有第四伺服电机、第五伺服电机和第六伺服电机；所述第四伺服电机位于所述第二眼球的X轴方向的反方向上，并与所述第一伺服电机对称设置，并通过第二X轴伺服电机的扭矩臂与所述第二眼球连接；所述第五伺服电机位于所述第二眼球的Y轴方向上，并通过所述第五伺服电机的扭矩臂与所述第二眼球连接；所述第六伺服电机位于所述第二眼球的Z轴方向上，并通过所述第六伺服电机的扭矩臂与所述第二眼球连接；第二摄像装置位于所述第二眼球内的前半部，与所述第五伺服电机的扭矩臂相对设置，且位于所述第二眼球的Y轴方向的反方向上；所述第二FPGA图像采集板卡设置在所述第二眼球内；所述第二摄像装置包括左右相邻设置第三摄像头和第四摄像头，所述第三摄像头为广角短焦摄像头，所述第四摄像头为长焦摄像头；所述第二电机和所述第二应变片力传感器均位于所述第二眼球内，并与所述第二摄像装置连接；第二三轴伺服电机驱动器，其设置在所述第二仿生眼外，所述第四伺服电机、所述第五伺服电机和所述第六伺服电机均与所述第二三轴伺服电机驱动器连接；仿生颈部云台，其为球形腔，且可转动的安装在所述第三转轴上，所述仿生颈部周向上均匀安装有第七伺服电机、第八伺服电机和第九伺服电机；第三三轴伺服电机驱动器，其设置在所述仿生颈部云台外，所述第七伺服电机、所述第八伺服电机和所述第九伺服电机均与所述第二三轴伺服电机驱动器连接；FPGA信号处理板卡，其与所述第一三轴伺服电机驱动器、所述第二三轴伺服电机驱动器、所述第三三轴伺服电机驱动器、所述第一FPGA图像采集板卡和所述第二FPGA图像采集板卡双向通信连接；DSP信号处理器，其与所述FPGA信号处理板卡连接。作为本专利技术进一步的改进，所述第一FPGA图像采集板卡包括第一FIFO存储器、第一SDRAM控制模块、第一SDRAM存储器、第一PROM存储器、第一图形算法处理模块、第二FIFO存储器、第一寄存器控制模块，第一同步信号控制模块和第一摄像头控制模块，所述第一图形算法处理模块上设有第一寄存器；所述第一FIFO存储器与所述第一SDRAM控制模块通信连接，所述第一SDRAM控制模块与所述第一SDRAM存储器双向通信连接，所述第一SDRAM控制模块与所述第一图形算法处理模块通信连接，所述第一图形算法处理模块与所述第二FIFO存储器通信连接，所述第一寄存器控制模块与所述第一寄存器通信连接，所述第一摄像头控制模块与所述第一同步信号控制模块和所述第一寄存器控制模块双向通信连接，所述第一PROM存储器与所述第一FPGA图像采集板卡通信连接；所述第二FPGA图像采集板卡包括第三FIFO存储器、第二SDRAM控制模块、第二SDRAM存储器、第二PROM存储器、第二图形算法处理模块、第四FIFO存储器、第二寄存器控制模块，第二同步信号控制模块和第二摄像头控制模块，所述第二图形算法处理模块上设有第二寄存器；所述第三FIFO存储器与所述第二SDRAM控制模块通信连接，所述第二SDRAM控制模块与所述第二SDRAM存储器双向通信连接，所述第二SDRAM控制模块与所述第二图形算法处理模块通信连接，所述第二图形算法处理模块与所述第四FIFO存储器通信连接，所述第二寄存器控制模块与所述第二寄存器通信连接，所述第二摄像头控制模块与所述第二同步信号控制模块和所述第二寄存器控制模块双向通信连接，所述第二PROM存储器与所述第二FPGA图像采集板卡通信连接。作为本专利技术进一步的改进，述FPGA信号处理板卡包括第一FPGA处理板卡和第二FPGA处理板卡，所述第一FPGA处理板卡通过第五FIFO存储器与所述第二FPGA处理板卡通信连接；其中，所述第一FPGA处理板卡包括数据转换模块、伺服电机控制模块、第一外部同步信号控制模块、第一FIFO存储器控制模块和以太网接口；所述第二FPGA处理板卡包括算法处理模块、第二外部同步信号控制模块、第二FIFO存储器控制模块；所述数据转换模块与所述算法处理模块通信连接，所述算法处理模块与所述第二FIFO存储器控制模块通信连接，所述本文档来自技高网...

【技术保护点】
一种三自由度仿生立体视觉系统，其特征在于，包括：支架，其上部对称设置第一转轴和第二转轴，所述支架下部的中间位置设置第三转轴；第一仿生眼，其包括第一眼球、第一摄像装置、第一伺服电机、第二伺服电机、第三伺服电机、第一FPGA图像采集板卡、第一电机和第一应变片力传感器；所述第一眼球为球形腔，并可转动的安装在所述第一转轴上，所述第一眼球外部安装有第一伺服电机、第二伺服电机和第三轴伺服电机；所述第一伺服电机位于所述第一眼球的X轴方向上，并通过第一伺服电机的扭矩臂与所述第一眼球连接；所述第二伺服电机位于所述第一眼球的Y轴方向上，并通过所述第二伺服电机的扭矩臂与所述第一眼球连接；所述第三伺服电机位于所述第一眼球的Z轴方向上，并通过所述第三伺服电机的扭矩臂与所述第一眼球连接；第一摄像装置位于所述第一眼球内的前半部，与所述第二伺服电机的扭矩臂相对设置，且位于所述第一眼球的Y轴方向的反方向上；所述第一FPGA图像采集板卡设置在所述第一眼球内；所述第一摄像装置包括左右相邻设置的第一摄像头和第二摄像头，所述第一摄像头为广角短焦摄像头，所述第二摄像头为长焦摄像头；所述第一电机和所述第一应变片力传感器均位于所述第一眼球内，并与所述第一摄像装置连接；第一三轴伺服电机驱动器，其设置在所述第一仿生眼外，所述第一伺服电机、所述第二伺服电机和所述第三伺服电机均与所述第一三轴伺服电机驱动器连接；第二仿生眼，其包括第二眼球、第二摄像装置、第四伺服电机、第五伺服电机、第六伺服电机、第二FPGA图像采集板卡、第一电机和第一应变片力传感器；所述第二眼球为球形腔，并可转动的安装在所述第二转轴上，所述第二眼球外部安装有第四伺服电机、第五伺服电机和第六伺服电机；所述第四伺服电机位于所述第二眼球的X轴方向的反方向上，并与所述第一伺服电机对称设置，并通过第二X轴伺服电机的扭矩臂与所述第二眼球连接；所述第五伺服电机位于所述第二眼球的Y轴方向上，并通过所述第五伺服电机的扭矩臂与所述第二眼球连接；所述第六伺服电机位于所述第二眼球的Z轴方向上，并通过所述第六伺服电机的扭矩臂与所述第二眼球连接；第二摄像装置位于所述第二眼球内的前半部，与所述第五伺服电机的扭矩臂相对设置，且位于所述第二眼球的Y轴方向的反方向上；所述第二FPGA图像采集板卡设置在所述第二眼球内；所述第二摄像装置包括左右相邻设置第三摄像头和第四摄像头，所述第三摄像头为广角短焦摄像头，所述第四摄像头为长焦摄像头；所述第二电机和所述第二应变片力传感器均位于所述第二眼球内，并与所述第二摄像装置连接；第二三轴伺服电机驱动器，其设置在所述第二仿生眼外，所述第四伺服电机、所述第五伺服电机和所述第六伺服电机均与所述第二三轴伺服电机驱动器连接；仿生颈部云台，其为球形腔，且可转动的安装在所述第三转轴上，所述仿生颈部周向上均匀安装有第七伺服电机、第八伺服电机和第九伺服电机；第三三轴伺服电机驱动器，其设置在所述仿生颈部云台外，所述第七伺服电机、所述第八伺服电机和所述第九伺服电机均与所述第二三轴伺服电机驱动器连接；FPGA信号处理板卡，其与所述第一三轴伺服电机驱动器、所述第二三轴伺服电机驱动器、所述第三三轴伺服电机驱动器、所述第一FPGA图像采集板卡和所述第二FPGA图像采集板卡双向通信连接；DSP信号处理器，其与所述FPGA信号处理板卡连接。...

【技术特征摘要】
1.一种三自由度仿生立体视觉系统，其特征在于，包括：
支架，其上部对称设置第一转轴和第二转轴，所述支架下部的中间位置
设置第三转轴；
第一仿生眼，其包括第一眼球、第一摄像装置、第一伺服电机、第二伺
服电机、第三伺服电机、第一FPGA图像采集板卡、第一电机和第一应变片
力传感器；所述第一眼球为球形腔，并可转动的安装在所述第一转轴上，所
述第一眼球外部安装有第一伺服电机、第二伺服电机和第三轴伺服电机；所
述第一伺服电机位于所述第一眼球的X轴方向上，并通过第一伺服电机的扭
矩臂与所述第一眼球连接；所述第二伺服电机位于所述第一眼球的Y轴方向
上，并通过所述第二伺服电机的扭矩臂与所述第一眼球连接；所述第三伺服
电机位于所述第一眼球的Z轴方向上，并通过所述第三伺服电机的扭矩臂与
所述第一眼球连接；第一摄像装置位于所述第一眼球内的前半部，与所述第
二伺服电机的扭矩臂相对设置，且位于所述第一眼球的Y轴方向的反方向
上；所述第一FPGA图像采集板卡设置在所述第一眼球内；所述第一摄像装
置包括左右相邻设置的第一摄像头和第二摄像头，所述第一摄像头为广角短
焦摄像头，所述第二摄像头为长焦摄像头；所述第一电机和所述第一应变片
力传感器均位于所述第一眼球内，并与所述第一摄像装置连接；
第一三轴伺服电机驱动器，其设置在所述第一仿生眼外，所述第一伺服
电机、所述第二伺服电机和所述第三伺服电机均与所述第一三轴伺服电机驱
动器连接；
第二仿生眼，其包括第二眼球、第二摄像装置、第四伺服电机、第五伺
服电机、第六伺服电机、第二FPGA图像采集板卡、第一电机和第一应变片
力传感器；所述第二眼球为球形腔，并可转动的安装在所述第二转轴上，所
述第二眼球外部安装有第四伺服电机、第五伺服电机和第六伺服电机；所述
第四伺服电机位于所述第二眼球的X轴方向的反方向上，并与所述第一伺服
电机对称设置，并通过第二X轴伺服电机的扭矩臂与所述第二眼球连接；所
述第五伺服电机位于所述第二眼球的Y轴方向上，并通过所述第五伺服电机
的扭矩臂与所述第二眼球连接；所述第六伺服电机位于所述第二眼球的Z轴
方向上，并通过所述第六伺服电机的扭矩臂与所述第二眼球连接；第二摄像
装置位于所述第二眼球内的前半部，与所述第五伺服电机的扭矩臂相对设
置，且位于所述第二眼球的Y轴方向的反方向上；所述第二FPGA图像采集

\t板卡设置在所述第二眼球内；所述第二摄像装置包括左右相邻设置第三摄像
头和第四摄像头，所述第三摄像头为广角短焦摄像头，所述第四摄像头为长
焦摄像头；所述第二电机和所述第二应变片力传感器均位于所述第二眼球
内，并与所述第二摄像装置连接；
第二三轴伺服电机驱动器，其设置在所述第二仿生眼外，所述第四伺服
电机、所述第五伺服电机和所述第六伺服电机均与所述第二三轴伺服电机驱
动器连接；
仿生颈部云台，其为球形腔，且可转动的安装在所述第三转轴上，所述
仿生颈部周向上均匀安装有第七伺服电机、第八伺服电机和第九伺服电机；
第三三轴伺服电机驱动器，其设置在所述仿生颈部云台外，所述第七伺
服电机、所述第八伺服电机和所述第九伺服电机均与所述第二三轴伺服电机
驱动器连接；
FPGA信号处理板卡，其与所述第一三轴伺服电机驱动器、所述第二三
轴伺服电机驱动器、所述第三三轴伺服电机驱动器、所述第一FPGA图像采
集板卡和所述第二FPGA图像采集板卡双向通信连接；
DSP信号处理器，其与所述FPGA信号处理板卡连接。
2.根据权利要求1所述的三自由度仿生立体视觉系统，其特征在于，所
述第一FPGA图像采集板卡包括第一FIFO存储器、第一SDRAM控制模块、
第一SDRAM存储器、第一PROM存储器、第一图形算法处理模块、第二
FIFO存储器、第一寄存器控制模块，第一同步信号控制模块和第一摄像头控
制模块，所述第一图形算法处理模块上设有第一寄存器；
所述第一FIFO存储器与所述第一SDRAM控制模块通信连接，所述第一
SDRAM控制模块与所述第一SDRAM存储器双向通信连接，所述第一
SDRAM控制模块与所述第一图形算法处理模块通信连接，所述第一图形算
法处理模块与所述第二FIFO存储器通信连接，所述第一寄存器控制模块与
所述第一寄存器通信连接，所述第一摄像头控制模块与所述第一同步信号控
制模块和所述第一寄存器控制模块双向通信连接，所述第一PROM存储器与
所述第一FPGA图像采集板卡通信连接；
所述第二FPGA图像采集板卡包括第三FIFO存储器、第二SDRAM控制
模块、第二SDRAM存储器、第二PROM存储器、第二图形算法处理模块、
第四FIFO存储器、第二寄存器控制模块，第二同步信号控制模块和第二摄

\t像头控制模块，所述第二图形算法处理模块上设有第二寄存器；
所述第三FIFO存储器与所述第二SDRAM控制模块通信连接，所述第二
SDRAM控制模块与所述第二SDRAM存储器双向通信连接，所述第二
SDRAM控制模块与所述第二图形算法处理模块通信连接，所述第二图形算
法处理模块与所述第四FIFO存储器通信连接，所述第二寄存器控制模块与
所述第二寄存器通信连接，所述第二摄像头控制模块与所述第二同步信号控
制模块和所述第二寄存器控制模块双向通信连接，所述第二PROM存储器与
所述第二FPGA图像采集板卡通信连接。
3.根据权利要求1所述的三自由度仿生立体视觉系统，其特征在于，
所述FPGA信号处理板卡包括第一FPGA处理板卡和第二FPGA处理板
卡，所述第一FPGA处理板卡通过第五FIFO存储器与所述第二FPGA处理板
卡通信连接；
其中，
所述第一FPGA处理板卡包括数据转换模块、伺服电机控制模块、第一
外部同步信号控制模块、第一FIFO存储器控制模块和以太网接口；
所述第二FPGA处理板卡包括算法处理模块、第二外部同步信号控制模
块、第二FIFO存储器控制模块；
所述数据转换模块与所述算法处理模块通信连接，所述算法处理模块与
所述第二FIFO存储器控制模块通信连接，所述第二FIFO存储器控制模块与
所述第五FIFO存储器通信连接，所述第五FIFO存储器与所述第一FIFO存
储器通信连接，所述第一外部同步信号控制模块和所述第二外部同步信号控
制模块双向通信连接。
4.根据权利要求2所述的三自由度仿生立体视觉系统，其特征在于，
所述第一SDRAM存储器设于所述第一FPGA图像采集板卡或设于所述
第一FPGA图像采集板卡外，所述第一PROM存储器设于所述第一FPGA图
像采集板卡外；
所述第二SDRAM存储器设于所述第二FPGA图像采集板卡或设于所述
第一FPGA图像采集板卡外，所述第二PROM存储器设于所述第二FPGA图
像采集板卡外。
5.根据权利要求4所述的三自由度仿生立体视觉系统，其特征在于，所
述第一FPGA处理板卡通过所述第一外部同步信号控制模块与外部同步信号

\t双向通信连接，所述第一FPGA处理板卡通过所述以太网接口连接上位机。
6.根据权利要求1-5中任意一项所述的三自由度仿生立体视觉系统，其
特征在于，采用所述三自由度仿生立体视觉系统实现目标的实时跟踪和三维
定位的方法为：
步骤1，所述第一摄像装置和所述第二摄像装置通过所述第一仿生眼和
所述第二仿生眼的运动，拍摄全场景的视频图像，具体包括：
在小范围内，所述第一仿生眼和所述第二仿生眼分别在所述第一伺服电
机、所述第二伺服电机、所述第三伺服电机和所述第四伺服电机、所述第五
伺服电机、所述第六伺服电机的驱动下进行俯仰、绕光轴、左右运动，捕捉
小范围的图像；
在大范围内，所述第一FPGA处理板卡下发控制指令到所述第七伺服电
机、所述第八伺服电机和所述第九伺服电机，所述第七伺服电机、所述第八
伺服电机和所述第九伺服电机控制所述仿生颈部云台进行侧曲运动、摇摆运
动和俯仰运动，所述仿生颈部云台运动带动所述第三转轴运动，进而带动所
述第一仿生眼和所述第二仿生眼运动，
步骤2，所述第一FPGA图像采集板卡和所述第二FPGA图像采集板卡分
别将所述第一摄像装置和所述第二摄像装置拍摄到的视频模拟信号转换为视
频数字信号，并存储图像的数字信号；
步骤3，所述第一FPGA图像采集板卡和所述第二FPGA图像采集板卡对
采集到的图像进行滤波处理，消除述第一摄像装置和所述第二摄像装置自身
的信号干扰，并将滤波处理后的图像传输给所述第二FPGA处理板卡；
步骤4，所述第二FPGA处理板卡中的算法处理模块对滤波后的图像进
行...

【专利技术属性】
技术研发人员：刘培志，赵小川，陈晓鹏，孔小梅，施建昌，李林，徐英新，
申请(专利权)人：中国兵器工业计算机应用技术研究所，
类型：发明
国别省市：北京;11