一种双鱼眼镜头的感知系统和方法技术方案

本发明专利技术提供一种双鱼眼镜头的感知系统和方法，包括前向鱼眼摄像头、后向鱼眼摄像头和图像处理计算平台，图像处理计算平台配制在可移动智能平台的控制系统中，图像处理计算平台包括去畸变模块、图像截取神经网络模块以及物体识别神经网络模块，前向鱼眼摄像头和后向鱼眼摄像头均设于可移动智能平台的上方，且光轴呈180

【技术实现步骤摘要】
一种双鱼眼镜头的感知系统和方法


[0001]本专利技术涉及感知系统
，特别是涉及一种双鱼眼镜头的感知系统和方法，适用于机器人、无人车等。

技术介绍

[0002]现有的机器人或自动驾驶车辆，在使用摄像头作为感知系统的传感器时，往往会在平台各部放置多个不同场视角的摄像头来获取不同角度的视觉图像。在计算机视觉系统中，对于多个角度的摄像头图像一般有两种处理方式：1)计算机视觉系统对多个角度的图像分别识别，在获得识别结果之后，将检测的结果后融合，从而获得360度的识别结果；2)计算机视觉系统对多个图像进行统一识别。
[0003]现有技术中使用多场视角摄像头作为机器人或自动驾驶传感器会增加系统复杂度，其中包括设备部署的难度，多传感器的标定难度和时间同步难度。同时在处理多摄像头数据的时候，每增加一个摄像头的数据对系统就会增加一部分对系统算力，存储，和带宽需求。
[0004]另外现有技术在实现多传感器融合时，使用后融合方案往往会在拼接部分产生错误检测或多余检测。使用前融合方案要求摄像头摆放固定，灵活度差，并且前融合模型训练难度高。

技术实现思路

[0005]本专利技术所要解决的技术问题是：为了克服现有技术中的不足，本专利技术提供一种双鱼眼镜头的感知系统和方法。
[0006]本专利技术解决其技术问题所要采用的技术方案是：一种双鱼眼镜头的感知系统和方法，包括前向鱼眼摄像头、后向鱼眼摄像头和图像处理计算平台，所述图像处理计算平台配制在可移动智能平台的控制系统中，所述图像处理计算平台包括去畸变模块、图像截取神经网络模块以及物体识别神经网络模块，所述前向鱼眼摄像头和后向鱼眼摄像头均设于可移动智能平台的上方，所述前向鱼眼摄像头和后向鱼眼摄像头的光轴呈180
°
设置，则可移动智能平台、前向鱼眼摄像头和后向鱼眼摄像头之间满足以下关系：
[0007][0008]其中，a为前向鱼眼摄像头和后向鱼眼摄像头的场视角，且场视角a≥180
°
；W1为可移动智能平台的高度，L为前向鱼眼摄像头和后向鱼眼摄像头光心距离；
[0009]所述去畸变模块用于将前向鱼眼摄像头和后向鱼眼摄像头采集到的超广角图片投影成宽度360
°
，高度180
°
的全景图片，从而可以被物体识别神经网络所使用；
[0010]所述图像截取神经网络模块用于截取去畸变后的全景图片中含有的障碍物的图片部分，并送入物体识别神经网络进行具体的识别与定位；
[0011]所述物体识别神经网络模块用于对含有障碍物的图片部分进行障碍物识别处理，
提取障碍物的相关(如：类别、位置等)信息。
[0012]为了保证摄像头拍摄的范围，作为优选，所述前向鱼眼摄像头和后向鱼眼摄像头均采用超广角鱼眼摄像头。
[0013]一种双鱼眼镜头的感知方法，包括上述感知系统，还包括以下步骤：
[0014]S1：前向鱼眼摄像头和后向鱼眼摄像头分别对可移动智能平台前后物理空间进行图像采集，分别获得前向图像F和后向图像B；
[0015]S2：图像去畸变
[0016]S2.1：超广角鱼眼摄像头暗角补偿
[0017]采用镜头标定与多项式拟合方法对前向图像F和后向图像B进行处理，对前向鱼眼摄像头和后向鱼眼摄像头进行暗角补偿，获得暗角补偿后的前向图像F
’
和后向图像B
’
；
[0018]S2.2：正轴等距圆筒投影
[0019]采用正轴等距圆筒投影方法，将步骤S2.1暗角补偿后的前向图像F
’
和后向图像B
’
分别展开为前向全景图片FP和后向全景图片BP；
[0020]S2.3：图像对齐
[0021]将S2.2中获得的前向全景图像FP与后向全景图像BP使用棋盘格标定的方式进行对齐，获得可拼接的前向图像FP
’
与后向图像BP
’
；
[0022]S2.4：拼接区域像素混合
[0023]将由S2.3步骤获得的前向图像FP
’
与后向图像BP
’
进行拼接，拼接过程中需要对拼接区域的像素进行混合处理；
[0024]S3：图像截取
[0025]采用神经网络模型对由步骤S2拼接后产生的全景图像有障碍物信息的图像部分进行截取，图像截取神经网络模型会将展开后的360
°×
180
°
的矩形图像送入神经网络backbone中进行特征提取，提取的特征结果会送入神经网络模型头部(Head)，并由神经网络模型头部提取物体检测的ROI，并依据ROI将图像截取成多幅图片；截取后的图像区域将作为物体识别步骤的输入图片，以增加物体识别步骤的准确度与效率。
[0026]S4：物体识别
[0027]采用物体检测神经网络对步骤S3中输出的结果进行物体识别，将步骤S3截取取得的图像区域拉抻为等长等宽的图像并批量输入到物体识别模块中，物体检测神经网络同样使用单阶段目标检测神经网络模型，输入的图像经过神经网络的backbone部分将图像卷积降采样，而后经过神经网络的neck部分将图像升采样至不同的感受野(receptive field)，最后经过神经网络的head部分提取不同位置，不同长宽比，不同缩放度的检测结果，从而实现物体的识别。
[0028]进一步，步骤S2.1暗角补偿具体包括：分别使用前向鱼眼摄像头和后向鱼眼摄像头采集等灰度的标定卡图像，并分别以前向鱼眼摄像头和后向鱼眼摄像头的中心为原点，拟合图像像素灰度与半径的关系，拟合多项式如下：
[0029][0030]其中，i为多项式的次数，x为图像像素到图像中心点距离，p(x)为暗角补偿系数。在去畸变的过程中，将根据拟合多项式关系归一化超广角图像中像素的亮度值，以达到去暗角的效果。
[0031]进一步的，步骤S2.2正轴等距圆筒投影具体包括：每一个超广角鱼眼摄像头采集到的半球空间内的图像以正轴等距圆筒投影的方式展开成f度
×
f度的图像；
[0032]首先，根据像素在图像中的位置生成其在球坐标系下的位置，
[0033][0034]其中，f为摄像头的视场角，(x,y)为摄像头像素位置，W为图像的宽度，H为图像的高度，θ
s
为球坐标系下沿Z轴旋转的角度，为球坐标系中与赤道平面的夹角；
[0035]由球坐标的角度关系继续推出三维坐标系内像素点在目标投影图像上的展开位置：
[0036][0037]公式(4)中，
[0038][0039][0040][0041]其中，(W",H")表示目标投影图像的宽和高，(x
′
,y
′
,z
′
)表示像素点投影在单位球面上的三维坐标。
[0042]进一步的，步骤S2.3图像对齐具体包括：
[0043]由于摄像头的安装存在误差，所以展开后的图像往往不能完全对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双鱼眼镜头的感知系统，其特征在于：包括前向鱼眼摄像头、后向鱼眼摄像头和图像处理计算平台，所述图像处理计算平台配制在可移动智能平台的控制系统中，所述图像处理计算平台包括去畸变模块、图像截取神经网络模块以及物体识别神经网络模块，所述前向鱼眼摄像头和后向鱼眼摄像头均设于可移动智能平台的上方，所述前向鱼眼摄像头和后向鱼眼摄像头的光轴呈180
°
设置，则可移动智能平台、前向鱼眼摄像头和后向鱼眼摄像头之间满足以下关系：其中，a为前向鱼眼摄像头和后向鱼眼摄像头的场视角，且场视角a≥180
°
；W1为可移动只能平台宽度，L为前向鱼眼摄像头和后向鱼眼摄像头光心距离；所述去畸变模块用于将前向鱼眼摄像头和后向鱼眼摄像头采集到的超广角图片投影成宽度360
°
，高度180
°
的全景图片；所述图像截取神经网络模块用于截取去畸变后的全景图片中含有的障碍物的图片部分，并送入物体识别神经网络进行具体的识别与定位；所述物体识别神经网络模块用于对含有障碍物的图片部分进行障碍物识别处理，提取障碍物的相关信息。2.如权利要求1所述的双鱼眼镜头的感知系统，其特征在于：所述前向鱼眼摄像头和后向鱼眼摄像头均采用超广角鱼眼摄像头。3.一种双鱼眼镜头的感知方法，其特征在于：包括如权利要求1或2所述的感知系统，还包括以下步骤：S1：前向鱼眼摄像头和后向鱼眼摄像头分别对可移动智能平台前后物理空间进行图像采集，分别获得前向图像F和后向图像B；S2：图像去畸变S2.1：超广角鱼眼摄像头暗角补偿采用镜头标定与多项式拟合方法对前向图像F和后向图像B进行处理，对前向鱼眼摄像头和后向鱼眼摄像头进行暗角补偿，获得暗角补偿后的前向图像F
’
和后向图像B
’
；S2.2：正轴等距圆筒投影采用正轴等距圆筒投影方法，将步骤S2.1暗角补偿后的前向图像F
’
和后向图像B
’
分别展开为前向全景图片FP和后向全景图片BP；S2.3：图像对齐将S2.2中获得的前向全景图像FP与后向全景图像BP使用棋盘格标定的方式进行对齐，获得可拼接的前向图像FP
’
与后向图像BP
’
；S2.4：拼接区域像素混合将由S2.3步骤获得的前向图像FP
’
与后向图像BP
’
进行拼接，拼接过程中需要对拼接区域的像素进行混合处理；S3：图像截取采用神经网络模型对由步骤S2拼接后产生的全景图像有障碍物信息的图像部分进行截取，图像截取神经网络模型会将展开后的360
°×
180
°
的矩形图像送入神经网络backbone中进行特征提取，提取的特征结果会送入神经网络模型头部(Head)，并由神经网络模型头

【专利技术属性】
技术研发人员：卢鹰翔，龙禹含，
申请(专利权)人：推移机器人科技苏州有限责任公司，
类型：发明
国别省市：