一种具备跟踪功能的轴向分布感知集成成像方法技术

本发明专利技术涉及一种具备跟踪功能的轴向分布感知集成成像方法，包括：1、调整旋转双棱镜装置的视轴指向，使目标物体投影至相机的成像平面内并尽量位于成像平面的中心；2、保持相机和旋转双棱镜装置的相对位置不变，在相机光轴方向上同时移动相机和旋转双棱镜装置，在移动的多个位置上依次采集目标物体的图像；3、将所有采集的目标物体的图像的光线反投影至重构平面，通过三维计算重构得到目标物体的重构图像。与现有技术相比，本发明专利技术充分结合了轴向分布传感集成成像技术的三维可视化的功能以及旋转双棱镜系统高精度调整视轴指向的特点，能够为去遮挡成像、目标分类、物体识别、三维成像等研究方向提供借鉴。

An Axial Distributed Perception Integrated Imaging Method with Tracking Function

The invention relates to an integrated imaging method of axial distribution sensing with tracking function, which includes: 1. adjusting the line-of-sight direction of the rotating biprism device so that the target object is projected into the imaging plane of the camera and is located as far as possible in the center of the imaging plane; 2. keeping the relative position of the camera and the rotating biprism device unchanged, moving the camera and rotating biprism simultaneously in the direction of the optical axis of the camera. The mirror device collects the image of the target object in succession at several moving positions. 3. The light of all the collected images of the target object is projected back to the reconstruction plane, and the reconstructed image of the target object is obtained by three-dimensional calculation. Compared with the existing technology, the present invention fully combines the three-dimensional visualization function of the integrated imaging technology of axial distributed sensing and the characteristics of the rotating biprism system to adjust the orientation of the line of sight with high precision, and can provide reference for the research directions of de-occlusion imaging, target classification, object recognition, three-dimensional imaging, etc.

【技术实现步骤摘要】
一种具备跟踪功能的轴向分布感知集成成像方法
本专利技术涉及机器视觉领域，尤其是涉及一种具备跟踪功能的轴向分布感知集成成像方法。
技术介绍
因为有着非接触、精度高等特点，机器视觉3D成像已成为国内外的热门研究方向，可用于三维测量和特定目标识别，在生物医学、地质勘探、航天航空、环境科学等众多领域中均有应用。目前已有的3D成像技术有双目视觉方法、全息显示技术、飞行时间法、激光雷达和结构光法等等。集成成像是一种被动多视角3D成像技术，可从多个拍摄角度获取目标的不同三维信息。楔形棱镜是一种常用的光学零件，具有光束偏转的功能，在机器视觉中应用广泛。具有两个楔形棱镜的旋转双棱镜装置是一种典型的视轴调整跟踪装置，具有结构紧凑、精度高、偏转角度大等优点。以下在先技术中介绍了旋转双棱镜装置和集成成像方法。在先技术(彭起等专利，申请号：201410370054.7，申请日2014年7月30日“一种基于旋转双棱镜装置的复合轴跟踪系统”)提供了一种基于旋转双棱镜装置的复合轴跟踪系统，可实现对快速动态目标进行高精度跟踪。引入了反射镜装置，可消除跟踪区域盲区。该装置根据目标投影到成像探测器上测得目标脱靶量，并反馈到控制器对反射镜跟踪装置及双棱镜装置闭环控制以消除盲区，装置整体构造比较复杂。在先技术(MiaoZhang.,etc.“Visualizationofpartiallyoccluded3Dobjectusingwedgeprism-basedaxiallydistributedsensing”,OpticsCommunications,2014,313(4):204-209.)针对传统轴向分布感知技术对靠近光轴的目标物体采集不到足够视差信息的问题，在相机前添加单个楔形棱镜，提出一种基于楔形棱镜的轴向分布感知集成成像方法。该方法将楔形棱镜放在相机前端，可改变相机的成像视轴指向。使用这种方法可调整目标物体投影在成像平面中心，进而充分利用图像传感器的全部区域，获得足够多的视差信息进行集成图像显示。该方法只是简单地改变了摄像机的视轴指向和成像范围，采集视场边缘的物体三维信息比较困难。在先技术(MehdiDaneshPanah.,etc.,“Threedimensionalimagingwithrandomlydistributedsensors”,OpticsExpress,2008,16(9):6368-77.)针对3D多视角成像技术的广义框架，提出了一种图像传感器随意布置三维成像的方法。在三维计算重建过程中运用了反投影法，且巧妙地引入了坐标变换，能减少反投影计算所需的内存和功耗，提高计算效率。在该方法中，有限个图像传感器在三个维度上随意布置，但需要在三维重建阶段假设这些传感器的三维坐标已知。
技术实现思路
本专利技术的目的就是为了在充分利用上述现有技术优点的基础上克服其存在的缺陷而提供一种具备跟踪功能的轴向分布感知集成成像方法。本专利技术的目的可以通过以下技术方案来实现：一种具备跟踪功能的轴向分布感知集成成像方法，该方法通过集成成像系统实现，所述集成成像系统包括同轴布置的相机和旋转双棱镜装置，通过在相机光轴方向上同时移动相机和旋转双棱镜装置，可以在折射后的视轴方向上获取目标物体多个不同视角的视差信息；采取计算重构的方法，可对目标物体进行三维重建，且对于部分被遮挡的物体能够实现去遮挡成像；该方法包括以下步骤：S1、调整旋转双棱镜装置的视轴指向，使目标物体投影至相机的成像平面内并尽量位于成像平面的中心；S2、保持相机和旋转双棱镜装置的相对位置不变，在相机光轴方向上同时移动相机和旋转双棱镜装置，在移动的多个位置上依次采集目标物体的图像；S3、将所有采集的目标物体的图像的光线反投影至重构平面，通过三维计算重构得到目标物体的重构图像。优选的，所述旋转双棱镜装置包括第一旋转棱镜和第二旋转棱镜，所述第一旋转棱镜设置在相机和第二旋转棱镜之间，所述相机与上位机连接，所述相机和旋转双棱镜装置都设置在平移装置上，每个旋转棱镜分别设有旋转驱动装置和控制装置。优选的，所述第一旋转棱镜和第二旋转棱镜都为楔形棱镜。优选的，所述步骤S1中调整旋转双棱镜装置的视轴指向的过程具体包括：旋转并记录旋转双棱镜装置的两个棱镜的旋转角度θr1和θr2，根据光线追迹计算公式求出从旋转双棱镜装置入射到相机的成像平面的向量Arf，根据向量Arf的表达式和相机的成像平面的空间平面方程得出两者之间的交点P，判断点P和相机的成像平面中心O之间的距离LOP是否小于能够得到目标物体充分的三维信息的距离阈值ε，若否，则调整旋转双棱镜装置的两个棱镜的旋转角度直至LOP＜ε。优选的，所述向量Arf为：其中，N11、N12分别为第二旋转棱镜入射面和出射面的法向量，N21、N22分别为第一旋转棱镜入射面的法向量和出射面的法向量，两个旋转棱镜的折射率都为n，A0＝(xr0,yr0,zr0)T为第二旋转棱镜的入射光向量。优选的，所述步骤S1中还包括对相机进行内参数标定，所述内参数标定的方法为张正友相机标定法、直接线性变换方法、Tsai两步标定法和神经网络标定方法中的其中一种。优选的，所述步骤S3中将所有采集的目标物体的图像的光线反投影至重构平面之前，先对采集的目标物体的图像进行去畸变处理。优选的，所述平移装置采用丝杠传动、皮带轮传动、齿轮齿条传动中的其中一种方式实现相机和旋转双棱镜装置的移动。与现有技术相比，本专利技术具有以下优点：1、本专利技术方法充分结合了轴向分布传感集成成像技术的三维可视化的功能以及旋转双棱镜系统高精度调整视轴指向的特点，在机器视觉领域有很高的应用价值，能够为去遮挡成像、目标分类、物体识别、三维成像等研究方向提供借鉴。2、本专利技术方法充分利用旋转双棱镜装置的视轴导向功能，可以根据目标物体的空间位置，主动调整两个棱镜的旋转角度，选择合适的成像视轴指向，因此在集成成像的过程中，能使目标物体投射到成像平面中心附近，进而充分利用图像传感器的感光区域，获取足够多的目标物体图像信息，有利于对目标物体的去遮挡成像。3、采用了两个楔形棱镜，在成像过程中经过两个楔形棱镜的折射，成像范围能够有较大的提升，因此能够对大视场范围内的物体实施集成成像。4、采用的旋转双棱镜装置视轴导引精度高、可控性好、效率高，能够在较短的时间内对目标物体进行跟踪引导。5、具有很高的灵活度，楔形棱镜的楔角、折射率、尺寸等参数，以及两个楔形棱镜之间的相对位置、布置形式都可根据使用要求和使用场景的不同进行适应性调整，实用性强。附图说明图1为本专利技术中的视轴调整原理图；图2为楔形棱镜的立体示意图；图3为楔形棱镜的主视图；图4为楔形棱镜的右视图；图5为旋转双棱镜装置中双棱镜的楔平-平楔布置方案图；图6为旋转双棱镜装置中双棱镜的平楔-平楔布置方案图；图7为旋转双棱镜装置中双棱镜的楔平-楔平布置方案图；图8为旋转双棱镜装置中双棱镜的平楔-楔平布置方案图；图9为本专利技术方法中旋转双棱镜装置的视轴导向原理图；图10所示为实施例中具备跟踪功能的轴向分布感知集成成像方法流程图；图11为本专利技术方法中轴向分布感知位置分布图；图12为本专利技术方法中单个元素图像采集示意图；图13为本专利技术方法中单个元素图像计算重构示意图。图中标号：1、相机，2、第一旋转棱镜，3、第二旋本文档来自技高网...

【技术保护点】
1.一种具备跟踪功能的轴向分布感知集成成像方法，其特征在于，该方法通过集成成像系统实现，所述集成成像系统包括同轴布置的相机和旋转双棱镜装置，该方法包括以下步骤：S1、调整旋转双棱镜装置的视轴指向，使目标物体投影至相机的成像平面内并尽量位于成像平面的中心；S2、保持相机和旋转双棱镜装置的相对位置不变，在相机光轴方向上同时移动相机和旋转双棱镜装置，在移动的多个位置上依次采集目标物体的图像；S3、将所有采集的目标物体的图像的光线反投影至重构平面，通过三维计算重构得到目标物体的重构图像。

【技术特征摘要】
1.一种具备跟踪功能的轴向分布感知集成成像方法，其特征在于，该方法通过集成成像系统实现，所述集成成像系统包括同轴布置的相机和旋转双棱镜装置，该方法包括以下步骤：S1、调整旋转双棱镜装置的视轴指向，使目标物体投影至相机的成像平面内并尽量位于成像平面的中心；S2、保持相机和旋转双棱镜装置的相对位置不变，在相机光轴方向上同时移动相机和旋转双棱镜装置，在移动的多个位置上依次采集目标物体的图像；S3、将所有采集的目标物体的图像的光线反投影至重构平面，通过三维计算重构得到目标物体的重构图像。2.根据权利要求1所述的一种具备跟踪功能的轴向分布感知集成成像方法，其特征在于，所述旋转双棱镜装置包括第一旋转棱镜和第二旋转棱镜，所述第一旋转棱镜设置在相机和第二旋转棱镜之间，所述相机与上位机连接，所述相机和旋转双棱镜装置都设置在平移装置上，每个旋转棱镜分别设有旋转驱动装置和控制装置。3.根据权利要求2所述的一种具备跟踪功能的轴向分布感知集成成像方法，其特征在于，所述第一旋转棱镜和第二旋转棱镜都为楔形棱镜。4.根据权利要求2所述的一种具备跟踪功能的轴向分布感知集成成像方法，其特征在于，所述步骤S1中调整旋转双棱镜装置的视轴指向的过程具体包括：旋转并记录旋转双棱镜装置的两个棱镜的旋转角度θr1和θr2，根据光线追迹计算公式求出从旋转双棱镜装置入射到相机的成像平面的...

【专利技术属性】
技术研发人员：李安虎，李乔，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31