XSLIT相机制造技术

提供了用于重建场景的多视角相机、系统和方法。通过耦接至成像传感器的透镜模块对代表场景的光进行引导。透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在第一柱面透镜和第二柱面透镜上。第二柱面透镜的柱轴被布置成相对于第一柱面透镜的柱轴呈一定角度并列间隔开。通过成像传感器捕获通过透镜模块所引导的光以形成至少一个多视角图像。处理至少一个多视角图像以确定场景的重建特征。

【技术实现步骤摘要】
【国外来华专利技术】关于联邦政府资助研究的声明本专利技术部分由来自美国国家科学基金会的资助号IIS-CAREER-0845268和IIS-RI-1016395来支持。美国政府可以享有该专利技术的权利。相关申请的交叉引用本申请要求2013年10月3日提交的题为“XSLITCAMERA”的美国临时申请序列号61/886,161的优先权，该申请全部通过引用并入本文。
本专利技术涉及多视角相机领域，并且更具体地涉及用于计算机视觉应用的方法和XSlit相机，所述计算机视觉应用包括曼哈顿世界(MW)重建、立体匹配和编码孔成像。
技术介绍
已知针孔相机。针孔相机通常包括单个小孔(即针孔)，并且不包括透镜。针孔相机通常收集来自场景的穿过共同投影中心(COP)的光线。针孔相机模型描述了三维(3D)点的坐标与其在理想针孔相机的图像平面上的投影之间的数学关系。针孔相机模型通常用作各种计算机视觉任务(例如对象识别、运动分析、场景重建、图像复原等)的成像模型。针孔模型由于至少两个原因而受欢迎。首先，针孔几何结构简单，其由三个参数(共同投影中心在三维中的位置)唯一地定义，并且其成像过程可以通过常规的3×4针孔相机矩阵一致地描述。其次，人眼表现为虚拟针孔相机。例如，人眼可以将线观察为线以及将平行线观察为会聚于消失点处。因而，通常还将针孔相机称为立体相机。多视角相机也已用于计算机视觉。在一般情况下，多视角相机捕获源自空间中的不同点的光线。多视角成像模型广泛存在于自然界中。例如，昆虫复眼可以包括指向稍有不同的方向的数千个个体感光体单元。由多视角相机所收集的光线通常不通过共同投影中心，并且因此不遵循针孔几何结构。与针孔成像模型相比，多视角成像模型可以提供感知和/或解释场景几何结构的优势。可以将交叉缝隙相机追溯到归功于DucosduHauron的交叉缝隙变形器。变形器通过利用沿着相机轴线间隔开的一对狭窄部分(垂直交叉的缝隙)来替换针孔进而修改针孔相机。图像失真出现变形或畸形，并且变形压缩的程度与使用交叉缝隙模型所估计的失真紧密匹配。交叉缝隙的这种蛮力实现具有光效率低和成像质量差的缺点。
技术实现思路
本专利技术的一方面可以以用于重建场景的方法来实施。该方法包括通过耦接至成像传感器的透镜模块对代表场景的光进行引导。透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在第一柱面透镜和第二柱面透镜上。第二柱面透镜的柱轴被布置成相对于第一柱面透镜的柱轴呈一定角度并列间隔开。该方法还包括：通过成像传感器捕获通过透镜模块所引导的光以形成至少一个多视角图像；以及通过处理器处理至少一个多视角图像以确定场景的重建特征。本专利技术的另一方面可以以一种系统实施。该系统包括相机和图像处理模块，该相机被配置成捕获场景的至少一个多视角图像。该相机包括透镜模块，该透镜模块耦接至成像传感器。透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在第一柱面透镜和第二柱面透镜上。第二柱面透镜的柱轴被布置成相对于第一柱面透镜的柱轴呈一定角度并列间隔开。图像处理模块被配置成接收所捕获的场景的至少一个多视角图像并且确定场景的重建特征。本专利技术的又一方面可以以多视角相机实施。该相机包括成像传感器和透镜模块，该透镜模块耦接至成像传感器。透镜模块包括各自沿着成像传感器的光轴定位的第一柱面透镜和第二柱面透镜。第二柱面透镜的柱轴被布置成相对于第一柱面透镜的柱轴呈一定角度并列间隔开。透镜模块还包括第一缝隙形孔和第二缝隙形孔，其分别设置在第一柱面透镜和第二柱面透镜上。成像传感器被配置成捕获场景的多视角图像。附图说明在结合附图阅读时可以从下面的详细描述来理解本专利技术。需要强调的是，按照惯例，附图的各种特征可以不按比例绘制。相反，为了清楚可以任意扩大或缩小各种特征的尺寸。此外，在附图中，使用共同的附图标记代表相同的特征。本专利或申请文件包含至少一个彩色附图。在请求和支付必要费用时将由政府机关提供具有彩色附图的本专利或专利申请公布的副本。附图中包含以下图：图1是根据本专利技术的一方面的示例XSlit成像系统的原理框图；图2A是根据本专利技术的一方面的图1中所示的成像系统的示例XSlit相机的分解透视图，示出了XSlit透镜模块和相机的部件；图2B是根据本专利技术的一方面的图2A所示的示例XSlit相机的透视图；图2C是根据本专利技术的另一方面的图1中所示的成像系统的示例XSlit相机和旋转模块的透视图；图3A是根据本专利技术的一方面的图2A中所示的XSlit相机的缝隙孔相对于两个图像平面的透视图，示出了XSlit相机的光线几何结构；图3B是根据本专利技术的一方面的图2A中所示的XSlit相机的缝隙孔、图像平面和具有共面平行线的平面的透视图，示出了共面线的图像是弯曲的并且在像平面上的两个不同点处相交；图3C是根据本专利技术的一方面的线图像的示例，示出了根据线图像的交点识别XSlit消失点(XVP)和共面共同点(CCP)；图4是示出根据本专利技术的一方面的用于重建MW场景的示例性方法的流程图；图5A是示出根据本专利技术的一方面的示例MW场景的图像；图5B是图5A中所示的由立体相机捕获的MW场景的图像；图5C和图5D是分别示出根据本专利技术的一方面的由图2A中所示的XSlit相机捕获并根据MW重建处理而重建的图5A中所示的MW场景的示例图像；图6A和图6B是根据本专利技术的一方面的示例XSlit相机的分解透视图，示出了用于捕获旋转立体图像对的缝隙孔布置；图6C和图6D是根据本专利技术的一方面的示例XSlit相机和用于捕获旋转立体图像对的旋转环的透视图；图7A是根据本专利技术的一方面的旋转XSlit立体图像对的极曲线和几何结构的透视图；图7B是示出根据本专利技术的一方面的示例旋转XSlit立体图像对和相应极曲线的图像，示出了在两个极曲线上的对应特征点；图8是示出根据本专利技术的一方面的用于旋转立体匹配的示例性方法的流程图；图9A和图9B示出了根据本专利技术的一方面的场景的示例成对旋转XSLit立体图像；图9C、图9D和图9E是示出根据本专利技术的一方面的基于像素的方案、具有失真校正的基于块的方案和不具有失真校正的基于块的方案从图9A和9B的立体图像对复原的相应视差图的示例图像；图10A、图10B和图10C是示出根据本专利技术的一方面的示例场景和该场景的成对旋转XSlit立体图像的图像；图10D、图10E、图10F和图10G是根据本专利技术的一方面的图10A中所示场景关于不同XSlit基线的示例立体匹配结果和差别图；图11是根据本专利技术的一方面的由XSlit相机捕获的点扩散函数(PSF)的示例图像；图11A、图11B、图11C和图11D由左到右示出了图11A中所示的图像的盒装部分(boxed-portion)；图12是示出根据本专利技术的一方面的用于编码孔成像的示例性方法的流程图；图13A是根据本专利技术的一方面的用于编码孔成像的示例XSlit相机的透视图，示出了XSlit透镜定位和通过XSlit相机的光线变换；图13B是根据本专利技术的一方面的关于深度差异编码孔和宽带编码孔的作为频率的函数的示例功率谱的曲线图；图14A、图14B、图14C和图14D是根据本的一方面专利技术的合成场景的示例图像，所述示例图像包括地面本文档来自技高网...

【技术保护点】
一种用于重建场景的方法，所述方法包括以下步骤：通过耦接至成像传感器的透镜模块来对代表所述场景的光进行引导，所述透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着所述成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在所述第一柱面透镜和所述第二柱面透镜上，所述第二柱面透镜的柱轴被布置成相对于所述第一柱面透镜的柱轴呈一定角度并列间隔开；通过所述成像传感器来捕获通过所述透镜模块所引导的光，以形成至少一个多视角图像；以及通过处理器来处理所述至少一个多视角图像，以确定所述场景的重建特征。

【技术特征摘要】
【国外来华专利技术】2013.10.03 US 61/886,1611.一种用于重建场景的方法，所述方法包括以下步骤：通过耦接至成像传感器的透镜模块来对代表所述场景的光进行引导，所述透镜模块包括：第一柱面透镜和第二柱面透镜，其沿着所述成像传感器的光轴定位；以及第一缝隙形孔和第二缝隙形孔，其分别设置在所述第一柱面透镜和所述第二柱面透镜上，所述第二柱面透镜的柱轴被布置成相对于所述第一柱面透镜的柱轴呈一定角度并列间隔开；通过所述成像传感器来捕获通过所述透镜模块所引导的光，以形成至少一个多视角图像；以及通过处理器来处理所述至少一个多视角图像，以确定所述场景的重建特征。2.根据权利要求1所述的方法，其中，处理所述至少一个多视角图像包括：基于对所述至少一个多视角图像内的共面公共点和消失点的识别，从所述至少一个多视角图像中识别所述场景中的至少一个平面。3.根据权利要求2所述的方法，所述方法进一步包括：对所述至少一个多视角图像中的一个或更多个线图像进行圆锥曲线拟合；确定所述圆锥曲线的成对交点，以识别所述共面公共点和所述消失点；以及基于所述共面公共点和所述消失点来重建所述至少一个平面。4.根据权利要求1所述的方法，其中，所述至少一个多视角图像包括第一多视角图像和第二多视角图像，其中，捕获光以形成所述至少一个多视角图像的步骤包括以下步骤：当所述第一柱面透镜和所述第二柱面透镜被布置在相对于所述成像传感器的第一方向上时，捕获所述第一多视角图像；将所述第一柱面透镜和所述第二柱面透镜相对于所述成像传感器进行旋转，使得所述第一柱面透镜和所述第二柱面透镜被布置在相对于所述成像传感器的与所述第一方向相反的第二方向上；以及当所述第一柱面透镜和所述第二柱面透镜被布置在所述第二方向上时，捕获所述第二多视角图像，所述第一多视角图像和所述第二多视角图像形成立体图像对。5.根据权利要求4所述的方法，其中，处理所述至少一个多视角图像包括：基于所述立体图像对的每个图像中的至少一个极曲线，从所述立体图像对重建深度图。6.根据权利要求5所述的方法，所述方法进一步包括：在所述第一多视角图像和所述第二多视角图像中的每一个中定位所述至少一个极曲线；将所述第一多视角图像和所述第二多视角图像中的每一个分割成多个块；测量在所述第一多视角图像与所述第二多视角图像之间的沿着各自的所述至少一个极曲线的块相似度；以及基于所述块相似度来重建所述深度图。7.根据权利要求6所述的方法，所述方法进一步包括：通过不剪切每个块或调整每个块的大小中的至少一个来校正所述第一多视角图像和所述第二多视角图像的每个块的失真。8.根据权利要求1所述的方法，其中，所述第一缝隙形孔包括深度差异码，所述第二缝隙形孔包括宽带码，所述至少一个多视角图像形成编码图像，并且处理至少一个所捕获多视角图像包括：基于所述透镜模块的点扩散函数(PSF)从所述编码图像重建所述场景的深度。9.根据权利要求8所述的方法，所述方法进一步包括：利用代表不同深度层的多个预定PSF中的每一个对所述编码图像进行去卷积；选择...

【专利技术属性】
技术研发人员：于静怡，叶劲薇，季雨，
申请(专利权)人：特拉华大学，
类型：发明
国别省市：美国;US