影像捕获设备及其产生深度信息的方法与自动更正的方法技术

本发明专利技术提供一种影像捕获设备及其产生深度信息的方法与自动更正的方法。此些方法适用于具有双镜头且无须模块厂调校(Alignment)的影像捕获设备，并且包括下列步骤。利用双镜头捕获一场景的影像，以产生此场景的第一影像及第二影像。检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算两张影像之间的像素偏置信息，从而取得两张影像之间的旋转角度。根据像素偏置信息及旋转角度，针对两张影像进行影像扭转程序，以分别产生相互对准的第一参考影像及第二参考影像。根据第一参考影像及第二参考影像，计算场景的深度信息或是产生立体影像。本发明专利技术可实时产生拍摄场景的深度信息以及自动更正后的立体影像。

【技术实现步骤摘要】
影像捕获设备及其产生深度信息的方法与自动更正的方法
本专利技术涉及一种影像捕获设备，尤其涉及一种影像捕获设备及其产生深度信息的方法与自动更正的方法。
技术介绍
随着科技的发展，各式各样的智能型影像捕获设备，例如平板电脑、个人数字化助理、智能型手机等，已成为现代人不可或缺的工具。其中，高阶款的智能型影像捕获设备所搭载的相机镜头已经与传统消费型相机不相上下，甚至可以取而代之，少数高阶款更具有接近数字单反的像素和画质或是拍摄三维影像的功能。一般而言，工厂在生产具有双镜头的影像捕获设备时，双镜头各自对应的空间位置无法精准地设置于默认的位置。因此，于生产的过程中，工厂往往会预先针对已设置的双镜头模块进行测试以及校正，从而获取一组工厂预设的校正参数。尔后，当用户在使用影像捕获设备的过程中，影像捕获设备可利用工厂默认的校正参数来校正双镜头所捕获的影像，以克服制程不够精密的缺失。然而，上述的测试以及校正程序往往会耗费大量的生产成本。此外，一般用户在实际地使用上述影像捕获设备时，影像捕获设备往往会由于不慎摔落、撞击、挤压、温度或湿度的变化等外在因素而导致双镜头产生位移或旋转等空间位置上的改变。一旦镜头产生位移或旋转，工厂内部所预设的校正参数已经不再符合当前的应用状况，影像捕获设备也就无法获取正确的深度信息。举例来说，如果立体影像捕获设备的双镜头间产生水平失衡的问题时，由于失衡之后拍摄出来的左右画面水平不匹配，将进一步导致三维立体拍摄效果不佳。
技术实现思路
有鉴于此，本专利技术提供一种影像捕获设备及其产生深度信息的方法与自动更正的方法，其可在无须经过影像捕获设备的出厂前调校的前提下，实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像。本专利技术提出一种影像捕获设备产生深度信息的方法，适用于具有第一镜头以及第二镜头并且无须预先校正的影像捕获设备，包括下列步骤。首先，利用第一镜头以及第二镜头捕获一场景的影像，以产生此场景的第一影像及第二影像。检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息，从而取得第一影像与第二影像之间的旋转角度。根据像素偏置信息及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生相互对准的第一参考影像及第二参考影像。根据第一参考影像以及第二参考影像，计算上述场景的深度信息。本专利技术提出一种影像捕获设备自动更正的方法，适用于具有第一镜头以及第二镜头并且无须预先校正的影像捕获设备，包括下列步骤。首先，利用第一镜头以及第二镜头捕获一场景的影像，以产生此场景的第一影像及第二影像。检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息，从而取得第一影像与第二影像之间的旋转角度。根据像素偏置信息及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生相互对准的第一参考影像及第二参考影像。利用第一参考影像以及第二参考影像，产生上述场景的立体影像。在本专利技术的一实施例中，上述检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息的步骤包括先检测第一影像以及第二影像中的多个特征点，又比对第一影像以及第二影像中的各个特征点，以取得多个对应特征点组合，再取得各个第一特征点以及各个第二特征点分别于第一影像以及第二影像中的像素坐标，据以计算第一影像与第二影像之间的像素偏置信息，其中各个对应特征点组合包括各个第一特征点以及各个第一特征点所对应的第二特征点。在本专利技术的一实施例中，上述取得第一影像与第二影像之间的旋转角度的步骤包括根据各个第一特征点以及各个第二特征点分别于第一影像以及第二影像中的像素坐标以及像素偏置信息，计算第一影像与第二影像之间的旋转角度。在本专利技术的一实施例中，上述根据像素偏置信息及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生相互对准的第一参考影像及第二参考影像的步骤包括根据像素偏置信息以及旋转角度，校正第一影像以及第二影像至少一个的像素坐标，以分别产生第一参考影像以及第二参考影像。在本专利技术的一实施例中，上述根据第一参考影像以及第二参考影像，计算上述场景的深度信息的步骤包括利用第一参考影像以及第二参考影像进行三维深度估测，以产生上述场景的深度信息。在本专利技术的一实施例中，当第一影像的分辨率不等于第二影像的分辨率时，在分别产生上述场景的第一影像以及第二影像的步骤之后，还包括调整第一影像的分辨率以及第二影像的分辨率其中至少之一个，以使第一影像的分辨率与第二影像的分辨率相同。本专利技术另提出一种无须预先校正的影像捕获设备，包括第一镜头、第二镜头、储存单元以及一或多个处理单元。储存单元耦接第一镜头以及第二镜头，用以储存第一镜头以及第二镜头所捕获的影像。处理器耦接第一镜头、第二镜头以及存储器，并且包括多个模块，其中所述模块包括影像捕获模块、特征点检测模块、影像扭转模块以及图像处理模块。影像捕获模块用以利用第一镜头以及第二镜头捕获一场景的影像，以产生此场景的第一影像及第二影像。特征点检测模块用以检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点，以计算第一影像与第二影像之间的像素偏置信息，从而取得第一影像与第二影像之间的旋转角度。影像扭转模块用以根据像素偏置信息及旋转角度，针对第一影像以及第二影像进行影像扭转程序，以分别产生相互对准的第一参考影像及第二参考影像。深度计算模块用以根据第一参考影像以及第二参考影像，计算上述场景的深度信息。在本专利技术的一实施例中，上述的影像捕获设备还包括影像调整模块，当第一影像的分辨率不等于第二影像的分辨率时，影像调整模块用以调整第一影像的分辨率以及第二影像的分辨率其中至少一个，以使第一影像的分辨率与第二影像的分辨率相同在本专利技术的一实施例中，上述的影像捕获设备还包括深度计算模块，用以根据第一参考影像以及第二参考影像，计算上述场景的深度信息。在本专利技术的一实施例中，上述第一镜头与第二镜头具有不同的光学特性或是不同的分辨率。在本专利技术的一实施例中，上述第一镜头与第二镜头具有相同的光学特性以及相同的分辨率。基于上述，本专利技术所提出的影像捕获设备及其产生深度信息的方法与自动更正的方法中，其可在影像捕获设备利用双镜头捕获两张影像后，利用特征点的检测来取得两张影像之间的像素偏置信息以及旋转角度，据以对准两张影像，从而取得拍摄场景的深度信息以及产生立体影像。本专利技术的影像捕获设备无须经过出厂前校正，即可实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像，以节省大量的生产成本。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明图1是根据本专利技术一实施例所显示的影像捕获设备的方框图；图2为根据本专利技术的一实施例所显示的影像捕获设备的产生深度信息的方法流程图；图3是根据本专利技术另一实施例所显示的影像捕获设备的方框图；图4为根据本专利技术的一实施例所显示的影像捕获设备的自动更正的方法流程图；图5为根据本专利技术的一实施例所显示的影像捕获设备的产生深度信息的方法以及自动更正的方法功能方框图。附图标记：100、300：影像捕获设备110a、310a：第一镜头110b、310b：第二镜头115、3本文档来自技高网...

【技术保护点】
一种产生深度信息的方法，适用于具有第一镜头以及第二镜头并且无须经过模块厂调校的影像捕获设备，其特征在于，所述方法包括下列步骤：利用所述第一镜头以及所述第二镜头捕获一场景的影像，以分别产生所述场景的第一影像以及第二影像；检测所述第一影像中的多个第一特征点以及所述第二影像中的多个第二特征点，以计算所述第一影像与所述第二影像之间的像素偏置信息，从而取得所述第一影像与所述第二影像之间的旋转角度，其中所述第一特征点对应于所述第二特征点；根据所述像素偏置信息以及所述旋转角度，针对所述第一影像以及所述第二影像进行影像扭转程序，以分别产生第一参考影像以及第二参考影像，其中所述第一参考影像与所述第二参考影像互相对准；以及根据所述第一参考影像以及所述第二参考影像，计算所述场景的深度信息。

【技术特征摘要】
2015.11.30 US 62/260,6451.一种产生深度信息的方法，适用于具有第一镜头以及第二镜头并且无须经过模块厂调校的影像捕获设备，其特征在于，所述方法包括下列步骤：利用所述第一镜头以及所述第二镜头捕获一场景的影像，以分别产生所述场景的第一影像以及第二影像；检测所述第一影像中的多个第一特征点以及所述第二影像中的多个第二特征点，以计算所述第一影像与所述第二影像之间的像素偏置信息，从而取得所述第一影像与所述第二影像之间的旋转角度，其中所述第一特征点对应于所述第二特征点；根据所述像素偏置信息以及所述旋转角度，针对所述第一影像以及所述第二影像进行影像扭转程序，以分别产生第一参考影像以及第二参考影像，其中所述第一参考影像与所述第二参考影像互相对准；以及根据所述第一参考影像以及所述第二参考影像，计算所述场景的深度信息。2.根据权利要求1所述的方法，其特征在于，检测所述第一影像中的所述第一特征点以及所述第二影像中的所述第二特征点，以计算所述第一影像与所述第二影像之间的所述像素偏置信息的步骤包括：检测所述第一影像以及所述第二影像中的多个特征点；比对所述第一影像以及所述第二影像中的各所述特征点，以取得多个对应特征点组合，其中各所述对应特征点组合包括各所述第一特征点以及各所述第一特征点所对应的所述第二特征点；以及取得各所述第一特征点以及各所述第二特征点分别于所述第一影像以及所述第二影像中的像素坐标，据以计算所述第一影像与所述第二影像之间的所述像素偏置信息。3.根据权利要求2所述的方法，其特征在于，取得所述第一影像与所述第二影像之间的所述旋转角度的步骤包括：根据各所述第一特征点以及各所述第二特征点分别于所述第一影像以及所述第二影像中的所述像素坐标以及所述像素偏置信息，计算所述第一影像与所述第二影像之间的所述旋转角度。4.根据权利要求2所述的方法，其特征在于，根据所述像素偏置信息以及所述旋转角度，针对所述第一影像以及所述第二影像进行所述影像扭转程序，以分别产生所述第一参考影像以及所述第二参考影像的步骤包括：根据所述像素偏置信息以及所述旋转角度，校正所述第一影像以及所述第二影像至少一个的所述像素坐标，以分别产生所述第一参考影像以及所述第二参考影像。5.根据权利要求1所述的方法，其特征在于，根据所述第一参考影像以及所述第二参考影像，计算所述场景的所述深度信息的步骤包括：利用所述第一参考影像以及所述第二参考影像进行三维深度估测，以产生所述场景的所述深度信息。6.根据权利要求1所述的方法，其特征在于，当所述第一影像的分辨率不等于所述第二影像的分辨率时，在分别产生所述场景的所述第一影像以及所述第二影像的步骤之后，所述方法还包括：调整所述第一影像的分辨率以及所述第二影像的分辨率其中至少一个，以使所述第一影像的所述分辨率与所述第二影像的所述分辨率相同。7.根据权利要求1所述的方法，其特征在于，所述第一镜头与所述第二镜头具有不同的光学特性或是不同的分辨率。8.根据权利要求1所述的方法，其特征在于，所述第一镜头与所述第二镜头具有相同的光学特性以及相同的分辨率。9.一种自动更正的方法，适用于具有第一镜头以及第二镜头并且无须预经过模块厂调校的影像捕获设备，其特征在于，所述方法包括下列步骤：利用所述第一镜头以及所述第二镜头捕获一场景的影像，以分别产生所述场景的第一影像以及第二影像；检测所述第一影像中的多个第一特征点以及所述第二影像中的多个第二特征点，以计算所述第一影像与所述第二影像之间的像素偏置信息，从而取得所述第一影像与所述第二影像之间的旋转角度，其中所述第一特征点对应于所述第二特征点；根据所述像素偏置信息以及所述旋转角度，针对所述第一影像以及所述第二影像进行影像扭转程序，以分别产生第一参考影像以及第二参考影像，其中所述第一参考影像与所...

【专利技术属性】
技术研发人员：简永飞，王煜智，周宏隆，庄哲纶，王耀笙，
申请(专利权)人：聚晶半导体股份有限公司，
类型：发明
国别省市：中国台湾,71