基于多摄像头-投影仪的互动投影系统及自动化标定方法技术方案

本发明专利技术公开的一种基于多摄像头‑投影仪的互动投影系统及自动化标定方法，采用多个投影仪匹配多个摄像头的互动投影系统，利用折反射模型对鱼眼摄像头进行标定，获得鱼眼摄像头内参数，并进行摄像机坐标转换；对多摄像头进行联合标定，将多摄像头转换后的屏幕坐标转换至统一坐标系下，以实现全屏幕的互动投影操作。本发明专利技术通过对鱼眼摄像头的标定、多摄像头联合标定的自动化处理，无需额外增加摄像头数量，即可在保证标定精度的同时，实现对互动操作区域面积的扩大。

Interactive Projection System and Automatic Calibration Method Based on Multi-Camera-Projector

【技术实现步骤摘要】
基于多摄像头-投影仪的互动投影系统及自动化标定方法
本专利技术涉及互动投影标定
，特别涉及一种基于多摄像头-投影仪的互动投影系统及自动化标定方法。
技术介绍
随着科技的发展，信息的传播方式也越来越多样化，传统的信息展示方案主要有电子显示屏与投影展示。电子显示屏作为最常见的展示方式，由于受到硬件条件的限制，往往尺寸有限，同时成本较高；相较于前者投影展示成本则相对较低，近些年更将手势识别融入到投影展示中形成了互动投影系统。互动投影系统目前主要有基于触摸式和基于视觉识别两种方案：触摸式互动投影需要一套专门的硬件设备，同时尺寸固定造价昂贵；基于视觉的则可根据需求进行屏幕尺寸的调节，同时利用摄像头进行手势的定位识别来进行互动操作使硬件成本大大降低。为了使互动投影的操作准确流畅，需要对互动投影进行标定。在现有的互动投影标定方案中，通常是采用单一投影仪搭配单一摄像头，单一投影仪则限制了屏幕的尺寸，近些年出现的投影仪融屏方案虽然解决了这个问题，但是在摄像头方面仍然采用的是单一摄像头，这样使得可以进行互动操作的区域大大减小，同时目前主要采用的摄像头多为非广角无畸变摄像头，摄像头的视场角较小，限制了整个投影区域的互动操作，并且标定过程无法适用于任意多个摄像头，标定自动化程度低，用户操作不便。因此，提供一种基于多摄像头-投影仪的互动投影系统及自动化标定方法是本领域技术人员亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于设计一种针对多摄像头-投影仪的互动投影系统的自动化标定方法，通过对鱼眼摄像头的标定、多摄像头联合标定的自动化处理，实现了对多摄像头的自动化坐标变换和坐标融合，增大了互动操作区域面积。为实现上述目的其具体方案如下：本专利技术公开了一种多摄像头-投影仪的互动投影系统，包括多个投影仪，与所述投影仪相匹配的鱼眼摄像头，以及与所述投影仪和所述鱼眼摄像头电连接的控制器，所述控制器用于对所述鱼眼摄像头进行自动化标定。本专利技术的互动投影系统支持设置多个投影仪，并且如果想要增加互动操作区域的面积，无需额外增加摄像头的个数，目前通常两个投影仪的互动投影往往需要三到四个摄像头，而互动投影系统的标定也是通过在屏幕四角设置四个靶标点通过透视变换来进行标定，本专利技术仅需设置与投影仪数量相同的鱼眼摄像头就可以满足需求，并且对于多个摄像头的标定考虑鱼眼摄像头的广角视场，结合多摄像头的自动化标定方法，在不增加摄像头数量的前提下，增大了互动操作区域范围。为了实现广角的鱼眼摄像头的坐标标定，本专利技术还提出了一种自动化标定方法，包括如下步骤：步骤1，投影仪投射出鱼眼摄像头一标定板，鱼眼摄像头一拍摄得到一张标定板一图像，发送至控制器；步骤2，投影仪投射出鱼眼摄像头二标定板，鱼眼摄像头二拍摄得到一张标定板二图像，发送至控制器；步骤3，投影仪投射出融屏标定板，分别用鱼眼摄像头一和鱼眼摄像头二拍摄融屏标定板一图像和融屏标定板二图像，发送至控制器；步骤4，控制器基于折反射模型，对所述标定板一图像和所述标定板二图像标定出所述鱼眼摄像头一和所述鱼眼摄像头二的内参数；步骤5：对所述融屏标定板一图像和所述融屏标定板二图像进行阈值分割，并提取标定点的重心坐标，将每个标定点的重心坐标利用内参数变换至摄像机坐标；步骤6：利用标定点的摄像机坐标和相对应的屏幕坐标建立透视变换方程，计算透视变换矩阵；步骤7：保存标定参数畸变中心、缩放矩阵、映射系数和透视变换矩阵，标定结束。优选的，所述步骤5具体包括：提取所述融屏标定板一图像的四个标定点重心坐标(1,2,3,4)，提取所述融屏标定板二图像的四个标定点重心坐标(5,6,7,8)，将每个标定点的重心坐标利用内参数变换至摄像机坐标，变换公式如下，其中，(u,v)为重心坐标；(cx,cy)为畸变中心；S为缩放矩阵；(α0,α2,α3,α4)为映射系数，α1＝0；优选的，所述步骤6中的透视变换方程如下,其中，(xs/zs,ys/zs)为标定点的屏幕坐标，T为透视变换矩阵。经由上述的技术方案可知，本专利技术提供一种基于多摄像头-投影仪的互动投影系统及自动化标定方法，与现有技术相比的优点在于：针对单一摄像头导致的互动操作区域面积小问题，通过增加摄像头的数目来增大互动操作区域；针对非广角无畸变摄像头视场角小需要布置大量摄像头的问题，采用超大视角的鱼眼摄像头(视场角170度)来替换非广角无畸变摄像头。同时针对多个鱼眼摄像头设计了自动化标定的方法，在鱼眼摄像头标定时采用Scaramuzza的折反射模型，在鱼眼摄像头的标定精度方面折反射模型要高于小孔成像模型，并且通过对多摄像头进行联合标定，实现了全屏幕，即整个投影区域，的互动投影操作，提升了广角摄像头坐标融合后的用户体验，同时自动化的标定流程，提高了用户使用的方便性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术基于多摄像头-投影仪的互动投影系统的自动化标定方法的流程图；图2附图为本专利技术提供的鱼眼摄像头的折反射模型；图3附图为本专利技术提供的鱼眼摄像头坐标变换示意图；图4附图为本专利技术鱼眼摄像头标定点分布示意图；图5附图为本专利技术多摄像头联合标定示意图；图6附图为本专利技术实施例提供的标定板图像；图7附图为本专利技术实施例提供的标定误差结果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供的一种多摄像头-投影仪的互动投影系统，包括多个投影仪，与所述投影仪相匹配的鱼眼摄像头，以及与所述投影仪和所述鱼眼摄像头电连接的控制器，所述控制器用于对所述鱼眼摄像头进行自动化标定。为了进一步优化上述技术方案，本专利技术不仅限于两个摄像头-两个投影仪，可根据需求扩展至多个摄像头-多个投影仪。参见附图1，为基于多摄像头-投影仪的互动投影系统及自动化标定方法的流程图，根据本专利技术要解决的技术问题，本专利技术主要包括三部分内容，分别为鱼眼摄像头的标定、多摄像头联合标定以及自动化标定流程。(1)鱼眼摄像头标定在鱼眼摄像头标定方面，并未采用以往的张正友标定算法，这是由于张正友标定算法中所采用的摄像头成像模型为小孔成像模型，鱼眼摄像头视场角大，若采用小孔成像模型必须扩大感光芯片的面积，特别是视场角越大，感光芯片的面积就越大，这显然与实际的鱼眼镜头不符。本专利技术在鱼眼摄像头标定时采用Scaramuzza的折反射模型，在鱼眼摄像头的标定精度方面折反射模型要高于小孔成像模型，折反射模型示意图如图2所示。Scaramuzza的折反射模型主要包含内参数(缩放矩阵、畸变中心和映射系数)和外参数(旋转矩阵和平移矩阵)，鱼眼摄像头的坐标变换示意图如图3所示。本专利技术为了实现自动化标定，考虑到投影仪每次安装无法保证位置一致，所以相邻标定点之间的物理距离(单位：毫米)并不能保证一致，但是投影仪的分辨率是一个定值本文档来自技高网...

【技术保护点】
1.一种多摄像头‑投影仪的互动投影系统，其特征在于，包括多个投影仪，与所述投影仪相匹配的鱼眼摄像头，以及与所述投影仪和所述鱼眼摄像头电连接的控制器，所述控制器用于对所述鱼眼摄像头进行自动化标定。

【技术特征摘要】
1.一种多摄像头-投影仪的互动投影系统，其特征在于，包括多个投影仪，与所述投影仪相匹配的鱼眼摄像头，以及与所述投影仪和所述鱼眼摄像头电连接的控制器，所述控制器用于对所述鱼眼摄像头进行自动化标定。2.一种根据权利要求1所述的一种基于多摄像头-投影仪的互动投影系统的自动化标定方法，其特征在于，包括如下步骤：步骤1，投影仪投射出鱼眼摄像头一标定板，鱼眼摄像头一拍摄得到一张标定板一图像，发送至控制器；步骤2，投影仪投射出鱼眼摄像头二标定板，鱼眼摄像头二拍摄得到一张标定板二图像，发送至控制器；步骤3，投影仪投射出融屏标定板，分别用鱼眼摄像头一和鱼眼摄像头二拍摄融屏标定板一图像和融屏标定板二图像，发送至控制器；步骤4，控制器基于折反射模型，对所述标定板一图像和所述标定板二图像标定出所述鱼眼摄像头一和所述鱼眼摄像头二的内参数；步骤5：对所述融屏标定板一图像和所述融屏标定板二图像...

【专利技术属性】
技术研发人员：李祝强，夏世臣，杜国铭，金钊，郑春雨，
申请(专利权)人：哈尔滨拓博科技有限公司，
类型：发明
国别省市：黑龙江,23