一种3D模型与二维图像的虚实配准方法技术

本发明专利技术为了解决二维图像与三维图形配准的虚实融合中计算效率低和需要预先标定相机内参数的问题，提供一种3D模型与二维可见光图像配准算法。它通过有多视几何关系的多幅图像，根据多视几何理论，用估计加优化的方法求解多个摄像机内参数（焦距）和外参数（外参数包括摄像机视点位置及旋转方向）；再通过GPS位置变换三维恢复坐标下的摄像机视点到3D模型坐标的视点，这个3D模型是根据真实场景预先建好的；最后渲染显示三维模型的二维虚图，它是与二维图像是一致的。本方法可以将视点所观察到的三维场景（虚图）与图片配准，它只需预先测量得到摄像机位置，不需要进行摄像机的预标定，也不需要用户手动设置初始的模型对应于各幅二维图像的摄像机视角。相对传统配准方法，有较高的效率。

【技术实现步骤摘要】
一种3D模型与二维图像的虚实配准算法
本专利技术涉及计算机应用技术和计算机视觉中的增强现实领域，具体涉及一种3D模型与二维图像的虚实配准算法。
技术介绍
增强现实是指通过将计算机生成的虚拟场景、文字注释等信息实时、精确地叠加 到使用者所观察到的真实世界景象中，对人的视觉系统进行延伸和扩充的一种技术。如何 实时、精确地计算用户视点相对于真实世界的位置、姿态信息，并利用这些信息将虚拟场景 正确地叠加到它所应处的位置上，即虚实配准，是增强现实系统中的关键问题之一。 所以，虚实配准在增强现实中有极大的应用需求。同样，在三维空间进行二维图像 与三维图形的虚实配准技术，也有着广泛的应用前景，但是它没有通用成熟配准框架。 在三维空间进行虚实配准，常用的技术框架是通过多幅图片形成的多目视觉系统 得到场景的稠密点云，通过稠密点云提取场景的三维几何特征，如平面、直线、特征点、曲线 等，再与3D模型中相应的特征进行配准。这种方法的缺点一是生成稠密点云需要的图片 多，一般要几十张图片，而在机场应用场景中难以布置如此多指向同一场景的摄像机；二是 计算速度慢，根据情况不同，至少在10分钟以上。工程应用中，稠密点云常采用激光雷达高 速测量的方法，一分钟可测得上百万的点云数据，但是激光雷达成本高，它主要用于场景3D 模型建模，难与视频结合的虚实配准结合使用。并且，现有的二三维配准研究中，基本上都 要求用户手动设置初始的配准参数，即模型的初始视角位置，然后再优化求解精确配准位 置，如果不手动设置视角初始值，配准问题将变得无法求解。 目前的解决方法，还有的需要预先标定相机。预标定方法可以提前测量摄像 机所有的内参数，但在有的应用环境中（如：机场，山区等）较难测量实际标志物的三 维世界坐标，即摄像机的外参数，尤其是摄像机旋转参数；针对可变焦距可旋转的PTZ (Pan-Tilt-Zoom)相机就无法应用。
技术实现思路
本专利技术要解决的技术问题是：为了解决二维图像与三维图形配准的虚实融合中计 算效率低和需要预先标定相机内参数的问题，提供一种3D模型与二维可见光图像配准算 法。此算法不需要预标定相机，而且计算时间在两三分钟以内，可以达到实用的要求。 本专利技术解决其技术问题所采用的技术方案是：一种3D模型与二维图像配准算法， 它通过有多视几何关系的多幅图像，用估计加优化的方法求解多个摄像机内参数(焦距）和 外参数，外参数包括摄像机视点位置及旋转方向；再变换三维恢复坐标下的摄像机视点到 3D模型坐标的视点，这个3D模型是根据真实场景预先建好的；最后渲染显示三维模型的二 维虚图，它是与二维图像是一致的。 本专利技术的创新点在于：1)不需要像以往方法一样预先标定相机的内参数；2)不需 要其它激光雷达等复杂设备进行场景的三维测量，也不需要限制相机的个数，只需要简单 测量摄像机的位置，而摄像机的焦距和旋转方向靠多视几何关系自动计算出来；3)提出了 一个自动配准的算法解决3D模型与二维图像的配准。 算法具体步骤是： 1) 通过有多视几何关系的多幅图像求解摄像机内参数和外参数。 1-1)提取SIFT特征描述(它具有尺度和旋转不变性)。 1-2)再用KD-树进行特征点匹配。 1-3)采用RANSAC框架通过8点法估计基础矩阵F，同时去掉了噪声匹配点对。 1-4)选择共有特征点最多的两幅图像，再通过上步得到的基本矩阵F，按估计的 摄像机参数算出本质矩阵E，计算出第一对摄像机之间的相对位置，得到摄像机位置旋转和 平移参数。 1-5)初始化摄像机内参数，将上述外参数以及内参数、所有特征点的投影坐标和 世界坐标作为初始值，用稀疏Levenberg-Marquardt方法进行集束优化。 1-6)再选择另一幅图片，根据已算出的空间特征点及特征点跟踪关系用RANSAC 方法求解此摄像机投影矩阵，得到摄像机内外参数初始值，将其加入到优化框架下，转步骤 1-5)继续优化。 1-7)反复执行1-6)直到每一个摄像机(所有的图片）处理完毕，得到所有摄像机 的外参数(多幅图片视点的旋转平移的相对位置） 2) 变换三维重建坐标下的摄像机视点到3D模型坐标的视点。 根据预先好的测量摄像机的经纬度坐标找到多个视点的相对位置到3D模型的相 对变换关系(旋转、平移、缩放)，可以将视点位置变换到3D模型中。我们采用的方法是经纬 度转换法，它分为2个步骤： 2-1)将测量的摄像机经纬度坐标转换成3D模型坐标系中的XYZ坐标。 2-2)设摄像机位置的归一化的相对三维坐标为&，经纬度转换后的欧氏坐标为 見，则矩阵沒是它们的转换的关系。对公式AiM^i=O用最小二乖法求转换矩阵沒的初始值， 再用Levenberg-Marquardt非线性求得更优的转换矩阵//，//需保持转换后坐标轴的正交性 和比例的一致性。若给定多对匹配点可以解出线性的最小二乘解。进一步，需加入旋转、平 移、等比例缩放约束再用Levenberg-Marquardt算法进行非线性优化，即得到最终H。 3)在3D模型中设置变换后的视点，得到相应视点下三维图形渲染显示后的二维 视图(如图2~7的b)所示)，即对应二维图像的已经配准的虚像。 本专利技术的有益效果是，本专利技术的一种3D模型与二维图像配准算法，它利用多视几 何理论恢复3D模型在相对坐标中的视点，只需预先测量得到摄像机位置，将二维真实可见 光图像与3D模型投影虚拟图进行自动配准。它不需要进行摄像机的预标定，也不需要用户 手动设置初始的模型对应于各幅二维图像的摄像机视角，而是通过有多视几何关系的多幅 图像，用估计加优化的方法求解摄像机内参数和外参数，再变换三维恢复坐标下的摄像机 视点到3D模型坐标的视点位置及视角。配准后可以进行虚实图像融合，得到更佳的显示效 果。一旦焦距或是摄像机内参、旋转方向发生变化，重新将本算法执行一次即可。 【附图说明】 图1是一个示例中摄像机位置及世界坐标系下的特征点位置。图中：重建的摄像 机位置（*)及世界坐标系下的特征点（+)位置。 图2是一个示例中第1幅虚实图像对的视点配准结果。 图3是一个示例中第2幅虚实图像对的视点配准结果。 图4是一个示例中第3幅虚实图像对的视点配准结果。 图5是一个示例中第4幅虚实图像对的视点配准结果。 图6是一个示例中第5幅虚实图像对的视点配准结果。 图7是一个示例中第6幅虚实图像对的视点配准结果。 【具体实施方式】 为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本专利技术进行进一步详细说明。 本专利技术的算法的使用方式是：在用多台PTZ摄像机进行场景监视的环境中，预先 生成监视环境的3D模型，再测量出各个摄像机的经纬度坐标。通过本专利技术的算法，找到摄 像机在3D模型中对应的视点及相关摄像机参数，然后按上述参数进行3D模型渲染，得到配 准视图。图片2至7给出了一个监视场景的配准的示例。 本专利技术的算法首先要假定采用哪种摄像机模型，本专利技术中认为摄像机符合小孔成 像的标准摄像机模型（Pinholemodel),采用以下透视投影公式描述： J^K\RI-Rtc~\本文档来自技高网...

【技术保护点】
一种3D模型与二维图像配准算法，其特征是具体步骤如下：1）通过有多视几何关系的多幅图像求解摄像机内参数和外参数1‑1)提取SIFT特征描述（它具有尺度和旋转不变性）;1‑2)再用KD‑树进行特征点匹配;1‑3) 采用RANSAC框架通过8点法估计基础矩阵来去掉噪声匹配点对;1‑4) 选择共有特征点最多的两幅图像，再通过上步得到的基本矩阵F，按估计的摄像机参数算出本质矩阵E，估计一对摄像机之间的相对位置，得到摄像机位置旋转和平移参数;1‑5) 初始化摄像机内参数，将上述外参数以及内参数、所有特征点的投影坐标和世界坐标作为初始值，用稀疏Levenberg‑Marquardt方法进行集束优化;1‑6) 再选择另一幅图片，根据已算出的空间特征点及特征点跟踪关系用RANSAC方法求解此摄像机投影矩阵，得到摄像机内外参数初始值，将其加入到优化框架下，转步骤1‑5）继续优化；1‑7) 直到所有的图片处理完毕，得到所有摄像机的外参数（多幅图片视点的旋转平移的相对位置）2）变换三维重建坐标下的摄像机视点到3D模型坐标的视点根据预先好的测量摄像机的经纬度坐标找到多个视点的相对位置到3D模型的相对变换关系（旋转、平移、缩放），可以将视点位置变换到3D模型中3）在3D模型中设置变换后的视点，得到相应视点下三维图形渲染显示后的二维视图，即对应二维图像的已经配准的虚像。...

【技术特征摘要】
1. 一种3D模型与二维图像配准算法，其特征是具体步骤如下： 1) 通过有多视几何关系的多幅图像求解摄像机内参数和外参数 1-1)提取SIFT特征描述(它具有尺度和旋转不变性）； 1-2)再用KD-树进行特征点匹配； 1-3)采用RANSAC框架通过8点法估计基础矩阵来去掉噪声匹配点对； 1-4)选择共有特征点最多的两幅图像，再通过上步得到的基本矩阵F，按估计的摄像 机参数算出本质矩阵E，估计一对摄像机之间的相对位置，得到摄像机位置旋转和平移参 数； 1-5)初始化摄像机内参数,将上述外参数以及内参数、所有特征点的投影坐标和世界 坐标作为初始值，用稀疏Levenberg-Marquardt方法进行集束优化； 1-6)再选择另一幅图片，根据已算出的空间特征点及特征点跟踪关系用RANSAC方法 求解此摄像机投影矩阵，得到摄像机内外参数初始值，将其加入到优化框架下，转步骤1-5) 继续优化； 1-7)直到所有的图片处理完毕，得到所有摄像机的外参数(多幅图片视点的旋转平移 的相对位置） 2) 变换三维重建坐标下的摄像机视点到3D模型坐标的视点 根据预先好的测量摄像机的经纬度坐标找到多个视点的相对位置到3D模型的相对变 换关系(旋转、平移、缩放)，可以将视点位置变换到3D模型中 3) 在3D模型中设置变换后的视点，得到相应视点下三维图形渲染显示后的二...

【专利技术属性】
技术研发人员：李新胜，冯子亮，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51