本发明专利技术公开了一种基于重叠方式的球面全景图生成方法，（1）以两幅鱼眼图像形成的两个半球面空间为基础，建立目标球面空间模型；（2）计算目标球面上点与半球面空间上点的映射关系；（3）根据鱼眼镜头投影模型，及球面空间上点与半球面空间上点的映射关系，计算球面O上点对应的像素值；（4）根据球面全景图生成原理，将球面空间上的点映射到球面全景图上。本发明专利技术实现的全景拼接使用的输入数据少，只用到了两幅鱼眼图像进行拼接，数据来源简单，成本低。在处理过程中，本发明专利技术有效的引入了重叠区域的位置关系，根据此关系，定量计算像素点的相对位置，简化了计算过程，加快了拼接处理的速度。最后通过灰度最大值的融合方式进行图像融合，提高了全景拼接的质量。
【技术实现步骤摘要】
本专利技术属于计算机图形学领域，具体涉及一种基于重叠方式的球面全景图生成方 法，即基于重叠方式采集两幅鱼眼图像，利用鱼眼图像成像空间与球面空间的映射关系，生 成球面全景图。
技术介绍
在智慧旅游、视频监控、增强现实、机器人导航等领域中，往往需要得到更大角度 范围的图像，即使广角和鱼眼镜头的使用有时也无法满足需求，而全景图由于其可以达到 全视角，能够满足以上领域的需求，因而得到了广泛的应用。将周围场景投影到以视点为球 心的球面模型上，形成的以球心为视点，可以观看周围360度场景的虚拟空间称为球面全 景，而将球面模型展开形成的全景图称为球面全景图。 由于球面全景能够很好的模拟周围360度范围的场景，因此在智慧旅游、视频监 控等领域得到了广泛的应用。然而，目前球面全景图的生成方式主要有以下几种： 1、利用市场上已有的球面全景采集设备，如Point Grey公司的Iadybug 3全景采 集设备（Google公司的部分街景是通过此设备采集的）、Immesive Media公司的dodeca的 全景采集设备（Google公司早期的街景都是通过Immesive Media公司拍摄的）等。 由于这些设备的价格昂贵（价格均在20万左右），因此在实际应用中推广较难，尤 其是在视频监控领域，需要很多这样的设备进行监控，成本过高。外，由于这些设备底部都 有支架支撑，因此，容易在底部形成空洞，视域范围不能达到360度。 2、利用单反相机采集图像，然后对这些图像进行拼接。 这种方式需要特定拍摄支架的支持，且采集一幅球面全景图需要利用单反相机拍 摄很多幅图像，拍摄时间过长。这种方式只适合对球面全景图的离线采集和生成、在视频监 控、机器人导航等领域是不适合的。 3、基于鱼眼图像的拼接，形成球面全景图 鱼眼图像的视域范围可以达到180度，视域范围较大。按照理论推理，2幅图像即 可拼接形成一幅球面全景图。 这种方式简单易实现，且成本较低，可以在智慧旅游、视频监控、机器人导航等领 域得到应用。 本专利技术属于利用上述第3种方式生成球面全景图。鉴于其他球面全景图生成过程 中，拼接痕迹过于明显、自动匹配时间过长等缺点，本专利技术提出了基于重叠方式的球面全景 图生成方法。即利用朝向相反的方式采集两幅鱼眼图像，使鱼眼图像所对应两个半球空间 形成重叠，将两个半球空间对应的场景映射到球面模型上，从而生成球面全景图。
技术实现思路
本专利技术是为了解决现有球面全景图生成方法受图像采集方式、图像拼接方式等影 响，存在生成速度慢、成本高等问题，难以在视频监控、智慧旅游等领域中进行实际应用这 一问题，提出了一种。 本专利技术的内容如下： 一种，采用朝向相反的方式采集两幅鱼眼图 像，使鱼眼图像所对应两个半球空间形成重叠，将两个半球空间对应的场景映射到某球面 模型上，对球面模型进行展开从而生成球面全景图，具体是按如下步骤进行： (1)以两幅鱼眼图像形成的两个半球面空间为基础，建立目标球面空间模型： 1)记两幅鱼眼图像对应的半球面空间分别为Ω 1和Ω 2, Ω 1与Ω 2朝向相反，且 存在重叠；记Ω 1的球心为Α，Ω 2的球心为B，半径均为R，记A、B之间的距离为2d ; 2)以AB的中心点0为球心，建立目标球面空间模型，目标球面与Ω 1、Ω2相切， 则球0的半径为R-d ; 3)以球心0为坐标原点建立空间坐标系0ΧΥΖ，其中X轴垂直于AB，向量方向为Z 轴正方向，Y轴垂直于XOZ面并满足右手定律； 4)以球心A为坐标原点建立空间坐标系AXYZ，以球心B为坐标原点建立坐标系 BXYZ ;AXYZ、BXYZ的X、Y、Z轴均与坐标系OXYZ中的X、Y、Z轴平行且方向相同； (2)计算目标球面上点与半球面空间上点的映射关系 记球0上的某点为H，连接OH后交半球面（可以是半球面A或者B，计算方法相 同）于H'，则H'为H点在半球面上的对应点，即H点的像素值与H'点的像素值相同；假设 H点在OXYZ坐标系下的极坐标为CR-A沃州，其中，R-d为球0的半径，Θ为OH与Z轴正 方向的夹角，0为OH在XOY平面上的垂直投影与X轴正方向的夹角；则需要计算对应点H' 在其所在球面坐标系下（若H'为半球面A上的点，则此时其所在球面坐标系为AXYZ;若H' 为半球面B上的点，则此时其所在球面坐标系为BXYZ)的极坐标(/?/八炉_)，其中R为半球面 的半径，θ'为AH'与Z轴正方向的夹角，f为AH'在XOY平面上的垂直投影与X轴正方向 的夹角； 计算过程如下： 点H'为点H的对应点，所以点0、H和H'三点共线；点0、H'和A构成空间上的三 角形ΛΑΟΗ'，0H'与Z轴正方向的夹角Θ为ΛΑ0Η'的外角，即Θ等于AH'与Z轴正方向 的夹角θ'加上0H'与AH'的夹角η ;由三角形的余弦定理可知，【主权项】1.，其特征在于，基于重叠方式采集两幅鱼眼图 像，即：两幅鱼眼图像所对应的半球面空间之间存在重叠，将两个半球面空间上的场景投影 到一个球面上，生成球面全景图；包括以下步骤： (1) 以两幅鱼眼图像形成的两个半球面空间为基础，建立目标球面空间模型： 1) 记两幅鱼眼图像对应的半球面空间分别为Ω 1和Ω 2, Ω 1与Ω 2朝向相反，且存在 重叠，记Ω 1的球心为Α，Ω 2的球心为B，半径均为R，记A、B之间的距离为2d ; 2) 以AB的中心点O为球心，建立目标球面空间模型，目标球面与Ω 1、Ω 2内切，则球O 的半径为R-d ; 3) 以球心O为坐标原点建立空间坐标系OXYZ，其中X轴垂直于AB，向量方向为Z轴正 方向，Y轴垂直于XOZ面并满足右手定律； 4) 以球心A为坐标原点建立空间坐标系AXYZ，以球心B为坐标原点建立坐标系BXYZ， AXYZ、BXYZ的X、Y轴均与坐标系OXYZ中的X、Y轴平行且方向相同，Z轴重合且方向相同； (2) 计算目标球面上点与半球面空间上点的映射关系： 记球0上的某点为H，连接OH后交半球面A或者B于H'，则H'为H点在半球面A或者 B上的对应点，即H点的像素值与H'点的像素值相同；假设H点在OXYZ坐标系下的极坐标 为其中，R-d为球0的半径，Θ为OH与Z轴正方向的夹角，於为OH在XOY平面 上的垂直投影与X轴正方向的夹角，则需要计算对应点H'在其所在球面坐标系下的极坐标 ，若H'为半球面A上的点，则此时其所在球面坐标系为AXYZ ;若H'为半球面B上 的点，则此时其所在球面坐标系为BXYZ ;其中R为半球面的半径，Θ '为AH'与Z轴正方向 的夹角，识'为AH'在XOY平面上的垂直投影与X轴正方向的夹角； 计算过程如下： 点H'为点H的对应点，所以点0、H和H'三点共线；点0、H'和A构成空间上的三角形 ΔΑΟΗ'，0H'与Z轴正方向的夹角Θ为ΛΑΟΗ'的外角，即Θ等于AH'与Z轴正方向的夹 角θ'加上0H'与AH'的夹角η ;由三角形的余弦定理可知，a = arcsin(.g..sin0);结合鱼眼 镜头的成像原理，入射光、反射光和透射光位于同一法平面内，因此AH'在XOY平面上的垂 直投影与X轴正方向的夹角W = W ; 综上，即可求得点H'在其所在球面坐标系下的球坐标为//_(/? j-arCSin(|Sin0本文档来自技高网...
【技术保护点】
基于重叠方式的球面全景图生成方法，其特征在于，基于重叠方式采集两幅鱼眼图像，即：两幅鱼眼图像所对应的半球面空间之间存在重叠，将两个半球面空间上的场景投影到一个球面上，生成球面全景图；包括以下步骤：(1)以两幅鱼眼图像形成的两个半球面空间为基础，建立目标球面空间模型：1)记两幅鱼眼图像对应的半球面空间分别为Ω1和Ω2，Ω1与Ω2朝向相反，且存在重叠，记Ω1的球心为A，Ω2的球心为B，半径均为R，记A、B之间的距离为2d；2)以AB的中心点O为球心，建立目标球面空间模型，目标球面与Ω1、Ω2内切，则球O的半径为R‑d；3)以球心O为坐标原点建立空间坐标系OXYZ，其中X轴垂直于AB，向量方向为Z轴正方向，Y轴垂直于XOZ面并满足右手定律；4)以球心A为坐标原点建立空间坐标系AXYZ，以球心B为坐标原点建立坐标系BXYZ，AXYZ、BXYZ的X、Y轴均与坐标系OXYZ中的X、Y轴平行且方向相同，Z轴重合且方向相同；(2)计算目标球面上点与半球面空间上点的映射关系：记球O上的某点为H，连接OH后交半球面A或者B于H'，则H'为H点在半球面A或者B上的对应点，即H点的像素值与H'点的像素值相同；假设H点在OXYZ坐标系下的极坐标为其中，R‑d为球O的半径，θ为OH与Z轴正方向的夹角，为OH在XOY平面上的垂直投影与X轴正方向的夹角，则需要计算对应点H'在其所在球面坐标系下的极坐标若H'为半球面A上的点，则此时其所在球面坐标系为AXYZ；若H'为半球面B上的点，则此时其所在球面坐标系为BXYZ；其中R为半球面的半径，θ'为AH'与Z轴正方向的夹角，为AH'在XOY平面上的垂直投影与X轴正方向的夹角；计算过程如下：点H'为点H的对应点，所以点O、H和H'三点共线；点O、H'和A构成空间上的三角形ΔAOH'，OH'与Z轴正方向的夹角θ为ΔAOH'的外角，即θ等于AH'与Z轴正方向的夹角θ'加上OH'与AH'的夹角η；由三角形的余弦定理可知，结合鱼眼镜头的成像原理，入射光、反射光和透射光位于同一法平面内，因此AH'在XOY平面上的垂直投影与X轴正方向的夹角综上，即可求得点H'在其所在球面坐标系下的球坐标为(3)根据鱼眼镜头投影模型，及球面空间上点与半球面空间上点的映射关系，计算球面O上点对应的像素值：1)根据鱼眼镜头投影模型计算H'成像到鱼眼图像上的对应点的像素值，将此像素值作为H'点的像素值；而H'为H在空间中对应的点，因此可获得H点的像素值；2)针对两个半球空间的重叠区域，基于图像融合原理进行像素的融合；两个半球空间存在重叠区域，将重叠区域投影到球面O上，由重叠方式和球面模型可知，重叠区域可以通过入射角θ的范围表示，则在O上对应的区域为：π/2‑α≤θ≤π/2+α(α＝arctan(d/R))；在重叠区域，采用灰度最大值的融合方法计算最后的像素值；假设融合区域上某点Q，它在半球A和半球B上的对应点分别为M、N，分别计算出点M、点N对应的像素灰度值，取灰度值最大的点的像素值作为融合后的像素值；(4)根据球面全景图生成原理，将球面空间上的点映射到球面全景图上。...
【技术特征摘要】
【专利技术属性】
技术研发人员：余烨，刘晓平，聂振兴，张海彬，李冰飞，金强，郑森，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。