一种空气和水下两用360制造技术

本发明专利技术提供了一种空气和水下两用360

【技术实现步骤摘要】
一种空气和水下两用360
°
全景图像拼接方法


[0001]本专利技术属于光学成像
，具体涉及一种空气和水下两用360
°
全景图像拼接方法。

技术介绍

[0002]360
°
全景图像通常由两个视场角大于180
°
的鱼眼镜头拍摄的图像拼接生成，要生成正确的全景图像，需要对两个相机的内部参数和外部参数进行标定，并建立两个相机图像传感器像素坐标系与全景图像坐标系之间的对应关系。
[0003]文献“Designandassessmentofa360
°
panoramicandhigh
‑
performancecapturesystemwithtwotiledcatadioptricimagingchannels,AppliedOptics,2018.”中提出了一种全景图像拼接算法，文中首先标定了两个相机图像传感器像素坐标系与世界坐标系之间的关系，进一步获得两个相机坐标系之间的位置关系，之后建立全景图像坐标系，计算两个相机坐标系与全景图像坐标系之间的对应关系，根据对应关系，对两幅图像进行拼接，获得360
°
全景图像。
[0004]由于水的折射率大于空气折射率，当全景镜头放置于水下环境中时，视场角以及各视场角下的像高均会发生变化，原有的计算参数不再适用，需要重新标定相机的内部参数与外部参数，获得水下全景图像坐标系与两个相机图像传感器像素坐标系之间的对应关系，以在水下生成正确的全景图像。技术一中的360
°
全景图像拼接方法仅考虑了全景镜头置于空气中的情况，该拼接方法不适用于水下全景图像生成。

技术实现思路

[0005]有鉴于此，本专利技术的目的是提供一种空气和水下两用360
°
全景图像拼接方法，可以在多样化环境中生成精确的360
°
全景图像。
[0006]一种空气和水下两用360
°
全景图像拼接方法，包括：
[0007]第一步，利用相机在的内部参数建立两个相机坐标系(x
ci
,y
ci
,z
ci
)
T
与像素坐标系(x
pi
,y
pi
)
T
之间的对应关系：
[0008][0009][0010]其中i＝1,2分别表示相机1和相机2；p
xi
，p
yi
表示传感器像素在x和y方向的尺寸；
[0011](x
0i
,y
0i
)
T
表示传感器中心像素的像素坐标；h
i
(θ)表示各视场角θ下对应的像高，其为关于θ的多项式：
[0012]h
i
(θ)＝f1θ+f2θ2+...(3)
[0013]根据全景镜头在空气中或水中的光学参数设计值，得到多对(θ,h
i
(θ))的对应值，通过多项式拟合方法，得到多项式系数f1，f2，
…
；
[0014]第二步，基于两个相机的内部参数的初始值，利用角点法以及最小二乘法计算相机的外部参数，从而建立两个相机坐标系(x
ci
,y
ci
,z
ci
)
T
与世界坐标系(X
W
,Y
W
,Z
W
)
T
之间的对应关系；
[0015]第三步，建立球坐标系形式的360
°
全景坐标系；
[0016]第四步，建立两个相机坐标系与360
°
全景坐标系之间的对应关系；
[0017]第五步，根据第一步中相机的内参建立两个相机坐标系(x
ci
,y
ci
,z
ci
)
T
与像素坐标系(x
pi
,y
pi
)
T
之间的对应关系，建立两个相机图像传感器像素坐标系与360
°
全景坐标系之间的对应关系；
[0018]第六步，根据两个相机图像传感器像素坐标系与360
°
全景坐标系之间的对应关系，对两幅大于180
°
的图像进行拼接，得到360
°
全景图像。
[0019]较佳的，所述第二步的对应关系为：
[0020][0021]其中R
i
，T
i
为相机的外部参数，R
i
为相机坐标系相对于世界坐标系的旋转矩阵，T
i
为相机坐标系相对于世界坐标系的平移矩阵。
[0022]较佳的，所述第四步中两个相机坐标系与360
°
全景坐标系之间的对应关系为：
[0023][0024][0025]较佳的，所述第六步中，拼接得到的全景图像各像素灰度表示为：
[0026][0027]其中，表示360
°
全景坐标系下图像像素灰度，I1(x
p1
,y
p1
)表示相机1图像像素灰度，I2(x
p2
,y
p2
)表示为相机2图像灰度；2Δ表示360
°
全景图像中相机1图像与相机2图像视场重叠部分。
[0028]较佳的，当两个相机在空气中时，两者为相对放置、错位放置或者通过折返折射棱镜组合。
[0029]较佳的，当两个相机在水中时，两者为相对放置或者错位放置。
[0030]本专利技术具有如下有益效果：
[0031]本专利技术提供了一种空气和水下两用360
°
全景图像拼接方法，同时考虑了全景镜头置于空气和水下环境中时，全景图像坐标系与两个相机图像传感器像素坐标系之间的对应关系，根据对应关系，对两幅图像进行拼接，可以在多样化环境中生成正确的360
°
全景图像，拓展了全景镜头的使用场景。
[0032]通过将像高h
i
(θ)从简单的线性关系修正为多项式形式，可克服鱼眼镜头的畸变问题，使得拼接图像更加精确。
附图说明
[0033]图1为空气中两个鱼眼镜头相对放置示意图；
[0034]图2为空气中两个鱼眼镜头错位放置示意图；
[0035]图3空气中两个鱼眼镜头通过折反射棱镜相结合示意图；
[0036]图4为世界坐标系、相机1坐标系、相机2坐标系以及360
°
全景图像坐标系之间的关系；
[0037]图5为空气中360
°
全景图像拼接视场图，2Δ表示两个鱼眼镜头视场重叠部分；
[0038]图6为水中两个鱼眼镜头相对放置关系，其中场角、像高发生变化；
[0039]图7为水中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空气和水下两用360
°
全景图像拼接方法，其特征在于，包括：第一步，利用相机在的内部参数建立两个相机坐标系(x
ci
,y
ci
,z
ci
)
T
与像素坐标系(x
pi
,y
pi
)
T
之间的对应关系：之间的对应关系：其中i＝1,2分别表示相机1和相机2；p
xi
，p
yi
表示传感器像素在x和y方向的尺寸；(x
0i
,y
0i
)
T
表示传感器中心像素的像素坐标；h
i
(θ)表示各视场角θ下对应的像高，其为关于θ的多项式：h
i
(θ)＝f1θ+f2θ2+...(3)根据全景镜头在空气中或水中的光学参数设计值，得到多对(θ,h
i
(θ))的对应值，通过多项式拟合方法，得到多项式系数f1，f2，
…
；第二步，基于两个相机的内部参数的初始值，利用角点法以及最小二乘法计算相机的外部参数，从而建立两个相机坐标系(x
ci
,y
ci
,z
ci
)
T
与世界坐标系(X
W
,Y
W
,Z
W
)
T
之间的对应关系；第三步，建立球坐标系形式的360
°
全景坐标系；第四步，建立两个相机坐标系与360
°
全景坐标系之间的对应关系；第五步，根据第一步中相机的内参建立两个相机坐标系(x
ci
,y
ci
,z
ci
)
T
与像素坐标系(x
pi
,...

【专利技术属性】
技术研发人员：宋维涛，张擎天，王涌天，刘越，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：