针对无序图像增量式SfM的初始图像对选取方法技术

本发明专利技术公开了一种针对无序图像增量式SfM的初始图像对选取方法，包括以下：计算每对图像之间的重叠度、相对位移以及相对旋转；标记正例样本和负例样本；建立多任务卷积神经网络，包括相似性度量网络和图像空间位置预测网络；将两两图像进行卷积和池化操作编码为高维特征向量，并衡量两幅图像之间的相似度；将图像经卷积操作变为特征图后，由放射变换回归器对图像所在的相对位移回归预测；得到所有两两组合图像间的相似度与相对位移；求该对图像的最终初始对评分并排序，选取出得分最高的初始图像对。本发明专利技术选取速度大大提高，显著提升了在特殊场景中初始图像对选取的鲁棒性，保证特殊场景重建的完整性和稳定性。殊场景重建的完整性和稳定性。

【技术实现步骤摘要】
recognition symposium.Berlin:Springer,2006:657
‑
666.
[0009]2.HANER S,HEYDEN A.Covariance propagation and next best view planning for 3d reconstruction[C]//European conference on computer vision.Florence:Springer,2012：545
‑
556.
[0010]3.SCHONBERGER J L,FRAHM J
‑
M.Structure
‑
from
‑
motion revisited[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.Las Vegas:IEEE,2016:4104
‑
4113.
[0011]4.MOULON P,MONASSE P,MARLET R.Adaptive structure from motion with a contrario model estimation[C]//Asian conference on computer vision.Daejeon:Springer,2012：257
‑
270.
[0012]5.KENDALL A,GRIMES M,CIPOLLA R.Posenet：a convolutional network for real
‑
time 6
‑
dof camera re
‑
localization[C]//Proceedings of the IEEE international conference on computer vision.Santiago:IEEE,2015:2938
‑
2946.
[0013]6.SZEGEDY C,LIU W,JIA Y,et.al.Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.Boston:IEEE,2015:1
‑
9.
[0014]7.AKENINE
‑
MO&LLER T,HAINES E,HOFFMAN N.Real
‑
time rendering[M].CrcPress,2019.

技术实现思路

[0015]鉴于初始图像对选取问题的特点,本专利技术通过整合相似性检测和相机姿态回归两个子网络实现了一种基于多任务学习的InitIP选取网络,以提高增量式SfM种初始堆选取过程的效率,并针对特殊重建场景提出结合场景连接图的选取策略,以提高重建的鲁棒性。本专利技术提出了针对无序图像增量式SfM的初始图像对选取方法，包括以下步骤：
[0016]步骤一：对于训练集中的图像，计算每对图像之间的重叠度、相对位移以及相对旋转；
[0017]步骤二：针对计算所得的重叠度大于阈值的两幅图像标记为正相关图像，得到一组正例样本，重叠度小于阈值的两幅图像标记为无关图像，得到一组负例样本；
[0018]步骤三：建立一个多任务卷积神经网络，所述多任务卷积神经网络由两个分支组成，其中一个分支为相似性度量网络，由全卷积网络组成，另一个分支为图像空间位置预测网络，由多个卷积层、全连接层和两个仿射变换回归器组成；
[0019]步骤四：整个图像集中，两两图像组成一组，输入到所述多任务卷积神经网络中，在所述相似性度量网络分支中，将两两图像进行卷积和池化操作编码为高维特征向量，并通过计算高维向量的距离来衡量两幅输入图像之间的相似度；在所述图像空间位置预测网络中，将图像经过卷积操作转换为特征图后，由放射变换回归器对图像所在的相对位移回归预测；
[0020]步骤五：重复步骤四，得到所有两两组合图像间的相似度S
12
，
…
，S
N
‑
1 N
与相对位移，T
12
，
…
，T
N
‑
1 N
；
[0021]步骤六：对步骤五中得到的每一组图像间的相似度S与相对位移T求商，得到该对
图像的最终初始对评分Score，最后将所求得的Score进行排序，选取出得分最高的一组作为增量式SfM重建的初始图像对。
[0022]进一步的，所述步骤一中所述的训练图像，由多组拍摄自不同场景的、有一定重叠区域的图像组成，其中不包含运动场景和只有单一纹理的场景图像。
[0023]进一步的，所述步骤二中的重叠区域大于60％的一对图像，视为一对正例图像，重叠度小于20％的视为一对负例图像，同时将相对旋转角度超过60度的图像设置为负例图像。
[0024]进一步的，所述步骤三中构建的多任务卷积神经网络的过程为：建立两个子卷积神经网络，其中一个子网络中只含有多个卷积层，另一个子网络中包括多个层卷以及两个全连接层最后一个全连接层连接一个放射变换回归器。
[0025]进一步的，多任务网络的训练模块，将参考图像、正例图像、负例图像共三幅图像组成一组输入图像，输入到相似度量分支，神经网络通过三元损失函数如下所示，使得在训练过程中，正例图像的高维特征向量与参考图像逐渐接近，负例图像与参考图像的高维特征向量逐渐远离；在空间位置预测分支中，将图像经过卷积操作转换为特征图后，由放射变换回归器对图像所在的相对位移回归预测；
[0026]L
TL
(a,p,n)＝[D
+
‑
D
‑
+α]+
ꢀꢀꢀ
(1)
[0027]检测模块，将待检测的一对图像输入至训练好的所述多任务卷积神经网络，最终根据所述相似性度量网络与图像空间位置预测网络，输出该对图像的相似度与相对位移。
[0028]进一步的，所述步骤六中最终初始对评分Score的计算公式如下所示，其中d为两幅图像转换而成的高维特征向量之间的距离，距离越小越相似，T为两幅图像的相对距离；最终所选择的初始图像对，为具有足够相似重叠区域且相对位移最大的一对图像；
[0029][0030]本专利技术对比传统SfM(stucture from Motion)中的初始图像对选取方法，所提出的方法在多种不同场景中的选取速度提升5倍以上。同时，提出的结合场景图的选取策略可使得特殊场景中重建的空间点数量增加10倍，且重投影误差下降0.05，显著提升了在特殊场景中初始图像对选取的鲁棒性，证明了所提方法的有效性，在提高了效率的同时，能够很本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对无序图像增量式SfM的初始图像对选取方法，其特征在于：包括以下步骤：步骤一：对于训练集中的图像，计算每对图像之间的重叠度、相对位移以及相对旋转；步骤二：针对计算所得的重叠度大于阈值的两幅图像标记为正相关图像，得到一组正例样本，重叠度小于阈值的两幅图像标记为无关图像，得到一组负例样本；步骤三：建立一个多任务卷积神经网络，所述多任务卷积神经网络由两个分支组成，其中一个分支为相似性度量网络，由全卷积网络组成，另一个分支为图像空间位置预测网络，由多个卷积层、全连接层和两个仿射变换回归器组成；步骤四：整个图像集中，两两图像组成一组，输入到所述多任务卷积神经网络中，在所述相似性度量网络分支中，将两两图像进行卷积和池化操作编码为高维特征向量，并通过计算高维向量的距离来衡量两幅输入图像之间的相似度；在所述图像空间位置预测网络中，将图像经过卷积操作转换为特征图后，由放射变换回归器对图像所在的相对位移回归预测；步骤五：重复步骤四，得到所有两两组合图像间的相似度S
12
，
…
，S
N
‑
1N
与相对位移，T
12
，
…
，T
N
‑
1N
；步骤六：对步骤五中得到的每一组图像间的相似度S与相对位移T求商，得到该对图像的最终初始对评分Score，最后将所求得的Score进行排序，选取出得分最高的一组作为增量式SfM重建的初始图像对。2.根据权利要求1所述的针对无序图像增量式SfM的初始图像对选取方法，其特征在于：所述步骤一中所述的训练图像，由多组拍摄自不同场景的、有一定重叠区域的图像组成，其中不包含运动场景和只有单一纹理的场景图...

【专利技术属性】
技术研发人员：彭杨，刘宇翔，颜深，张茂军，肖华欣，刘煜，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：