【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于深度点线特征的图像拼接方法及系统。
技术介绍
1、图像拼接可以为各种应用领域提供大视场、高分辨率的影像，且无损图像信息，是计算机视觉领域的一个研究热点。在遥感图像处理中，卫星和飞机拍摄的单幅图片视角有限，需要进行拼接来获得高分辨率的全景影像。在医学领域，将多张医学影像(例如x射线、ct扫描、mri扫描等)拼接在一起，可以获得更全面、更准确的诊断信息，帮助医生更好地理解病变部位的位置和形态。此外，图像拼接还可以用于创建各种视觉效果，例如将虚拟图像放置在现实世界中的特定位置，或者将虚拟图像与现实世界中的物体进行交互，提高vr的沉浸感和真实感。
2、目前，关于图像拼接的实现方法，大多还处于初级的处理阶段，并未能很好地处理图像拼接后的逼真效果，因此需要提出新的图像拼接方法。
技术实现思路
1、本专利技术提供一种基于深度点线特征的图像拼接方法及系统，用以解决现有技术中存在的缺陷。
2、第一方面，本专利技术提供一种基于深度点线特征的图像拼接方法，包括：
3、采集待拼接场景图像，获取特征提取网络；
4、将所述待拼接场景图像输入所述特征提取网络，提取点特征、线特征和点线特征描述；
5、获取所述待拼接场景图像的几何共面特征，采用所述几何共面特征和所述点线特征描述进行特征匹配，得到图像拼接模型；
6、获取所述待拼接场景图像的网格形变约束条件，将所述网格形变约束条件和所述图像拼接模型进行图像像
7、根据本专利技术提供的一种基于深度点线特征的图像拼接方法，采集待拼接场景图像，获取特征提取网络，包括：
8、利用影像采集设备获取多帧具有部分重叠的待拼接场景图像；
9、采用开源点线特征数据集训练所述特征提取网络。
10、根据本专利技术提供的一种基于深度点线特征的图像拼接方法，将所述待拼接场景图像输入所述特征提取网络，提取点特征、线特征和点线特征描述，包括：
11、确定所述特征提取网络包括点分类子网络、线分类子网络和特征描述子网络；
12、获取多个不同类型的几何图片以及几何图片点线坐标，利用所述几何图片和所述几何图片点线坐标训练所述特征提取网络，得到具备初始点线形状识别能力的特征提取网络；
13、利用若干真实图片对所述具备初始点线形状识别能力的特征提取网络进行调整，获得所述点特征、所述线特征和所述点线特征描述。
14、根据本专利技术提供的一种基于深度点线特征的图像拼接方法，获取所述待拼接场景图像的几何共面特征，采用所述几何共面特征和所述点线特征描述进行特征匹配，得到图像拼接模型，包括：
15、对所述特征提取网络输出的描述符进行归一化，计算任意两个特征向量的数量积：
16、s＝desc1·desc2,match＝argmax(s),s>ε
17、其中，desc1和desc2是任意两个待匹配特征的描述符，s是任意两个描述符的相似度，ε是相似性阈值；
18、对所述待拼接场景图像划分为多个均匀网格，以图像局部邻接的若干个网格为一个平面，若当前网格不存在精确匹配点，则在平面内获取精确匹配点，采用不少于四对点估计平面的变换矩阵h，得到任意两个待拼接场景图像在局部的对应关系：
19、
20、其中，(ui,vi)和(u′i,v′i)是匹配点的像素坐标，hi(i＝1,2,…,9)是变换矩阵h的参数；
21、对单个图像中检测出的直线进行自匹配，根据描述符相似性将直线进行聚类，根据空间邻近原理将聚类后的直线拟合形成平面，采用平面上的点线计算平面特征值，基于所述平面特征值进行不同图像中的平面匹配，利用特征点估计配对平面的投影矩阵，对直线进行投影，将投影后同时满足距离阈值和描述符相似阈值的两条直线作为配对线。
22、根据本专利技术提供的一种基于深度点线特征的图像拼接方法，所述平面特征值包括：
23、
24、p＝a1p1+b1p2
25、其中，p1,p2是一条直线的端点，p是位于该直线上的另外一点，将p用p1,p2表示，系数为a1,b1，使用3条形成闭环的直线计算平面特征值cn；
26、对应地，平面相似度的计算方法为：
27、
28、其中，cna(r)表示图像a中第r条直线计算出的cn值，cnb(r)表示图像b中第r条直线计算出的cn值。
29、根据本专利技术提供的一种基于深度点线特征的图像拼接方法，获取所述待拼接场景图像的网格形变约束条件，将所述网格形变约束条件和所述图像拼接模型进行图像像素融合，输出拼接图像结果，包括：
30、采用所述待拼接场景图像的网格顶点表示内部点坐标，计算任意两点距离得到点特征epointalign：
31、
32、其中，sj是根据点匹配得分计算的权重，匹配置信度越高的组权重越大，p′j表示与pj配对的点坐标，vj表示该点所在网格的顶点坐标，wj是对应的权重系数；
33、在每条线上等间隔采样若干个点，计算投影点到直线的距离，得到线特征elinealign：
34、
35、其中，i表示图像中的线，si是线匹配得分，ai,bi,ci分别表示与该线配对直线的方程系数，j表示每条线上采样的点，和是网格顶点的横纵坐标；
36、线变形控制方程包括：
37、
38、其中，morx和mory构成直线的法向量，和是线上相邻两点的双线性表示；
39、通过每条线上的点间距得到变形缩放estretch：
40、
41、其中，表示线上相邻的三个点；
42、采用奇异值分解svd得到拼接图像结果。
43、第二方面，本专利技术还提供一种基于深度点线特征的图像拼接系统，包括：
44、采集模块，用于采集待拼接场景图像，获取特征提取网络；
45、提取模块，用于将所述待拼接场景图像输入所述特征提取网络，提取点特征、线特征和点线特征描述；
46、匹配模块，用于获取所述待拼接场景图像的几何共面特征，采用所述几何共面特征和所述点线特征描述进行特征匹配，得到图像拼接模型；
47、拼接模块，用于获取所述待拼接场景图像的网格形变约束条件，将所述网格形变约束条件和所述图像拼接模型进行图像像素融合，输出拼接图像结果。
48、第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度点线特征的图像拼接方法。
49、第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于深度点线特征的图像拼接方法。
50、第五方面，本文档来自技高网...
【技术保护点】
1.一种基于深度点线特征的图像拼接方法，其特征在于，包括：
2.根据权利要求1所述的基于深度点线特征的图像拼接方法，其特征在于，采集待拼接场景图像，获取特征提取网络，包括：
3.根据权利要求1所述的基于深度点线特征的图像拼接方法，其特征在于，将所述待拼接场景图像输入所述特征提取网络，提取点特征、线特征和点线特征描述，包括：
4.根据权利要求1所述的基于深度点线特征的图像拼接方法，其特征在于，获取所述待拼接场景图像的几何共面特征，采用所述几何共面特征和所述点线特征描述进行特征匹配，得到图像拼接模型，包括：
5.根据权利要求4所述的基于深度点线特征的图像拼接方法，其特征在于，所述平面特征值包括：
6.根据权利要求1所述的基于深度点线特征的图像拼接方法，其特征在于，获取所述待拼接场景图像的网格形变约束条件，将所述网格形变约束条件和所述图像拼接模型进行图像像素融合，输出拼接图像结果，包括：
7.一种基于深度点线特征的图像拼接系统，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度点线特征的图像拼接方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度点线特征的图像拼接方法。
...【技术特征摘要】
1.一种基于深度点线特征的图像拼接方法，其特征在于，包括：
2.根据权利要求1所述的基于深度点线特征的图像拼接方法，其特征在于，采集待拼接场景图像，获取特征提取网络，包括：
3.根据权利要求1所述的基于深度点线特征的图像拼接方法，其特征在于，将所述待拼接场景图像输入所述特征提取网络，提取点特征、线特征和点线特征描述，包括：
4.根据权利要求1所述的基于深度点线特征的图像拼接方法，其特征在于，获取所述待拼接场景图像的几何共面特征，采用所述几何共面特征和所述点线特征描述进行特征匹配，得到图像拼接模型，包括：
5.根据权利要求4所述的基于深度点线特征的图像拼接方法，其特征在于，所述平面特征值包括：
6.根据权利要求1所述的基于深度点线特征的图像拼接方法，其特征在于，获...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。