用于图像拼接的方法、计算设备和存储介质技术

本公开的实施例涉及用于图像拼接的方法、计算设备和存储介质，涉及信息处理领域。根据该方法，获取待拼接的两个图像；基于两个图像，经由经训练的特征提取网络，生成两个特征表示；基于两个特征表示，经由经训练的解码网络，生成指示两个图像能否拼接的第一置信度和两个图像之间的第一相对位置；以及如果基于第一置信度确定两个图像能够拼接，则基于第一相对位置，对两个图像进行拼接。由此，能够提高图像拼接的效率。拼接的效率。拼接的效率。

【技术实现步骤摘要】
用于图像拼接的方法、计算设备和存储介质


[0001]本公开的实施例总体涉及信息处理领域，具体涉及用于图像拼接的方法、计算设备和计算机存储介质。

技术介绍

[0002]由于X光设备分辨率、视野范围有限，无法一次性拍摄患者整个脊柱或下肢。全长X光片的传统拼接方案主要通过人工拼接。但是人工拼接方式费时费力，需要有经验的医生使用专业软件拼接，拼接过程慢，拼接效果跟医生水平紧密相关。

技术实现思路

[0003]提供了一种用于图像拼接的方法、计算设备以及计算机存储介质，能够提高图像拼接的效率。
[0004]根据本公开的第一方面，提供了一种用于图像拼接的方法。该方法包括：获取待拼接的两个图像；基于两个图像，经由经训练的特征提取网络，生成两个特征表示；基于两个特征表示，经由经训练的解码网络，生成指示两个图像能否拼接的第一置信度和两个图像之间的第一相对位置；以及如果基于第一置信度确定两个图像能够拼接，则基于第一相对位置，对两个图像进行拼接。
[0005]根据本公开的第二方面，提供了一种计算设备。该计算设备包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据第一方面所述的方法。
[0006]在本公开的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
[0007]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0008]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：图1是根据本公开的实施例的信息处理环境100的示意图。
[0009]图2是根据本公开的实施例的用于图像拼接的方法200的示意图。
[0010]图3是根据本公开的实施例的神经网络300的示意框图。
[0011]图4是根据本公开的实施例的用于生成指示两个图像能否拼接的第一置信度和两个图像之间的第一相对位置的方法400的示意图。
[0012]图5是根据本公开的实施例的用于训练特征提取网络和解码网络的方法500的示意图。
[0013]图6是根据本公开的实施例的用于对两个图像进行拼接的方法600的示意图。
[0014]图7是根据本公开的实施例的子图像对的获取过程700的示意图。
[0015]图8是根据本公开的实施例的两个图像的拼接过程800的示意图。
[0016]图9是用来实现本公开实施例的用于图像拼接的方法的计算设备的框图。
具体实施方式
[0017]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0018]在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0019]如上所述，传统拼接方案主要通过人工拼接，效率低下。
[0020]为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于图像拼接的方案。在该方案中，计算设备获取待拼接的两个图像，并基于两个图像，经由经训练的特征提取网络，生成两个特征表示。计算设备基于两个特征表示，经由经训练的解码网络，生成指示两个图像能否拼接的第一置信度和两个图像之间的第一相对位置。如果计算设备基于第一置信度确定两个图像能够拼接，则基于第一相对位置，对两个图像进行拼接。以此方式，能够提高图像拼接的效率。
[0021]在下文中，将结合附图更详细地描述本方案的具体示例。
[0022]图1示出了根据本公开的实施例的信息处理环境100的示例的示意图。信息处理环境100可以包括计算设备110、待拼接的两个图像120
‑
1和120
‑
2（下文将图像统称为120）和拼接结果130。
[0023]计算设备110例如包括但不限于服务器计算机、多处理器系统、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。在一些实施例中，计算设备110可以具有一个或多个处理单元，包括诸如图像处理单元GPU、现场可编程门阵列FPGA和专用集成电路ASIC等的专用处理单元以及诸如中央处理单元CPU的通用处理单元。
[0024]计算设备110用于获取待拼接的两个图像120；基于两个图像120，经由经训练的特征提取网络，生成两个特征表示；基于两个特征表示，经由经训练的解码网络，生成指示两个图像能否拼接的第一置信度和两个图像之间的第一相对位置；以及如果基于第一置信度确定两个图像能够拼接，则基于第一相对位置，对两个图像进行拼接。最终得到拼接结果130。
[0025]由此，能够提高图像拼接的效率。
[0026]图2示出了根据本公开的实施例的用于图像拼接的方法200的流程图。例如，方法200可以由如图1所示的计算设备110来执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
[0027]在框202处，计算设备110获取待拼接的两个图像120。
[0028]在一些实施例中，两个图像均为X光图像。
[0029]在框204处，计算设备110基于两个图像120，经由经训练的特征提取网络，生成两个特征表示。
[0030]例如，经由经训练的特征提取网络分别对两个图像进行处理，以生成两个特征表示。例如，可以利用相同的经训练的特征提取网络对两个图像进行并行处理，以生成两个特征表示，或者利用相同的经训练的特征提取网络先后对两个图像进行处理，生成两个特征表示，或者经训练的特征提取网络包括两个相同特征提取子网络，分别用于对两个图像进行处理，以分别输出两个特征表示。
[0031]图3示出了根据本公开的实施例的神经网络300的示意框图。如图3所示，两个图像310
‑
1和310
‑
2分别输入到特征提取网络320中包括的两个相同特征提取网络321和322，并分别输出两个特征表示。
[0032]在一些实施例中，特征提取网络可以包括深度残差网络（Deep residual network, ResNet），例如包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像拼接的方法，包括：获取待拼接的两个图像；基于所述两个图像，经由经训练的特征提取网络，生成两个特征表示；基于所述两个特征表示，经由经训练的解码网络，生成指示所述两个图像能否拼接的第一置信度和所述两个图像之间的第一相对位置；以及如果基于所述第一置信度确定所述两个图像能够拼接，则基于所述第一相对位置，对所述两个图像进行拼接。2.根据权利要求1所述的方法，其中生成指示所述两个图像能否拼接的所述第一置信度和所述两个图像之间的所述第一相对位置包括：将所述两个特征表示按照通道进行相加，以生成经相加的特征表示；基于经相加的特征表示，经由多个卷积层和降采样层，生成中间特征表示；基于所述中间特征表示，经由第一分支神经网络，生成指示所述两个图像能否拼接的所述第一置信度；以及基于所述中间特征表示，经由第二分支神经网络，生成所述两个图像之间的所述第一相对位置。3.根据权利要求2所述的方法，还包括：获取经拼接的多个图像；对于所述多个图像中的每个图像，从所述图像中确定子图像对集和与所述子图像对集相关联的相对位置集，所述子图像对集中的每个子图像对之间存在重合部分；以及以多个子图像对集作为样本并以多个相对位置集和预定置信度作为标签，训练特征提取网络和解码网络，以生成经训练的特征提取网络和经训练的解码网络。4.根据权利要求3所述的方法，其中所述子图像对集中的每个子图像对中的第一子图像在第二子图像的下方，并且所述第一子图像在横向与所述图像重合70%
‑
90%并在纵向与所述图像至少重合10%。5.根据权利要求4所述的方法，其中所述第一子图像和所述第二子图像在横向至少重合80%并在纵向重合10%
‑
80%。6.根据权利要求3所述的方法，其中训练所述特征提取网络和所述解码网络包括：对于所述子图像对集中的每个子图像对，执行以下步骤：基于所述子图像对，经由所述特征提取网络和所述解码网络，生成指示所述子图像对能否拼接的第二置信度和所述子图像对之间的第二相对位置；基于第一预定损失函数，生成所述预定置信度和所述第二置信度之间的第一误差；基于所述第一误差，对所述第一分支神经网络进行反向传播，以更新所述第一分支神经网络和生成第一中间误差；基于第二预定损失函数，生成与所述子图像对相关联的相对位置和所述第二相对位置之间的第二误差；基于所述第二误差，对所述第二分支神经网络进行反向传播...

【专利技术属性】
技术研发人员：赵国涛，
申请(专利权)人：北京欧应信息技术有限公司，
类型：发明
国别省市：