软组织运动预测方法、装置、终端设备及可读存储介质制造方法及图纸

本申请适用于图像处理技术领域，尤其涉及软组织运动预测方法、装置、终端设备及可读存储介质。所述软组织运动预测方法获取原始图像序列，原始图像序列用于描述软组织在第一时间段的运动轨迹，将原始图像序列输入至预设的软组织运动预测模型进行处理，得到软组织运动预测模型输出的预测图像序列，预测图像序列用于描述预测到的软组织在与第一时间段相邻的第二时间段的运动轨迹；其中，软组织运动预测模型包括堆叠的多层长短期记忆网络单元，长短期记忆网络单元根据时间序列跨层进行目标时空特征的传输，长短期记忆网络单元包括自注意力模块。通过本申请提供的软组织运动预测方法可以有效提高软组织运动预测的效果和精度。

【技术实现步骤摘要】
软组织运动预测方法、装置、终端设备及可读存储介质
本申请属于图像处理
，尤其涉及软组织运动预测方法、装置、终端设备及计算机可读存储介质。
技术介绍
在高强度聚焦超声(high-intensityfocusedultrasound，HIFU)影像引导的治疗中，软组织的运动会对治疗产生负面影响。因此，需要提前进行软组织运动预测。现有技术中，可以采用无模型匹配的跟踪方法和基于模型匹配的跟踪方法等传统方法来进行软组织的运动预测，但这些传统方法存在运动预测效果较差和精度较低的问题。
技术实现思路
本申请实施例提供了一种软组织运动预测方法、装置、终端设备及计算机可读存储介质，可以有效提高软组织运动预测的效果和精度。第一方面，本申请实施例提供了一种软组织运动预测方法，可以包括：获取原始图像序列，所述原始图像序列用于描述软组织在第一时间段的运动轨迹；将所述原始图像序列输入至预设的软组织运动预测模型进行处理，得到所述软组织运动预测模型输出的预测图像序列，所述预测图像序列用于描述预测到的所述软组织在与所述第一时间段相邻的第二时间段的运动轨迹；其中，所述软组织运动预测模型包括堆叠的多层长短期记忆网络单元，所述长短期记忆网络单元根据时间序列跨层进行目标时空特征的传输，所述长短期记忆网络单元包括自注意力模块。上述的软组织运动预测方法，可以通过自注意力模块获取全局空间的上下文信息，并根据时间序列跨层进行时空特征的传输，以增强不同时间图像中时空信息的传递，使得软组织运动预测模型具有更强的空间相关性、短期建模能力和长期建模能力，可以大大提高软组织运动预测模型的预测效果和精度，从而提高软组织运动预测的效果和精度。示例性的，所述长短期记忆网络单元根据时间序列跨层进行目标时空特征的传输，可以包括：第l+1层长短期记忆网络单元将t-1时刻生成的目标时空特征图传输给t时刻的第l层长短期记忆网络单元，1≤l＜L，L为所述软组织运动预测模型包含的长短期记忆网络单元的总层数。可选的，所述自注意力模块包括第一自注意力模块和第二自注意力模块，所述第一自注意力模块与所述第二自注意力模块并联，所述第一自注意力模块用于生成候选时空特征图，所述第二自注意力模块用于生成候选空间特征图。示例性的，所述第一自注意力模块可以根据下述公式生成所述候选时空特征图：其中，为t时刻的第l层长短期记忆网络单元中的第一自注意力模块生成的候选时空特征图，Wf、Wlv、Wxo、Who、Wco为预设的权重矩阵，为t时刻的第l层长短期记忆网络单元中的第一自注意力模块对应的输入特征图，Zl为第一自注意力模块基于生成的中间特征图，Zl；i为Zl中的第i个元素，al；i,j为中的第i个元素与第j个元素之间的相似性，为中的第j个元素，N为包含的元素的总个数，σ为sigmoid函数，xt为t时刻的原始图像，为t-1时刻的第l+1层长短期记忆网络单元传输的目标时空特征图，为t时刻的第l层长短期记忆网络单元生成的目标时间特征图，bo为预设的偏置项。示例性的，所述第二自注意力模块可以根据下述公式生成所述候选空间特征图：其中，为t时刻的第l层长短期记忆网络单元中的第二自注意力模块生成的候选空间特征图，Wz、Wmv为预设的权重矩阵，为t时刻的第l-1层长短期记忆网络单元输出的目标空间特征图，Zm为第二自注意力模块基于生成的中间特征图，Zm；i为Zm中的第i个元素，am；i,j为中的第i个元素与第j个元素之间的相似性，为中的第j个元素，R为包含的元素的总个数。具体地，所述长短期记忆网络单元可以根据下述公式对所述第一自注意力模块生成的候选时空特征图和所述第二自注意力模块生成的候选空间特征图进行处理，得到所述长短期记忆网络单元输出的目标时空特征图和目标空间特征图：其中，为t时刻的第l层长短期记忆网络单元输出的目标时空特征图，为t时刻的第l层长短期记忆网络单元输出的目标空间特征图，为t时刻的第l层长短期记忆网络单元中的第一自注意力模块生成的候选时空特征图，为t时刻的第l层长短期记忆网络单元中的第二自注意力模块生成的候选空间特征图，⊙为元素乘积，σ为sigmoid函数，Who'和Wmg为预设的权重矩阵，bo'和bg'为预设的偏置项。第二方面，本申请实施例提供了一种软组织运动预测装置，可以包括：图像序列获取模块，用于获取原始图像序列，所述原始图像序列用于描述软组织在第一时间段的运动轨迹；软组织运动预测模块，用于将所述原始图像序列输入至预设的软组织运动预测模型进行处理，得到所述软组织运动预测模型输出的预测图像序列，所述预测图像序列用于描述预测到的所述软组织在与所述第一时间段相邻的第二时间段的运动轨迹；其中，所述软组织运动预测模型包括堆叠的多层长短期记忆网络单元，所述长短期记忆网络单元根据时间序列跨层进行目标时空特征的传输，所述长短期记忆网络单元包括自注意力模块。第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的软组织运动预测方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的软组织运动预测方法。第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的软组织运动预测方法。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的软组织运动预测方法的流程示意图；图2是本申请实施例提供的软组织运动预测模型按照时间序列展开的结构示意图；图3是本申请实施例提供的长短期记忆网络单元的结构示意图；图4是本申请实施例提供的自注意力模块的结构示意图；图5是本申请实施例提供的软组织运动预测装置的结构示意图；图6是本申请实施例提供的终端设备的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示本文档来自技高网...

【技术保护点】
1.一种软组织运动预测方法，其特征在于，包括：/n获取原始图像序列，所述原始图像序列用于描述软组织在第一时间段的运动轨迹；/n将所述原始图像序列输入至预设的软组织运动预测模型进行处理，得到所述软组织运动预测模型输出的预测图像序列，所述预测图像序列用于描述预测到的所述软组织在与所述第一时间段相邻的第二时间段的运动轨迹；其中，所述软组织运动预测模型包括堆叠的多层长短期记忆网络单元，所述长短期记忆网络单元根据时间序列跨层进行目标时空特征的传输，所述长短期记忆网络单元包括自注意力模块。/n

【技术特征摘要】
1.一种软组织运动预测方法，其特征在于，包括：
获取原始图像序列，所述原始图像序列用于描述软组织在第一时间段的运动轨迹；
将所述原始图像序列输入至预设的软组织运动预测模型进行处理，得到所述软组织运动预测模型输出的预测图像序列，所述预测图像序列用于描述预测到的所述软组织在与所述第一时间段相邻的第二时间段的运动轨迹；其中，所述软组织运动预测模型包括堆叠的多层长短期记忆网络单元，所述长短期记忆网络单元根据时间序列跨层进行目标时空特征的传输，所述长短期记忆网络单元包括自注意力模块。


2.如权利要求1所述的软组织运动预测方法，其特征在于，所述长短期记忆网络单元根据时间序列跨层进行目标时空特征的传输，包括：
第l+1层长短期记忆网络单元将t-1时刻生成的目标时空特征图传输给t时刻的第l层长短期记忆网络单元，1≤l＜L，L为所述软组织运动预测模型包含的长短期记忆网络单元的总层数。


3.如权利要求1或2所述的软组织运动预测方法，其特征在于，所述自注意力模块包括第一自注意力模块和第二自注意力模块，所述第一自注意力模块与所述第二自注意力模块并联，所述第一自注意力模块用于生成候选时空特征图，所述第二自注意力模块用于生成候选空间特征图。


4.如权利要求3所述的软组织运动预测方法，其特征在于，所述第一自注意力模块根据下述公式生成所述候选时空特征图：









其中，为t时刻的第l层长短期记忆网络单元中的第一自注意力模块生成的候选时空特征图，Wf、Wlv、Wxo、Who、Wco为预设的权重矩阵，为t时刻的第l层长短期记忆网络单元中的第一自注意力模块对应的输入特征图，Zl为第一自注意力模块基于生成的中间特征图，Zl；i为Zl中的第i个元素，al；i,j为中的第i个元素与第j个元素之间的相似性，为中的第j个元素，N为包含的元素的总个数，σ为sigmoid函数，xt为t时刻的原始图像，为t-1时刻的第l+1层长短期记忆网络单元传输的目标时空特征图，为t时刻的第l层长短期记忆网络单元生成的目标时间特征图，bo为预设的偏置项。


5.如权利要求3所述的软组织运动预测方法，其特征在于，所述第二自注意力模块根据下述公式生成所述候选空间特征图：






其中，为t时刻的第l层长短期记忆网络单元中的第二自注意力模块生成的候选空间特征图，Wz、Wmv为预设的权重矩阵，为t时刻的...

【专利技术属性】
技术研发人员：张嘉乐，廖祥云，王琼，王平安，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44