基于视频流的目标物位置检测方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及人工智能技术，揭露了一种基于视频流的目标物位置检测方法，包括：获取视频流，对视频流进行图像分帧，得到分帧图像集；利用目标区域检测模型检测分帧图像集的目标区域，得到目标图像集；利用目标物位置序列识别模型识别目标图像集的目标物位置序列，根据目标物位置序列，从目标图像集中删除异常的目标物位置序列对应的目标图像，得到标准目标图像集；将标准目标图像集中所有的目标图像进行图像关联，根据图像关联后的标准目标图像，识别出目标物位置。此外，本发明专利技术还涉及区块链技术，所述视频流可存储于区块链中。本发明专利技术可以应用于对甲状腺结节的位置检测。本发明专利技术可以提高基于视频流的目标物位置检测的准确性。

Object position detection method, device, equipment and medium based on video stream

【技术实现步骤摘要】
基于视频流的目标物位置检测方法、装置、设备及介质
本专利技术涉及人工智能
，尤其涉及一种基于视频流的目标物位置检测方法、装置、电子设备及计算机可读存储介质。
技术介绍
近年来神经网络模型被广泛用于医疗图像检测，如目标检测模型(SingleShotMultiBoxDetector，简称SSD）。神经网络模型虽然对于大多数图像检测场景都有着较好的效果，但是在医疗领域由于缺乏大规模医生标注的数据，在进行医疗视频检测时，往往缺乏对医疗视频中图像上下文信息的利用，从而会影响医疗视频检测的准确性。例如，在传统的甲状腺视频结节诊断时，主要通过对甲状腺进行横切，纵切扫描，并对整个扫描视频中可能出现结节的片段进行留图，再进行甲状腺结节位置判断，在这过程中，往往缺乏对甲状腺视频中甲状腺图像上下文信息的利用，从而会影响甲状腺视频结节位置检测的准确性。
技术实现思路
本专利技术提供一种基于视频流的目标物位置检测方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高基于视频流的目标物位置检测的准确性。为实现上述目的，本专利技术提供的一种基于视频流的目标物位置检测方法，包括：获取视频流，对所述视频流进行图像分帧，得到分帧图像集；利用预训练的目标区域检测模型检测所述分帧图像集中每个分帧图像的目标区域，得到目标图像集；利用预训练的目标物位置序列识别模型识别所述目标图像集中每个目标图像的目标物位置序列，从所述目标物位置序列中筛选出异常的目标物位置序列，从所述目标图像集删除所述异常的目标物位置序列对应的目标图像，得到标准目标图像集；将所述标准目标图像集中所有的目标图像进行图像关联，根据图像关联后的所述标准目标图像集，识别出所述视频流中的目标物位置。可选地，所述利用预训练的目标区域检测模型检测所述分帧图像集中每个分帧图像的目标区域，得到目标图像集，包括：利用所述目标区域检测模型的卷积层对所述分帧图像进行卷积操作，得到特征图像；利用所述目标区域检测模型的金字塔池化层对所述特征图像进行降维操作，得到标准特征图像；利用所述目标区域检测模型的融合层将所述分帧图像的底层特征与所述标准特征图像进行融合，得到目标特征图像；利用所述目标区域检测模型的激活函数输出所述目标特征图像的检测结果；根据所述检测结果，从所述分帧图像中筛选出存在目标区域的分帧图像，得到目标图像集。可选地，所述利用所述目标区域检测模型的卷积层对所述分帧图像进行卷积操作，得到特征图像，包括：可选地，所述利用预训练的目标物位置序列识别模型识别所述目标图像集中每个目标图像的目标物位置序列，包括：通过所述目标物位置序列识别模型的输入门计算所述目标图像的状态值；通过所述目标物位置序列识别模型的遗忘门计算所述目标图像的激活值；根据所述状态值和激活值计算所述目标图像的状态更新值；利用所述目标物位置序列识别模型的输出门计算所述状态更新值的初始位置序列；计算所述初始位置序列与对应目标图像标签的损失值，选取损失值小于预设阈值的初始位置序列，得到对应目标图像的目标物位置序列。可选地，所述根据所述状态值和激活值计算所述目标图像的状态更新值，包括：利用下述方法计算所述状态更新值：其中，表示状态更新值，表示目标图像在输入门t-1时刻的峰值，表示目标图像在遗忘门t-1时刻的峰值。可选地，所述利用所述目标物位置序列识别模型的输出门计算所述状态更新值的初始位置序列，包括：利用下述函数计算所述状态更新值的初始位置序列：其中，表示初始位置序列，表示输出门的激活函数，表示状态更新值。可选地，所述对所述视频流进行图像分帧，得到分帧图像集，包括：查询所述视频流的总帧数；基于所述总帧数，将所述视频流分割成多张分帧图片；将所述多张分帧图片转换为图片格式，得到分帧图像集。可选地，所述视频流为甲状腺视频流。为了解决上述问题，本专利技术还提供一种基于视频流的目标物位置检测装置，所述装置包括：分帧模块，用于获取视频流，对所述视频流进行图像分帧，得到分帧图像集；检测模块，用于利用预训练的目标区域检测模型检测所述分帧图像集中每个分帧图像的目标区域，得到目标图像集；识别模块，用于利用预训练的目标物位置序列识别模型识别所述目标图像集中每个目标图像的目标物位置序列，从所述目标物位置序列中筛选出异常的目标物位置序列，从所述目标图像集删除所述异常的目标物位置序列对应的目标图像，得到标准目标图像集；关联模块，用于将所述标准目标图像集中所有的目标图像进行图像关联，根据图像关联后的所述标准目标图像集，识别出所述视频流中的目标物位置。为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于视频流的目标物位置检测方法。为了解决上述问题，本专利技术还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的基于视频流的目标物位置检测方法。本专利技术实施例首先对获取视频流进行图像分帧，得到分帧图像集，以实现对所述视频流中每一帧的图像进行结节检测，提高所述视频流的结节检测准确性；其次，本专利技术实施例检测所述分帧图像集中每个分帧图像的目标区域，得到目标图像集，并识别所述目标图像集中每个目标图像的目标物位置序列，及删除所述目标物位置序列中异常目标物位置序列对应的目标图像，得到目标图像集，很好的利用了目标图像中目标物位置序列的上下文信息，识别出目标图像中存在异常目标物位置序列的目标图像，从而提高了视频流中结节检测的准确性；进一步的，本专利技术实施例将所述目标图像集中所有的目标图像进行图像关联，根据图像关联后的所述目标图像集，识别出所述视频流的结节位置，可以很好的查看出视频流存在的结节位置分布情况，从而可以帮助用户查找到视频流中最显著的结节。因此，本专利技术提出的一种基于视频流的目标物位置检测方法、装置、电子设备以及计算机可读存储介质可以提高基于视频流的目标物位置检测的准确性。附图说明图1为本专利技术实施例提供的基于视频流的目标物位置检测方法的流程示意图；图2为本专利技术第实施例中图1提供的基于视频流的目标物位置检测方法中其中一个步骤的详细流程示意图；图3为本专利技术第实施例中图1提供的基于视频流的目标物位置检测方法中另外一个步骤的详细流程示意图；图4为本专利技术第实施例中图1提供的基于视频流的目标物位置检测方法中另外一个步骤的详细流程示意图；图5为本专利技术实施例提供的基于视频流的目标物位置检测装置的模块示意图；图6为本专利技术实施例提供的实现基于视频流的目标物位置检测方法的电子设备的内部结构示意图；本专利技术目的本文档来自技高网...

【技术保护点】
1.一种基于视频流的目标物位置检测方法，其特征在于，所述方法包括：/n获取视频流，对所述视频流进行图像分帧，得到分帧图像集；/n利用预训练的目标区域检测模型检测所述分帧图像集中每个分帧图像的目标区域，得到目标图像集；/n利用预训练的目标物位置序列识别模型识别所述目标图像集中每个目标图像的目标物位置序列，从所述目标物位置序列中筛选出异常的目标物位置序列，从所述目标图像集删除所述异常的目标物位置序列对应的目标图像，得到标准目标图像集；/n将所述标准目标图像集中所有的目标图像进行图像关联，根据图像关联后的所述标准目标图像集，识别出所述视频流中的目标物位置。/n

【技术特征摘要】
1.一种基于视频流的目标物位置检测方法，其特征在于，所述方法包括：
获取视频流，对所述视频流进行图像分帧，得到分帧图像集；
利用预训练的目标区域检测模型检测所述分帧图像集中每个分帧图像的目标区域，得到目标图像集；
利用预训练的目标物位置序列识别模型识别所述目标图像集中每个目标图像的目标物位置序列，从所述目标物位置序列中筛选出异常的目标物位置序列，从所述目标图像集删除所述异常的目标物位置序列对应的目标图像，得到标准目标图像集；
将所述标准目标图像集中所有的目标图像进行图像关联，根据图像关联后的所述标准目标图像集，识别出所述视频流中的目标物位置。


2.如权利要求1所述的基于视频流的目标物位置检测方法，其特征在于，所述利用预训练的目标区域检测模型检测所述分帧图像集中每个分帧图像的目标区域，得到目标图像集，包括：
利用所述目标区域检测模型的卷积层对所述分帧图像进行卷积操作，得到特征图像；
利用所述目标区域检测模型的金字塔池化层对所述特征图像进行降维操作，得到标准特征图像；
利用所述目标区域检测模型的融合层将所述分帧图像的底层特征与所述标准特征图像进行融合，得到目标特征图像；
利用所述目标区域检测模型的激活函数输出所述目标特征图像的检测结果；
根据所述检测结果，从所述分帧图像中筛选出存在目标区域的分帧图像，得到目标图像集。


3.如权利要求1所述的基于视频流的目标物位置检测方法，其特征在于，所述利用预训练的目标物位置序列识别模型识别所述目标图像集中每个目标图像的目标物位置序列，包括：
通过所述目标物位置序列识别模型的输入门计算所述目标图像的状态值；
通过所述目标物位置序列识别模型的遗忘门计算所述目标图像的激活值；
根据所述状态值和激活值计算所述目标图像的状态更新值；
利用所述目标物位置序列识别模型的输出门计算所述状态更新值的初始位置序列；
计算所述初始位置序列与对应目标图像标签的损失值，选取损失值小于预设阈值的初始位置序列，得到对应目标图像的目标物位置序列。


4.如权利要求3所述的基于视频流的目标物位置检测方法，其特征在于，所述根据所述状态值和激活值计算所述目标图像的状态更新值，包括：
利用下述方法计算所述状态更新值：



...

【专利技术属性】
技术研发人员：徐埌，陈超，侯怡卿，詹维伟，黄凌云，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44