检索方法及装置、存储介质制造方法及图纸

本申请公开了一种检索方法及装置、存储介质，其中，所述的方法包括：确定文本和至少一个视频之间的第一相似度，所述文本用于表征检索条件；确定所述文本的第一人物互动图和所述至少一个视频的第二人物互动图；确定所述第一人物互动图和所述第二人物互动图之间的第二相似度；根据所述第一相似度和所述第二相似度，从所述至少一个视频中确定出与所述检索条件相匹配的视频。

Retrieval method, device and storage medium

【技术实现步骤摘要】
检索方法及装置、存储介质
本申请涉及计算机视觉
，具体涉及一种检索方法及装置、存储介质。
技术介绍
在现实生活中，根据一段文字描述，在视频数据库中检索符合文字描述的视频这项功能有着广泛的需求。传统的检索方法通常将文字编码为词向量，同时将视频编码成视频特征向量。但是，传统的检索方法，检索效率低，匹配正确率差。
技术实现思路
本申请提供一种检索方法的技术方案。第一方面，本申请实施例提供了一种检索方法，所述方法包括：确定文本和至少一个视频之间的第一相似度，所述文本用于表征检索条件；确定所述文本的第一人物互动图和所述至少一个视频的第二人物互动图；确定所述第一人物互动图和所述第二人物互动图之间的第二相似度；根据所述第一相似度和所述第二相似度，从所述至少一个视频中确定出与所述检索条件相匹配的视频。如此，相对于传统的基于特征的检索算法，本申请通过确定文本和至少一个视频之间的第一相似度，所述文本的第一人物互动图和所述至少一个视频的第二人物互动图之间的第二相似度，可以利用文字本身的语法结构以及视频本身的事件结构等信息，进行视频检索，从而能提高根据文本描述检索视频如电影的准确率。上述方案中，可选地，所述确定文本和至少一个视频之间的第一相似度，包括：确定所述文本的段落特征；确定所述至少一个视频的视频特征；根据所述文本的段落特征和所述至少一个视频的视频特征，确定所述文本和所述至少一个视频之间的第一相似度。如此，通过分析文本的段落特征和视频的视频特征来确定第一相似度，可得到视频和文本直接匹配的相似度，为后续确定与检索条件相匹配的视频提供参考依据。上述方案中，可选地，所述段落特征包括句子特征和句子的数量；所述视频特征包括镜头特征和镜头的数量。如此，通过将句子特征和句子的数量作为文本的段落特征，将镜头特征和镜头的数量作为视频的视频特征，对文本和视频进行了量化，进而能够为分析文本的段落特征和视频的视频特征提供分析依据。上述方案中，可选地，所述确定所述文本的第一人物互动图，包括：检测所述文本中包含的人名；在数据库中搜索到所述人名对应的人物的肖像，并提取所述肖像的图像特征，得到所述人物的角色节点；解析确定所述文本的语义树，基于所述语义树得到所述人物的运动特征，得到所述人物的动作节点；将每个所述人物对应的角色节点和动作节点连接；其中，所述人物的角色节点用肖像的图像特征表征；所述人物的动作节点采用语义树中的运动特征表征。如此，文本中的句子通常遵循与事件中的情景相似的顺序，每一段文本都描述了视频中的一个事件，通过构建文本的人物交互图来捕捉视频的叙事结构，为后续确定与检索条件相匹配的视频提供参考依据。上述方案中，可选地，所述方法还包括：将连接同一动作节点的角色节点相互连接。如此，有助于更好地构建文本的人物交互图，进而更好地捕捉视频的叙事结构。上述方案中，可选地，所述检测所述文本中包含的人名，包括：将所述文本中的代词替换为所述代词所代表的所述人名。如此，防止漏掉文本中用非人名表示的人物，能够对文本中描述的所有人物进行分析，进而提高确定文本的人物互动图的准确率。上述方案中，可选地，所述确定所述至少一个视频的第二人物互动图，包括：检测出所述至少一个视频的每个镜头中的人物；提取所述人物的人体特征与运动特征；将所述人物的人体特征附加到所述人物的角色节点上，将所述人物的运动特征附加到所述人物的动作节点上；将每个人物对应的角色节点和动作节点相连。如此，由于人物之间的相互作用经常在文本中描述，角色之间的互动在视频故事中扮演着重要的角色，为了结合这一点，本申请提出了一个基于图表表示的人物交互图，通过确定视频的人物交互图和文本的人物交互图之间的相似度，为后续确定与检索条件相匹配的视频提供参考依据。上述方案中，可选地，所述确定所述至少一个视频的第二人物互动图，还包括：将同时出现在一个镜头中的一组人物作为同组人物，将所述同组人物中的人物的角色节点两两相连。如此，有助于更好地构建视频的人物交互图，进而更好地捕捉视频的叙事结构。上述方案中，可选地，所述确定所述至少一个视频的第二人物互动图，还包括：将一个镜头中的一位人物和其相邻镜头的每个人物的角色节点都相连。如此，有助于更好地构建视频的人物交互图，进而更好地捕捉视频的叙事结构。上述方案中，可选地，所述根据所述第一相似度和所述第二相似度，从所述至少一个视频中确定出与所述检索条件相匹配的视频，包括：对每个视频的所述第一相似度和所述第二相似度加权求和，得到每个视频的相似度值；将相似度值最高的视频，确定为与所述检索条件相匹配的视频。如此，结合第一相似度和第二相似度来确定与检索条件相匹配的视频，能提高根据文本描述检索视频的准确率。上述方案中，可选地，所述检索方法通过检索网络实现，所述方法还包括：确定文本和训练样本集中的视频之间的第一相似度预测值，所述文本用于表征检索条件；确定所述文本的第一人物互动图和所述训练样本集中的视频的第二人物互动图之间的第二相似度；根据所述第一相似度预测值与所述第一相似度真值确定所述第一相似度的损失；根据所述第二相似度预测值与所述第二相似度真值确定所述第二相似度的损失；根据所述第一相似度的损失以及所述第二相似度的损失，结合损失函数确定总损失值；根据所述总损失值调整所述检索网络的权重参数。如此，通过检索网络实现检索，有助于快速检索出与文本描述相匹配的视频。上述方案中，可选地，所述检索网络包括第一子网络以及第二子网络；所述第一子网络用于确定文本与视频的第一相似度，所述第二子网络用于确定所述文本的第一人物互动图和所述视频的第二人物互动图之间的相似度；所述根据所述总损失值调整所述检索网络的权重参数，包括：基于所述总损失值调整所述第一子网络以及所述第二子网络的权重参数。如此，通过不同的子网络分别确定不同的相似度，有助于快速得到与检索条件相关的第一相似度和第二相似度，进而能够快速检索出与检索条件相适应的视频。第二方面，本申请实施例提供了一种检索装置，所述装置包括：第一确定模块，用于确定文本和至少一个视频之间的第一相似度，所述文本用于表征检索条件；第二确定模块，用于确定所述文本的第一人物互动图和所述至少一个视频的第二人物互动图；确定所述第一人物互动图和所述第二人物互动图之间的第二相似度；处理模块，用于根据所述第一相似度和所述第二相似度，从所述至少一个视频中确定出与所述检索条件相匹配的视频。上述方案中，可选地，所述第一确定模块，用于：确定所述文本的段落特征；确定所述至少一个视频的视频特征；根据所述文本的段落特征和所述至少一个视频的视频特征，确定所述文本和所述至少一个视频之间的第一相似度。上述方案中，可选地，所述段落特征包括句子特征和句子的数量；所述视频特征包括镜头特征和镜头的数量。上述方案中，可选地，所述第二确定模块，用于：检测所述文本中包含的人名；在数据库中搜索到所述人名对应的人物的肖像，并提取所述肖像的图像特征，得到所述人本文档来自技高网...

【技术保护点】
1.一种检索方法，其特征在于，所述方法包括：/n确定文本和至少一个视频之间的第一相似度，所述文本用于表征检索条件；/n确定所述文本的第一人物互动图和所述至少一个视频的第二人物互动图；/n确定所述第一人物互动图和所述第二人物互动图之间的第二相似度；/n根据所述第一相似度和所述第二相似度，从所述至少一个视频中确定出与所述检索条件相匹配的视频。/n

【技术特征摘要】
1.一种检索方法，其特征在于，所述方法包括：
确定文本和至少一个视频之间的第一相似度，所述文本用于表征检索条件；
确定所述文本的第一人物互动图和所述至少一个视频的第二人物互动图；
确定所述第一人物互动图和所述第二人物互动图之间的第二相似度；
根据所述第一相似度和所述第二相似度，从所述至少一个视频中确定出与所述检索条件相匹配的视频。


2.根据权利要求1所述的检索方法，其特征在于，所述确定文本和至少一个视频之间的第一相似度，包括：
确定所述文本的段落特征；
确定所述至少一个视频的视频特征；
根据所述文本的段落特征和所述至少一个视频的视频特征，确定所述文本和所述至少一个视频之间的第一相似度。


3.根据权利要求2所述的检索方法，其特征在于，所述段落特征包括句子特征和句子的数量；所述视频特征包括镜头特征和镜头的数量。


4.根据权利要求1至3任一项所述的检索方法，其特征在于，所述确定所述文本的第一人物互动图，包括：
检测所述文本中包含的人名；
在数据库中搜索到所述人名对应的人物的肖像，并提取所述肖像的图像特征，得到所述人物的角色节点；
解析确定所述文本的语义树，基于所述语义树得到所述人物的运动特征，得到所述人物的动作节点；
将每个所述人物对应的角色节点和动作节点连接；
其中，所述人物的角色节点用肖像的图像特征表征；所述人物的动作节点采用语义树中的运动特征表征。


5.根据权利要求4所述的检索方法，其特征在于，所...

【专利技术属性】
技术研发人员：熊宇，黄青虬，郭凌峰，周航，周博磊，林达华，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11