视频片段查询方法、装置、计算机设备及存储介质制造方法及图纸

本申请是关于一种视频片段查询方法、装置、计算机设备及存储介质。该方法包括：根据查询文本和目标视频获取文本视频交互信息；根据所述文本视频交互信息获取上下文交互信息；根据所述上下文交互信息获取所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息；根据所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息，获取所述目标视频中与所述查询文本相匹配的目标视频片段，提供一种通过文本准确的查询目标视频中的特定视频片段的方案，该方案不需要用户手动调整播放进度来寻找自己感兴趣的视频片段，从而显著的提高从视频中查询特定片段的效率。

【技术实现步骤摘要】
视频片段查询方法、装置、计算机设备及存储介质
本申请实施例涉及视频处理
，特别涉及一种视频片段查询方法、装置、计算机设备及存储介质。
技术介绍
随着计算机以及网络技术的不断发展，视频播放已经逐渐成为用户使用计算机设备进行网络活动的过程中，使用时间最长，且使用最频繁的功能之一。用户通过计算机设备播放一段视频时，可能只对其中特定的内容感兴趣。在相关技术中，为了便于用户快速查找到自己感兴趣的视频片段，视频播放器通常提供播放进度调节功能，在播放一个视频的过程中，用户可以通过拖动进度条等操作调节当前播放进度，以尽快调整到自己感兴趣的视频片段。然而，相关技术中需要用户手动调整播放进度来寻找自己感兴趣的视频片段，当视频总播放时长较长，和/或用户想要寻找的视频片段较短时，可能需要用户反复调整播放进度，导致在视频中查询特定的视频片段的效率较低。
技术实现思路
本申请实施例提供了一种视频片段查询方法、装置、计算机设备及存储介质，可以提高在视频中查询特定的视频片段的效率，该技术方案如下：一方面，提供了一种视频片段查询方法，所述方法包括：根据查询文本和目标视频获取文本视频交互信息，所述文本视频交互信息包括所述目标视频中的各个视频帧对应的相关元素，所述相关元素用于指示对应的视频帧与所述查询文本之间的相关性；根据所述文本视频交互信息获取上下文交互信息，所述上下文交互信息用于指示所述各个视频帧对应的相关元素之间的关联关系；根据所述上下文交互信息获取所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息；所述锚点片段是所述目标视频中以对应的视频帧为结尾的视频片段，所述匹配概率信息指示对应的锚点片段与所述查询文本相匹配的概率，所述边界概率信息指示对应的视频帧是目标边界的概率，所述目标边界是与所述查询文本相匹配的视频片段的边界；根据所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息，获取所述目标视频中与所述查询文本相匹配的目标视频片段。一方面，提供了一种视频片段查询方法，所述方法包括：展示播放目标视频的视频播放界面，所述视频播放界面中包含查询控件；接收到对所述查询控件的触发操作时，获取基于所述查询控件输入的查询文本；向服务器发送包含所述查询文本的查询请求；所述查询请求用于触发所述服务器根据所述查询所述文本和所述目标视频获取文本视频交互信息，所述文本视频交互信息包括所述目标视频中的各个视频帧对应的相关元素，所述相关元素用于指示对应的视频帧与所述查询文本之间的相关性，根据所述文本视频交互信息获取上下文交互信息，所述上下文交互信息用于指示所述各个视频帧对应的相关元素之间的关联关系，根据所述上下文交互信息获取所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息，所述锚点片段是所述目标视频中以对应的视频帧为结尾的视频片段，所述匹配概率信息指示对应的锚点片段与所述查询文本相匹配的概率，所述边界概率信息指示对应的视频帧是目标边界的概率，所述目标边界是与所述查询文本相匹配的视频片段的边界，根据所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息，获取所述目标视频中与所述查询文本相匹配的目标视频片段；接收所述服务器返回的查询结果，所述查询结果用于指示所述目标视频片段；根据所述查询结果将所述目标视频的播放进度调整至所述目标视频片段的起始位置。另一方面，提供了一种视频片段查询装置，所述装置包括：文本视频交互信息获取模块，用于根据查询文本和目标视频获取文本视频交互信息，所述文本视频交互信息包括所述目标视频中的各个视频帧对应的相关元素，所述相关元素用于指示对应的视频帧与所述查询文本之间的相关性；上下文交互信息获取模块，用于根据所述文本视频交互信息获取上下文交互信息，所述上下文交互信息用于指示所述各个视频帧对应的相关元素之间的关联关系；概率获取模块，用于根据所述上下文交互信息获取所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息；所述锚点片段是所述目标视频中以对应的视频帧为结尾的视频片段，所述匹配概率信息指示对应的锚点片段与所述查询文本相匹配的概率，所述边界概率信息指示对应的视频帧是目标边界的概率，所述目标边界是与所述查询文本相匹配的视频片段的边界；视频片段获取模块，用于根据所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息，获取所述目标视频中与所述查询文本相匹配的目标视频片段。可选的，所述文本视频交互信息获取模块，用于，获取所述查询文本中的各个词语之间的依赖关系；获取各个视频帧之间的依赖关系；根据所述各个词语之间的依赖关系，以及所述各个视频帧之间的依赖关系获取所述文本视频交互信息。可选的，在获取所述查询文本中的各个词语之间的依赖关系时，文本视频交互信息获取模块，用于，将所述各个词语的嵌入表征向量依次输入第一长短期记忆网络LSTM，将所述第一LSTM对所述各个词语进行处理获得的第一隐向量获取为所述各个词语之间的依赖关系；在获取各个视频帧之间的依赖关系时，文本视频交互信息获取模块，用于，将所述各个视频帧的特征信息依次输入第二LSTM，将所述第二LSTM对所述各个视频帧的特征信息进行处理获得的第二隐向量获取为所述各个视频帧之间的依赖关系。可选的，在根据所述各个词语之间的依赖关系，以及所述各个视频帧之间的依赖关系获取所述文本视频交互信息时，文本视频交互信息获取模块，用于，根据所述第二隐向量对所述第一隐向量进行基于注意力机制的加权处理，获得文本特征隐向量；将所述文本特征隐向量与所述第二隐向量进行拼接，获得第一拼接向量；将所述第一拼接向量输入第三LSTM，将所述第三LSTM对所述第一拼接向量进行处理获得的第三隐向量获取为所述文本视频交互信息。可选的，所述上下文交互信息获取模块，用于，获取所述各个视频帧对应的相关元素各自的相关性权重，所述相关性权重用于指示对应的元素与前后预设范围内的各个元素之间的相关性；根据所述各个视频帧对应的相关元素各自的相关性权重，对所述各个视频帧对应的相关元素进行上下文融合，获得上下文融合信息；根据所述上下文融合信息获取所述上下文交互信息。可选的，在根据所述上下文融合信息获取所述上下文交互信息时，上下文交互信息获取模块，用于，通过残差连接的方式将所述上下文融合信息与所述文本视频交互信息进行拼接，获得所述上下文交互信息。可选的，所述概率获取模块，用于，通过第一分类器对所述上下文交互信息进行处理，获得所述各个视频帧对应的锚点片段的匹配概率信息；通过第二分类器对所述上下文交互信息进行处理，获得所述各个视频帧的边界概率信息。可选的，所述视频片段获取模块，用于，通过所述各个视频帧的边界概率信息，对所述各个视频帧对应的锚点片段的匹配概率信息进行修正，获得所述各个视频帧对应的锚点片段的修正匹配概率信息；根据所述各个视频帧对应的锚点片段的修正匹配概率信息，从所述各个视频帧对应的锚点片段中获取所述目标视频片段。可选的，在通过所述各个视频帧的边界概率信息，对所述各个视频帧对应的锚点片段的匹配概率信息进行修正，获得所述各个视频帧对应的锚点片段的修正匹配概率信息时，视频片段获取模块，用于，获取目标锚点片段的第一个视本文档来自技高网...

【技术保护点】
1.一种视频片段查询方法，其特征在于，所述方法包括：根据查询文本和目标视频获取文本视频交互信息，所述文本视频交互信息包括所述目标视频中的各个视频帧对应的相关元素，所述相关元素用于指示对应的视频帧与所述查询文本之间的相关性；根据所述文本视频交互信息获取上下文交互信息，所述上下文交互信息用于指示所述各个视频帧对应的相关元素之间的关联关系；根据所述上下文交互信息获取所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息；所述锚点片段是所述目标视频中以对应的视频帧为结尾的视频片段，所述匹配概率信息指示对应的锚点片段与所述查询文本相匹配的概率，所述边界概率信息指示对应的视频帧是目标边界的概率，所述目标边界是与所述查询文本相匹配的视频片段的边界；根据所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息，获取所述目标视频中与所述查询文本相匹配的目标视频片段。

【技术特征摘要】
1.一种视频片段查询方法，其特征在于，所述方法包括：根据查询文本和目标视频获取文本视频交互信息，所述文本视频交互信息包括所述目标视频中的各个视频帧对应的相关元素，所述相关元素用于指示对应的视频帧与所述查询文本之间的相关性；根据所述文本视频交互信息获取上下文交互信息，所述上下文交互信息用于指示所述各个视频帧对应的相关元素之间的关联关系；根据所述上下文交互信息获取所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息；所述锚点片段是所述目标视频中以对应的视频帧为结尾的视频片段，所述匹配概率信息指示对应的锚点片段与所述查询文本相匹配的概率，所述边界概率信息指示对应的视频帧是目标边界的概率，所述目标边界是与所述查询文本相匹配的视频片段的边界；根据所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息，获取所述目标视频中与所述查询文本相匹配的目标视频片段。2.根据权利要求1所述的方法，其特征在于，所述根据查询文本和目标视频获取文本视频交互信息，包括：获取所述查询文本中的各个词语之间的依赖关系；获取各个视频帧之间的依赖关系；根据所述各个词语之间的依赖关系，以及所述各个视频帧之间的依赖关系获取所述文本视频交互信息。3.根据权利要求2所述的方法，其特征在于，所述获取所述查询文本中的各个词语之间的依赖关系，包括：将所述各个词语的嵌入表征向量依次输入第一长短期记忆网络LSTM，将所述第一LSTM对所述各个词语进行处理获得的第一隐向量获取为所述各个词语之间的依赖关系；所述获取各个视频帧之间的依赖关系，包括：将所述各个视频帧的特征信息依次输入第二LSTM，将所述第二LSTM对所述各个视频帧的特征信息进行处理获得的第二隐向量获取为所述各个视频帧之间的依赖关系。4.根据权利要求3所述的方法，其特征在于，所述根据所述各个词语之间的依赖关系，以及所述各个视频帧之间的依赖关系获取所述文本视频交互信息，包括：根据所述第二隐向量对所述第一隐向量进行基于注意力机制的加权处理，获得文本特征隐向量；将所述文本特征隐向量与所述第二隐向量进行拼接，获得第一拼接向量；将所述第一拼接向量输入第三LSTM，将所述第三LSTM对所述第一拼接向量进行处理获得的第三隐向量获取为所述文本视频交互信息。5.根据权利要求1所述的方法，其特征在于，所述根据所述文本视频交互信息获取上下文交互信息，包括：获取所述各个视频帧对应的相关元素各自的相关性权重，所述相关性权重用于指示对应的元素与前后预设范围内的各个元素之间的相关性；根据所述各个视频帧对应的相关元素各自的相关性权重，对所述各个视频帧对应的相关元素进行上下文融合，获得上下文融合信息；根据所述上下文融合信息获取所述上下文交互信息。6.根据权利要求5所述的方法，其特征在于，所述根据所述上下文融合信息获取所述上下文交互信息，包括：通过残差连接的方式将所述上下文融合信息与所述文本视频交互信息进行拼接，获得所述上下文交互信息。7.根据权利要求1至6任一所述的方法，其特征在于，所述根据所述上下文交互信息获取所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息，包括：通过第一分类器对所述上下文交互信息进行处理，获得所述各个视频帧对应的锚点片段的匹配概率信息；通过第二分类器对所述上下文交互信息进行处理，获得所述各个视频帧的边界概率信息。8.根据权利要求1至6任一所述的方法，其特征在于，所述根据所述各个视频帧对应的锚点片段的匹配概率信息，以及所述各个视频帧的边界概率信息，获取所述目标视频中与所述查询文本相匹配的目标视频片段，包括：通过所述各个视频帧的边界概率信息，对所述各个视频帧对应的锚点片段的匹配概率信息进行修正，获得所述各个视频帧对应的锚点片段的修正匹配概率信息；根据所述各个视频帧对应的锚点片段的修正匹配概率信息，从所述各个视频帧对应的锚点片段中获取所述目标视频片段。9.根据权利要求8所述的方法，其特征在于，所述通过所述各个视频帧的边界概率信息，对所述各个视频帧对应的锚点片段的匹配概率信息进行修正，获得所述各个视频帧对应的锚点片段的修正匹配概率信息，包括：获取目标锚点片段的第一个视频帧的边界概率信息，以及所述目标锚点片段的最后一个视频帧的边界概率信息；...

【专利技术属性】
技术研发人员：王景文，马林，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44