【技术实现步骤摘要】
本公开实施例涉及人工智能，尤其涉及一种特征数据压缩方法、装置、电子设备及存储介质。
技术介绍
1、当前，随着大语言模型的在多个领域的应用和发展，衍生出了多种多样的多模态大模型，尤其在对视频内容解析和理解的应用领域，具备视觉感知能力的多模态大模型被用户所广泛使用。
2、现有技术中，在用户使用多模态大模型处理视频内容时，常通过对待处理视频的视频内容进行编码处理，生成视频的特征数据，进而大语言模型基于对特征数据和用户输入的用户指令特征进行耦合处理，即可生成用户指令特征对应的视频信息。
3、现有技术中的上述方案，存在待处理视频的特征数据的数据量过大的问题。
技术实现思路
1、本公开实施例提供一种特征数据压缩方法、装置、电子设备及存储介质，以克服待处理视频的特征数据的数据量过大的问题。
2、第一方面，本公开实施例提供一种特征数据压缩方法，包括：
3、获取目标视频的初始特征序列，所述初始特征序列表征所述目标视频的视频内容特征；根据所述初始特征序列，分别生成加强查询数据和格式化特征数据，其中，所述加强查询数据基于全局特征数据构造，所述全局特征数据是针对所述初始特征序列的时间维度进行降维后的数据，所述格式化特征数据是基于目标数据格式对所述初始特征序列进行格式重塑后的数据；通过特征增强模型，分别处理所述加强查询数据和所述格式化特征数据，得到所述目标视频的压缩特征数据，其中，所述特征增强模型中包含有多个交叉注意力层，所述多个交叉注意力层用于基于所述加强查
4、第二方面，本公开实施例提供一种特征数据压缩装置，包括：
5、获取模块，用于获取目标视频的初始特征序列，所述初始特征序列表征所述目标视频的视频内容特征；
6、生成模块，用于根据所述初始特征序列，分别生成加强查询数据和格式化特征数据，其中，所述加强查询数据基于全局特征数据构造，所述全局特征数据是针对所述初始特征序列的时间维度进行降维后的数据，所述格式化特征数据是基于目标数据格式对所述初始特征序列进行格式重塑后的数据；
7、处理模块，用于通过特征增强模型，分别处理所述加强查询数据和所述格式化特征数据，得到所述目标视频的压缩特征数据，其中，所述特征增强模型中包含有多个交叉注意力层，所述多个交叉注意力层用于基于所述加强查询数据和所述格式化特征数据的相关性，逐步提取所述格式化特征数据中的关键特征，以生成所述压缩特征数据。
8、第三方面，本公开实施例提供一种电子设备，包括：处理器和存储器；
9、所述存储器存储计算机执行指令；
10、所述处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的特征数据压缩方法。
11、第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的特征数据压缩方法。
12、第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的特征数据压缩方法。
13、本实施例提供的特征数据压缩方法、装置、电子设备及存储介质，通过获取目标视频的初始特征序列，所述初始特征序列表征所述目标视频的视频内容特征；根据所述初始特征序列，分别生成加强查询数据和格式化特征数据，其中，所述加强查询数据基于全局特征数据构造，所述全局特征数据是针对所述初始特征序列的时间维度进行降维后的数据，所述格式化特征数据是基于目标数据格式对所述初始特征序列进行格式重塑后的数据；通过特征增强模型，分别处理所述加强查询数据和所述格式化特征数据，得到所述目标视频的压缩特征数据，其中，所述特征增强模型中包含有多个交叉注意力层，所述多个交叉注意力层用于基于所述加强查询数据和所述格式化特征数据的相关性，逐步提取所述格式化特征数据中的关键特征，以生成所述压缩特征数据。通过利用初始特征序列，生成由全局特征数据构造的加强查询数据，进而通过交叉注意力层，对加强查询数据和对初始特征序列进行格式化后生成的格式化特征数据进行处理，得到压缩特征数据，由于加强查询数据中包含有基于时间维度进行降维的全局特征数据，基于它通过多层交叉注意力层来逐步提取和压缩视频特征，实现持续对关键特征的关注，一方面，降低了通过交叉注意力提取到的关键特征的数据量，另一方面，利用全局特征数据中的信息，提高了所得到的关键特征的准确性，提高最终输出的压缩特征数据的特征有效性，解决了待处理视频(目标视频)的特征数据的数据量过大的问题，进而提高了多模态大模型处理数据的处理效率和准确性。
本文档来自技高网...【技术保护点】
1.一种特征数据压缩方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述初始特征序列包括时间维度分量、空间维度分量和通道维度分量，其中，所述时间维度分量用于表征所述目标视频的播放时间序列、所述空间维度分量用于表征所述播放时间序列中各时间戳对应的视频帧的图像特征，所述通道维度分量用于表征所述图像特征的特征通道数量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述初始特征序列，生成加强查询数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求2所述的方法，其特征在于，所述根据所述初始特征序列，生成格式化特征数据，包括：
6.根据权利要求1所述的方法，其特征在于，所述通过特征增强模型，分别处理所述加强查询数据和所述格式化特征数据，得到所述目标视频的压缩特征数据，包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.根据权利要求6所述的方法，其特征在于，所述格式化特征数据包括键序列和值序列，所述通过当前交叉注意力层，处理对应
9.一种特征数据压缩装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：处理器和存储器；
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至8任一项所述的特征数据压缩方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的特征数据压缩方法。
...【技术特征摘要】
1.一种特征数据压缩方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述初始特征序列包括时间维度分量、空间维度分量和通道维度分量，其中，所述时间维度分量用于表征所述目标视频的播放时间序列、所述空间维度分量用于表征所述播放时间序列中各时间戳对应的视频帧的图像特征，所述通道维度分量用于表征所述图像特征的特征通道数量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述初始特征序列，生成加强查询数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求2所述的方法，其特征在于，所述根据所述初始特征序列，生成格式化特征数据，包括：
6.根据权利要求1所述的方法，其特征在于，所述通过特征增强模型，分别处理所述加强查询数据和所述格式化特征数据，得到所述目标...
【专利技术属性】
技术研发人员：肖志宾，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。