【技术实现步骤摘要】
本公开涉及人工智能领域，尤其涉及大模型、深度学习领域和图像处理领域。
技术介绍
1、随着大语言模型(large language model，llm)在人工智能领域的成功，其在视觉-语言融合中的应用得到了极大拓展。在一些应用场景中，需要充分理解视频的内容，对视频帧进行编码是理解视频重要的一环。
技术实现思路
1、本公开提供了一种用于视频处理方法、装置、电子设备和存储介质。
2、根据本公开的一方面，提供了一种视频处理方法，包括：
3、基于视频的t个图像帧中每个图像帧的视觉特征，在图像帧中确定关键帧；其中，t为大于或等于2的整数；
4、基于关键帧对应的事件原型，对关键帧进行编码，得到关键帧的编码信息；其中，事件原型是基于关键帧的视觉特征以及关键帧的邻域帧的视觉特征得到的；
5、基于与视频处理任务关联的文本的特征，对图像帧中除关键帧以外的其他图像帧进行编码，得到其他图像帧的编码信息；
6、基于关键帧的编码信息以及其他图像帧的编码信息，得到视频的处理结果。
7、根据本公开的另一方面，提供了一种视频处理装置，包括：
8、关键帧确定模块，用于基于视频的t个图像帧中每个图像帧的视觉特征，在图像帧中确定关键帧；其中，t为大于或等于2的整数；
9、关键帧编码模块，用于基于关键帧对应的事件原型，对关键帧进行编码，得到关键帧的编码信息；其中，事件原型是基于关键帧的视觉特征以及关键帧的邻域帧的视觉特征得到的；<...
【技术保护点】
1.一种视频处理方法，包括：
2.根据权利要求1所述的方法，其中，所述基于所述关键帧的编码信息以及所述其他图像帧的编码信息，得到所述视频的处理结果，包括：
3.根据权利要求1或2所述的方法，其中，所述基于视频的T个图像帧中每个图像帧的视觉特征，在所述图像帧中确定关键帧，包括：
4.根据权利要求3所述的方法，其中，所述基于所述文本的特征，在所述代表帧中确定所述关键帧，包括：
5.根据权利要求4所述的方法，其中，所述基于每个所述代表帧对应的事件原型以及所述文本的特征，得到每个所述代表帧对应的关联信息，包括：
6.根据权利要求1-5中任一项所述的方法，其中，所述基于所述关键帧对应的事件原型，对所述关键帧进行编码，得到所述关键帧的编码信息，包括：
7.根据权利要求6所述的方法，其中，所述基于所述关键帧对应的空间对象原型以及所述关键帧对应的事件原型，对所述关键帧进行编码，得到所述关键帧的编码信息，包括：
8.根据权利要求1-7中任一项所述的方法，其中，所述基于与视频处理任务关联的文本的特征，对所述图像帧中除
9.根据权利要求8所述的方法，其中，所述基于所述其他图像帧对应的空间对象原型以及所述文本的特征，对所述图像帧中除所述关键帧以外的其他图像帧进行编码，得到所述其他图像帧的编码信息，包括：
10.一种视频处理装置，包括：
11.根据权利要求10所述的装置，其中，所述结果确定模块，还用于：
12.根据权利要求10或11所述的装置，其中，所述关键帧确定模块，包括：
13.根据权利要求12所述的装置，其中，所述关键帧确定子模块，包括：
14.根据权利要求13所述的装置，其中，所述关联确定单元，还用于：
15.根据权利要求10-14中任一项所述的装置，其中，所述关键帧编码模块，包括：
16.根据权利要求15所述的装置，其中，所述关键帧编码子模块，还用于：
17.根据权利要求10-16中任一项所述的装置，其中，所述其他图像帧编码模块，包括：
18.根据权利要求17所述的装置，其中，所述其他图像帧编码子模块，还用于：
19.一种电子设备，包括：
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
...【技术特征摘要】
1.一种视频处理方法，包括：
2.根据权利要求1所述的方法，其中，所述基于所述关键帧的编码信息以及所述其他图像帧的编码信息，得到所述视频的处理结果，包括：
3.根据权利要求1或2所述的方法，其中，所述基于视频的t个图像帧中每个图像帧的视觉特征，在所述图像帧中确定关键帧，包括：
4.根据权利要求3所述的方法，其中，所述基于所述文本的特征，在所述代表帧中确定所述关键帧，包括：
5.根据权利要求4所述的方法，其中，所述基于每个所述代表帧对应的事件原型以及所述文本的特征，得到每个所述代表帧对应的关联信息，包括：
6.根据权利要求1-5中任一项所述的方法，其中，所述基于所述关键帧对应的事件原型，对所述关键帧进行编码，得到所述关键帧的编码信息，包括：
7.根据权利要求6所述的方法，其中，所述基于所述关键帧对应的空间对象原型以及所述关键帧对应的事件原型，对所述关键帧进行编码，得到所述关键帧的编码信息，包括：
8.根据权利要求1-7中任一项所述的方法，其中，所述基于与视频处理任务关联的文本的特征，对所述图像帧中除所述关键帧以外的其他图像帧进行编码，得到所述其他图像帧的编码信息，包括：
9.根据权利要求8所述的方法，其中，所述基于所述其他图像帧对应的空间对象原型以...
【专利技术属性】
技术研发人员：张继丰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。