【技术实现步骤摘要】
本申请涉及多模态，尤其涉及一种视频描述生成方法、装置、终端和计算机可读存储介质。
技术介绍
1、近年来，各种智能监控终端快速兴起，智能监控终端通过监控视频生成对应的视频片段后，会生成该视频片段对应的视频封面图像。然而，用户在查看视频封面图像时，需要对视频封面图像进行进一步的识别以确定该视频封面图像对应的图像内容，使得用户的查看效率较低。
技术实现思路
1、本申请实施例提供一种视频描述生成方法、装置、终端和计算机可读存储介质，可以解决用户在查看视频封面图像时，需要对视频封面图像进行进一步的识别以确定该视频封面图像对应的图像内容，使得用户的查看效率较低的技术问题。
2、第一方面，本申请实施例提供一种视频描述生成方法，应用于服务器，所述方法包括：
3、接收智能家居设备发送的目标事件视频对应的视频封面图像，其中，所述视频封面图像为所述智能家居设备从基础事件对应的目标事件视频中确定的封面图像，所述目标事件视频为所述智能家居设备从所处环境所采集的安防视频中提取出的事件视频；
4、基于视频描述大模型对所述视频封面图像进行图像特征提取处理，得到目标图像特征；
5、基于所述视频描述大模型对所述目标图像特征进行视频描述生成处理，得到针对所述视频封面图像的视频描述。
6、可选地，所述基于视频描述大模型对所述视频封面图像进行图像特征提取处理，得到目标图像特征，包括：
7、基于视频描述大模型对所述视频封面图像进行图像人物特征提取处理得到
8、基于所述人物图像特征、所述事件图像特征和所述场景图像特征得到目标图像特征。
9、可选地，所述对所述视频封面图像进行图像场景特征提取处理得到场景图像特征，包括：
10、获取针对所述智能家居设备设定的基础场景，以及所述基础场景对应的基础场景特征；
11、基于所述视频描述大模型对所述视频封面图像的封面场景和所述基础场景进行区别特征识别处理，得到目标区别特征；
12、基于所述基础场景特征和所述目标区别特征确定场景图像特征。
13、可选地，所述基于所述视频描述大模型对所述目标图像特征进行视频描述生成处理，得到针对所述视频封面图像的视频描述，包括：
14、通过所述视频描述大模型对所述人物图像特征进行人物描述生成处理得到人物描述，对所述事件图像特征进行事件描述生成处理得到事件描述，对所述场景图像特征进行场景描述处理得到场景描述；
15、通过所述视频描述大模型基于所述人物描述、所述事件描述和所述场景描述进行描述关联处理，得到所述视频封面图像的视频描述。
16、可选地，所述基于所述视频描述大模型对所述目标图像特征进行视频描述生成处理，得到针对所述视频封面图像的视频描述之后，还包括：
17、获取所述视频封面图像对应的关联视频封面图像，基于所述视频描述大模型确定所述关联视频封面图像对应的关联视频描述；其中，所述关联视频封面图像为关联事件视频对应的封面图像，所述关联事件视频为所述目标事件视频根据时间关联性从全部事件视频中确定得到；
18、基于所述关联视频描述对所述视频描述进行视频描述关联处理，得到针对所述视频封面图像的视频关联描述。
19、可选地，所述方法还包括：
20、基于基础大模型创建初始视频描述大模型；
21、获取样本视频封面图像，对所述样本视频封面图像标注样本视频描述；
22、将所述样本视频封面图像输入所述初始视频描述大模型进行模型训练，通过所述初始视频描述大模型对所述样本视频封面图像进行图像特征提取处理得到样本图像特征，以及对所述样本图像特征进行视频描述生成处理得到针对所述样本视频封面图像的参考视频描述；
23、在所述模型训练过程中，基于所述样本视频描述和所述参考视频描述对所述初始视频描述大模型进行模型参数调整，得到视频描述大模型。
24、可选地，所述方法还包括：
25、在智能家居管理界面中确定所述目标事件视频对应的目标事件动态栏，在所述目标事件动态栏中显示所述视频封面图像和所述视频描述；
26、响应于针对所述目标事件动态栏的视频查看请求，显示所述视频封面图像对应的目标事件视频。
27、第二方面，本申请实施例提供一种视频描述生成方法，应用于智能家居设备，所述方法包括：
28、采集所处环境的安防视频，从所述安防视频中提取基础事件对应的目标事件视频；
29、确定所述目标事件视频对应的视频封面图像，将所述视频封面图像发送至服务器，以使所述服务器接收智能家居设备发送的目标事件视频对应的视频封面图像，并基于视频描述大模型对所述视频封面图像进行图像特征提取处理得到目标图像特征，以及基于所述视频描述大模型对所述目标图像特征进行视频描述生成处理，得到针对所述视频封面图像的视频描述。
30、第三方面，本申请实施例提供一种视频描述生成装置，应用于智能家居设备，所述装置包括：
31、采集模块，适于采集所处环境的安防视频，从所述安防视频中提取基础事件对应的目标事件视频；
32、发送模块，适于确定所述目标事件视频对应的视频封面图像，将所述视频封面图像发送至服务器，以使所述服务器接收智能家居设备发送的目标事件视频对应的视频封面图像，并基于视频描述大模型对所述视频封面图像进行图像特征提取处理得到目标图像特征，以及基于所述视频描述大模型对所述目标图像特征进行视频描述生成处理，得到针对所述视频封面图像的视频描述。
33、第四方面，本申请实施例提供一种视频描述生成装置，应用于智能家居设备，所述装置包括：
34、采集模块，适于采集所处环境的安防视频，从所述安防视频中提取基础事件对应的目标事件视频；
35、发送模块，适于确定所述目标事件视频对应的视频封面图像，将所述视频封面图像发送至服务器，以使所述服务器接收智能家居设备发送的目标事件视频对应的视频封面图像，并基于视频描述大模型对所述视频封面图像进行图像特征提取处理得到目标图像特征，以及基于所述视频描述大模型对所述目标图像特征进行视频描述生成处理，得到针对所述视频封面图像的视频描述。
36、第五方面，本申请实施例提供一种电子设备，该电子设备包括：
37、处理器；以及
38、被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述中任一项所述的方法。
39、第六方面，本申请实施例提供一种计算机可读存储介质，其所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述中任一项所述的方法。
40、本申请实施例一些实施例提供的技术方案带来的有益效果至少包括：通过服务本文档来自技高网...
【技术保护点】
1.一种视频描述生成方法，应用于服务器，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，所述基于视频描述大模型对所述视频封面图像进行图像特征提取处理，得到目标图像特征，包括：
3.根据权利要求2所述的方法，其中，所述对所述视频封面图像进行图像场景特征提取处理得到场景图像特征，包括：
4.根据权利要求2或3所述的方法，其中，所述基于所述视频描述大模型对所述目标图像特征进行视频描述生成处理，得到针对所述视频封面图像的视频描述，包括：
5.根据权利要求1所述的方法，其中，所述基于所述视频描述大模型对所述目标图像特征进行视频描述生成处理，得到针对所述视频封面图像的视频描述之后，还包括：
6.一种视频描述生成方法，应用于智能家居设备，其中，所述方法包括：
7.一种视频描述生成装置，应用于服务器，其中，所述装置包括：
8.一种视频描述生成装置，应用于智能家居设备，其中，所述装置包括：
9.一种终端，其中，该终端包括：
10.一种计算机可读存储介质，其中，所述计算机可读存储介质
...【技术特征摘要】
1.一种视频描述生成方法，应用于服务器，其中，所述方法包括：
2.根据权利要求1所述的方法，其中，所述基于视频描述大模型对所述视频封面图像进行图像特征提取处理，得到目标图像特征，包括：
3.根据权利要求2所述的方法，其中，所述对所述视频封面图像进行图像场景特征提取处理得到场景图像特征，包括：
4.根据权利要求2或3所述的方法，其中，所述基于所述视频描述大模型对所述目标图像特征进行视频描述生成处理，得到针对所述视频封面图像的视频描述，包括：
5.根据权利要求1所述的方法，其中，所述基于所述视频描...
【专利技术属性】
技术研发人员：杨颖慧，
申请(专利权)人：深圳市三六零智慧生活科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。