【技术实现步骤摘要】
本说明书实施例涉及计算机，特别涉及一种图像处理方法。
技术介绍
1、需要大量的图像，以及对应的文本数据对文本-图像多模态模型进行训练。一般来说，高质量的文本描述会显著帮助多模态下游任务理解图像内容。然而，由于图片信息的丰富性，高质量的文本描述通常会很长很复杂。缺乏大语言理解能力的下游多模态模型，通常很难理解这样复杂的文本信息。因此，亟需一种方法，能提供丰富但容易被下游多模态模型理解的图片描述信息。
技术实现思路
1、有鉴于此，本说明书实施例提供了一种图像处理方法。本说明书一个或者多个实施例同时涉及一种图像处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面，提供了一种图像处理方法，包括：
3、获取待处理图像；
4、将所述待处理图像输入至图像信息提取模型，获得所述图像信息提取模型输出的初始结构化描述信息，其中，所述初始结构化描述信息包括至少一个对象和各对象的对象描述信息；
5、根据所述待处理图像和所述初始结构化描述信息确定各对象对应的对象位置信息；
6、根据所述初始结构化描述信息和各对象对应的对象位置信息生成所述待处理图像对应的结构化图像描述信息。
7、根据本说明书实施例的第二方面，提供了一种图像处理方法，应用于云侧设备，包括：
8、接收端侧设备发送的待处理图像；
9、将所述待处理图像输入至图像信息提取模型
10、根据所述待处理图像和所述初始结构化描述信息确定各对象对应的对象位置信息；
11、根据所述初始结构化描述信息和各对象对应的对象位置信息生成所述待处理图像对应的结构化图像描述信息；
12、将所述结构化图像描述信息发送至所述端侧设备。
13、根据本说明书实施例的第三方面，提供了一种图像处理装置，包括：
14、获取模块，被配置为获取待处理图像；
15、信息提取模块，被配置为将所述待处理图像输入至图像信息提取模型，获得所述图像信息提取模型输出的初始结构化描述信息，其中，所述初始结构化描述信息包括至少一个对象和各对象的对象描述信息；
16、确定模块，被配置为根据所述待处理图像和所述初始结构化描述信息确定各对象对应的对象位置信息；
17、生成模块，被配置为根据所述初始结构化描述信息和各对象对应的对象位置信息生成所述待处理图像对应的结构化图像描述信息。
18、根据本说明书实施例的第四方面，提供了一种计算设备，包括：
19、存储器和处理器；
20、所述存储器用于存储计算机程序/指令，所述处理器用于执行所述计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像处理方法的步骤。
21、根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像处理方法的步骤。
22、根据本说明书实施例的第六方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像处理方法的步骤。
23、本说明书一个实施例提供的图像处理方法，包括获取待处理图像；将所述待处理图像输入至图像信息提取模型，获得所述图像信息提取模型输出的初始结构化描述信息，其中，所述初始结构化描述信息包括至少一个对象和各对象的对象描述信息；根据所述待处理图像和所述初始结构化描述信息确定各对象对应的对象位置信息；根据所述初始结构化描述信息和各对象对应的对象位置信息生成所述待处理图像对应的结构化图像描述信息。
24、通过本申请实施例提供的图像处理方法，利用大语言模型的理解能力对待处理图像进行分析，根据预设结构化信息生成待处理对象对应的初始结构化描述信息，在初始结构化描述信息中包括至少一个对象和各对象对应的对象描述信息，用于对待处理图像进行描述，便于后续对待处理图像中的信息进行利用。另外，通过初始结构化描述信息和待处理图像结合对待处理图像中的各对象进行定位，获得各对象的对象位置信息，从而进一步丰富了待处理图像的结构化图像描述信息，可以根据下游任务的需求获取更加快捷准确的从待处理图像中获取到对象和对象描述信息。
本文档来自技高网...【技术保护点】
1.一种图像处理方法，包括：
2.如权利要求1所述的方法，获得所述图像信息提取模型输出的初始结构化描述信息，包括：
3.如权利要求1所述的方法，所述图像信息提取模型通过下述步骤训练获得：
4.如权利要求3所述的方法，获取样本图像和所述样本图像对应的样本结构化描述信息，包括：
5.如权利要求4所述的方法，所述预设结构化描述模版包括至少一类预设标识字符，预设标识字符表示预设结构化描述模版中的信息类型。
6.如权利要求5所述的方法，所述预设结构化描述模版中包括目标信息类型对应的目标信息类型实例。
7.如权利要求1-6任意一项所述的方法，根据所述待处理图像和所述初始结构化描述信息确定各对象对应的对象位置信息，包括：
8.如权利要求7所述的方法，根据所述待处理对象在所述待处理图像中确定至少一个候选对象标记框，包括：
9.如权利要求7所述的方法，根据所述待处理对象在所述待处理图像中确定至少一个候选对象标记框，包括：
10.如权利要求7所述的方法，根据所述待处理对象描述信息在至少一个候选
11.如权利要求1-6任意一项所述的方法，所述初始结构化描述信息中还包括所述待处理图像的图像整体描述信息、各对象之间的关联关系。
12.如权利要求1-6任意一项所述的方法，还包括：
13.一种图像处理方法，应用于云侧设备，包括：
14.如权利要求13所述的方法，还包括：
15.一种图像处理装置，包括：
16.一种计算设备，包括：
17.一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至14任意一项所述方法的步骤。
18.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至14任意一项所述方法的步骤。
...【技术特征摘要】
1.一种图像处理方法，包括：
2.如权利要求1所述的方法，获得所述图像信息提取模型输出的初始结构化描述信息，包括：
3.如权利要求1所述的方法，所述图像信息提取模型通过下述步骤训练获得：
4.如权利要求3所述的方法，获取样本图像和所述样本图像对应的样本结构化描述信息，包括：
5.如权利要求4所述的方法，所述预设结构化描述模版包括至少一类预设标识字符，预设标识字符表示预设结构化描述模版中的信息类型。
6.如权利要求5所述的方法，所述预设结构化描述模版中包括目标信息类型对应的目标信息类型实例。
7.如权利要求1-6任意一项所述的方法，根据所述待处理图像和所述初始结构化描述信息确定各对象对应的对象位置信息，包括：
8.如权利要求7所述的方法，根据所述待处理对象在所述待处理图像中确定至少一个候选对象标记框，包括：
9.如权利要求7所述的方法，根据所述待处理对象在...
【专利技术属性】
技术研发人员：阳展韬，冯睿蠡，颜科宇，王志才，张晗，肖杰，吴平禹，朱凯，陈霁璇，谢晨伟，毛超杰，刘宇，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。