基于图像语义理解的图像裁切方法、系统、设备和介质技术方案

本发明专利技术公开了基于图像语义理解的图像裁切方法、系统、设备和介质，基于图像语义理解的图像裁切方法包括以下步骤：获取图像语义分割模型；将待裁切图像输入至所述图像语义分割模型中，以得到图像语义分割结果；根据所述图像语义分割结果获取所述待分割图像的感兴趣区域；获取所述感兴趣区域的重心；以所述感兴趣区域的重心为裁切中心，获取裁切窗口，并对所述待裁切图像进行裁切。本发明专利技术基于图像语义理解的方法对图像进行裁切，确保裁切后的图像主体更加完整。

【技术实现步骤摘要】
基于图像语义理解的图像裁切方法、系统、设备和介质
本专利技术涉及图像语义理解、图像分割
，特别涉及一种基于图像语义理解的图像裁切方法、系统、设备和介质。
技术介绍
图像作为一种直接、高效的展现方式，对用户体验、订单转化有着直接、重要的影响。尤其是酒店图像的展现方式，对用户体验、订单转化有着更重要的影响。通常情况下，酒店在后端上传的图片，到前端展示页面时，会根据不同的展示页面，将图像切成对应的不同尺寸。具体来讲就是，APP(Application，应用程序)中不同展示页面的图像往往以不同的纵横比切图展示。当前的切图算法直接以原图中心为图像裁切点，剪裁较为粗糙，造成切图后关键内容和关键目标的丢失，容易给用户造成误导，用户体验较差。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术基于图像中心裁切方法使目标主体展示不完整的缺陷，提供一种基于图像语义理解的图像裁切方法、系统、设备和介质。本专利技术是通过下述技术方案来解决上述技术问题：本专利技术提供一种基于图像语义理解的图像裁切方法，所述基于图像语义理解的图像裁切方法包括：获取图像语义分割模型；将待裁切图像输入至所述图像语义分割模型中，以得到图像语义分割结果；根据所述图像语义分割结果获取所述待裁切图像的感兴趣区域；获取所述感兴趣区域的重心；以所述感兴趣区域的重心为裁切中心，获取裁切窗口，并对所述待裁切图像进行裁切。较佳地，所述获取图像语义分割模型的步骤包括：获取图像，对所述图像进行缩放，并将所述图像通过骨干网络进行特征提取，以得到特征图像；所述骨干网络包括多层CNN网络结构；基于所述特征图像，进行特征融合，以得到融合特征图像；对所述融合特征图像进行卷积操作，并通过softmax函数获取每个维度的最大概率值，以得到待训练的图像语义分割模型；获取待训练的图像，并将图像输入至所述待训练的图像语义分割模型中进行训练，以得到图像语义分割模型。较佳地，所述基于所述特征图像，进行特征融合，以得到融合特征图像的步骤包括：对所述特征图像，采用四组不同感受野的池化层进行池化操作，以得到对应的四组第一特征图像；将所述四组第一特征图像连接到1×1×C/4的卷积核，分别进行卷积，以得到对应的四组第二特征图像；对所述四组第二特征图像，采用双线性差值法进行采样操作，以得到对应的四组第三特征图像；基于所述四组第三特征图像和所述特征图像，依据通道维度连接，以得到所述融合特征图像。较佳地，所述根据所述图像语义分割结果获取所述待裁切图像的感兴趣区域的步骤包括：对于不同类别的待裁切图像对应预设不同的感兴趣类别；所述图像语义分割结果包括所述待裁切图像中每个像素点的类别，以及根据不同像素点的类别划分出的不同区域；将与所述待裁切图像对应的感兴趣类别相匹配的区域确定为所述感兴趣区域。较佳地，所述以所述感兴趣区域的重心为裁切中心，获取裁切窗口，并对所述待裁切图像进行裁切的步骤包括：基于所述感兴趣区域的重心，根据前端展示页面尺寸，计算裁切窗口的宽和高；多次移动所述裁切窗口，并计算每次移动后所述裁切窗口的四个顶点到所述感兴趣区域的重心的距离之和；选取所述距离之和为最小值时所对应的所述裁切窗口，并将待裁切图像按照选取的所述裁切窗口进行剪切。较佳地，所述基于所述感兴趣区域的重心，根据前端展示页面尺寸，计算裁切窗口的宽和高的步骤包括：获取所述待裁切图像的宽、高、宽高比以及所述前端展示页面的宽、高、宽高比；依据裁切窗口宽、高的计算公式计算裁切窗口宽、高；所述裁切窗口宽、高的计算公式如下：若R0>R1，W2＝H0×R1，H2＝H0；若R0<R1，W2＝W0，H2＝W0/R1；公式中，W2表示裁切窗口宽，H2裁切窗口高，R0表示待裁切图像的宽高比，R1表示前端展示页面的宽高比，H0表示待裁切图像的高，W0表示待裁切图像的宽。本专利技术提供一种基于图像语义理解的图像裁切系统，所述基于图像语义理解的图像裁切系统包括：第一获取模块，用于获取图像语义分割模型；输入模块，用于将待裁切图像输入至所述图像语义分割模型中，以得到图像语义分割结果；第二获取模块，用于根据所述图像语义分割结果获取所述待裁切图像的感兴趣区域；第三获取模块，用于获取所述感兴趣区域的重心；裁切模块，用于以所述感兴趣区域的重心为裁切中心，获取裁切窗口，并对所述待裁切图像进行裁切。较佳地，所述第一获取模块包括：第一获取单元，用于获取图像，对所述图像做进行缩放，并将所图像通过骨干网络进行特征提取，以得到特征图像；所述骨干网络包括多层CNN网络结构；融合单元，用于基于所述特征图像，进行特征融合，以得到融合特征图像；第一计算单元，用于对所述融合特征图像进行卷积操作，并通过softmax函数获取每个维度的最大概率值，以得到待训练的图像语义分割模型；第二获取单元，用于获取待训练的图像，并将图像输入至所述待训练的图像语义分割模型中进行训练，以得到图像语义分割模型。较佳地，所述融合单元包括：池化子单元，用于对所述特征图像，采用四组不同感受野的池化层进行池化操作，以得到对应的四组第一特征图像；卷积子单元，用于将所述四组第一特征图像连接到1×1×C/4的卷积核，分别进行卷积，以得到对应的四组第二特征图像；采样子单元，用于对所述四组第二特征图像，采用双线性差值法进行采样操作，以得到对应的四组第三特征图像；连接子单元，用于基于所述四组第三特征图像和所述特征图像，依据通道维度连接，以得到所述融合特征图像。较佳地，所述第二获取模块包括：预设单元，用于对于不同类别的待裁切图像对应预设不同的感兴趣类别；划分单元，用于所述图像语义分割结果包括所述待裁切图像中每个像素点的类别，以及根据不同像素点的类别划分出的不同区域；确定单元，用于将与所述待裁切图像对应的感兴趣类别相匹配的区域确定为所述感兴趣区域。较佳地，所述裁切模块包括：第二计算单元，用于基于所述感兴趣区域的重心，根据前端展示页面尺寸，计算裁切窗口的宽和高；第三计算单元，用于多次移动所述裁切窗口，并计算每次移动后所述裁切窗口的四个顶点到所述感兴趣区域的重心的距离之和；选取单元，用于选取所述距离之和为最小值时所对应的所述裁切窗口，并将待裁切图像按照选取的所述裁切窗口进行剪切。较佳地，所述第三计算单元包括：第三获取单元，用于获取所述待裁切图像的宽、高、宽高比以及所述前端展示页面的宽、高、宽高比；计算单元，用于依据裁切窗口宽、高的计算公式计算裁切窗口宽、高；所述裁切窗口宽、高的计算公式如下：若R0>R1，W2＝H0×R1，H2＝H0；若R0<R1，W2＝W0，H2＝W0/R1；<本文档来自技高网...

【技术保护点】
1.一种基于图像语义理解的图像裁切方法，其特征在于，所述基于图像语义理解的图像裁切方法包括：/n获取图像语义分割模型；/n将待裁切图像输入至所述图像语义分割模型中，以得到图像语义分割结果；/n根据所述图像语义分割结果获取所述待裁切图像的感兴趣区域；/n获取所述感兴趣区域的重心；/n以所述感兴趣区域的重心为裁切中心，获取裁切窗口，并对所述待裁切图像进行裁切。/n

【技术特征摘要】
1.一种基于图像语义理解的图像裁切方法，其特征在于，所述基于图像语义理解的图像裁切方法包括：
获取图像语义分割模型；
将待裁切图像输入至所述图像语义分割模型中，以得到图像语义分割结果；
根据所述图像语义分割结果获取所述待裁切图像的感兴趣区域；
获取所述感兴趣区域的重心；
以所述感兴趣区域的重心为裁切中心，获取裁切窗口，并对所述待裁切图像进行裁切。


2.如权利要求1所述的基于图像语义理解的图像裁切方法，其特征在于，所述获取图像语义分割模型的步骤包括：
获取图像，对所述图像进行缩放，并将所述图像通过骨干网络进行特征提取，以得到特征图像；所述骨干网络包括多层CNN网络结构；
基于所述特征图像，进行特征融合，以得到融合特征图像；
对所述融合特征图像进行卷积操作，并通过softmax函数获取每个维度的最大概率值，以得到待训练的图像语义分割模型；
获取待训练的图像，并将图像输入至所述待训练的图像语义分割模型中进行训练，以得到图像语义分割模型。


3.如权利要求2所述的基于图像语义理解的图像裁切方法，其特征在于，所述基于所述特征图像，进行特征融合，以得到融合特征图像的步骤包括：
对所述特征图像，采用四组不同感受野的池化层进行池化操作，以得到对应的四组第一特征图像；
将所述四组第一特征图像连接到1×1×C/4的卷积核，分别进行卷积，以得到对应的四组第二特征图像；
对所述四组第二特征图像，采用双线性差值法进行采样操作，以得到对应的四组第三特征图像；
基于所述四组第三特征图像和所述特征图像，依据通道维度连接，以得到所述融合特征图像。


4.如权利要求1所述的基于图像语义理解的图像裁切方法，其特征在于，所述根据所述图像语义分割结果获取所述待裁切图像的感兴趣区域的步骤包括：
对于不同类别的待裁切图像对应预设不同的感兴趣类别；
所述图像语义分割结果包括所述待裁切图像中每个像素点的类别，以及根据不同像素点的类别划分出的不同区域；
将与所述待裁切图像对应的感兴趣类别相匹配的区域确定为所述感兴趣区域。


5.如权利要求1所述的基于图像语义理解的图像裁切方法，其特征在于，所述以所述感兴趣区域的重心为裁切中心，获取裁切窗口，并对所述待裁切图像进行裁切的步骤包括：
基于所述感兴趣区域的重心，根据前端展示页面尺寸，计算裁切窗口的宽和高；
多次移动所述裁切窗口，并计算每次移动后所述裁切窗口的四个顶点到所述感兴趣区域的重心的距离之和；
选取所述距离之和为最小值时所对应的所述裁切窗口，并将待裁切图像按照选取的所述裁切窗口进行剪切。


6.如权利要求5所述的基于图像语义理解的图像裁切方法，其特征在于，所述基于所述感兴趣区域的重心，根据前端展示页面尺寸，计算裁切窗口的宽和高的步骤包括：
获取所述待裁切图像的宽、高、宽高比以及所述前端展示页面的宽、高、宽高比；
依据裁切窗口宽、高的计算公式计算裁切窗口宽、高；
所述裁切窗口宽、高的计算公式如下：
若R0>R1，W2＝H0×R1，H2＝H0；
若R0<R1，W2＝W0，H2＝W0/R1；
公式中，W2表示裁切窗口宽，H2裁切窗口高，R0表示待裁切图像的宽高比，R1表示前端展示页面的宽高比，H0表示待裁切图像的高，W0表示待裁切图像的宽。


7.一种基于图像语义理解的图像裁切系统，其特征在于，所述基于图像语义理解的图像裁切系统包括：
第一获取模块，用于获取图像语义分割模型；
输入模块，用于将待裁切图像输入至所述图像语义分割模型中，以得到图像语义分割结果；
...

【专利技术属性】
技术研发人员：罗超，黄小虎，吉聪睿，李巍，
申请(专利权)人：上海携程商务有限公司，
类型：发明
国别省市：上海;31