房屋场景分类方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了房屋场景分类方法、装置、设备及可读存储介质。该方法包括利用SENet网络对分类图像进行特征提取，得到分类图像的全局特征；对分类图像进行目标检测，得到所有分类图像所出现物品的物品信息；根据物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据物品信息计算每个物品之间的共现相关性和空间相关性，得到分类图像中不同物品类别之间的相关性矩阵；将相关性矩阵输入GCN网络进行非线性变换，得到分类图像的局部特征；对全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。该方法提高房屋场景图像分类的精确性。确性。确性。

House scene classification method, device, equipment and readable storage medium

【技术实现步骤摘要】
房屋场景分类方法、装置、设备及可读存储介质


[0001]本专利技术涉及图像识别
，尤其涉及一种房屋场景分类方法、装置、设备及可读存储介质。

技术介绍

[0002]互联网、大数据和多媒体技术的快速发展，使得物业领域对于海量房屋图片的识别分类、数据管理成为一个重要问题。图源的多样化、场景的复杂化以及拍摄角度、灯光等差异提高了房屋图片识别的难度。另外，存量图片数量巨大，如果采用人工标定的方式进行分类，将耗费大量时间。
[0003]将单一的深度学习模型应用于房屋图片类别的识别分类中，存在识别准确率不高、缺乏可解释性以及模型泛化能力弱的问题。

技术实现思路

[0004]本专利技术实施例提供了一种房屋场景分类方法、装置、设备及可读存储介质，旨在解决现有技术中通过神经网络进行房屋场景分类准确率较低的问题。
[0005]第一方面，本专利技术实施例提供了一种房屋场景分类方法，其包括：获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；对所述分类图像进行目标检测，得到所有分类图像所出现物品的物品信息，所述物品信息包括物品类别、位置信息和类别置信度；根据所述物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵；将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征；对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。
[0006]第二方面，本专利技术实施例提供了一种房屋场景分类装置，包括客户端和服务端：获取模块，用于获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；全局特征提取模块，用于利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；目标检测模块，用于对所述分类图像进行目标检测，得到所有分类图像所出现物品的物品信息，所述物品信息包括物品类别、位置信息和类别置信度；计算模块，用于根据所述物品信息统计各个物品类别的出现频率，并提取出现频
率高的若干类物品，根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵；变换模块，用于将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征；分类模块，用于对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。
[0007]第三方面，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的房屋场景分类方法。
[0008]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的房屋场景分类方法。
[0009]本专利技术实施例提供了房屋场景分类方法、装置、设备及可读存储介质。该方法包括获取分类图像和预训练的分类模型，分类模型包括SENet网络和GCN网络；利用SENet网络对分类图像进行特征提取，得到分类图像的全局特征；对分类图像进行目标检测，得到所有分类图像所出现物品的物品信息；根据物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据物品信息计算每个物品之间的共现相关性和空间相关性，得到分类图像中不同物品类别之间的相关性矩阵；将相关性矩阵输入GCN网络进行非线性变换，得到分类图像的局部特征；对全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。该方法以SENet网络提取分类图像的全局特征，接着通过构建分类图像中各类物品之间的相关性矩阵，再通过GCN网络对相关性矩阵进行非线性变换，得到分类图像各类物品的局部特征，然后将全局特征和局部特征融合得到融合特征，最后通过softmax函数计算融合特征的所属场景类型的概率，以确定分类图像的场景类型，本申请在全局特征的基础上融合图像中各类物品的细节特征，因此在房间场景较为相似的情况下，分类的精确性较高。
附图说明
[0010]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为本专利技术实施例提供的房屋场景分类方法的流程示意图；图2为图1中步骤S120的的子流程示意图；图3为图1中步骤S160的的子流程示意图；图4为本专利技术实施例提供的房屋场景分类装置的示意性框图；图5为本专利技术实施例提供的房屋场景分类方法中分类模型的结构示意图。
具体实施方式
[0012]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0013]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和
ꢀ“
包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0014]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0015]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0016]请参阅图1所示，图1为本专利技术实施例提供的房屋场景分类方法的流程示意图，该方法包括步骤S110~S160。
[0017]步骤S110、获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；本实施例中，获取需要进行房屋场景分类的分类图像，以及预训练的分类模型。其中，房屋的场景类别至少包括客厅、餐厅、阳台、厨房、卫生间、书房、外立面、卧室等8类。分类模型由SENet（卷积神经）网络和GCN（图卷积）网络组成。
[0018]步骤S120、利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；本实施例中，利用SENet网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种房屋场景分类方法，其特征在于，包括：获取分类图像和预训练的分类模型，所述分类模型包括SENet网络和GCN网络；利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征；对所述分类图像进行目标检测，得到所有分类图像所出现物品的物品信息，所述物品信息包括物品类别、位置信息和类别置信度；根据所述物品信息统计各个物品类别的出现频率，并提取出现频率高的若干类物品，根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵；将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征；对所述全局特征和局部特征进行特征融合，得到融合特征，并通过softmax函数计算所述融合特征所属场景类型的概率，以概率最高的场景类型作为分类结果。2.根据权利要求1所述的房屋场景分类方法，其特征在于，所述利用所述SENet网络对所述分类图像进行特征提取，得到所述分类图像的全局特征，包括：按预设空间维度对所述分类图像进行特征压缩，得到压缩特征；采用ReLU激活函数对所述压缩特征进行激活，得到激活特征；对所述激活特征进行重标定，得到所述全局特征。3.根据权利要求1所述的房屋场景分类方法，其特征在于，所述根据所述物品信息计算每个物品之间的共现相关性和空间相关性，得到所述分类图像中不同物品类别之间的相关性矩阵，包括：按如下公式计算每个物品之间的共现相关性C和空间相关性S：，其中，表示第p类物品出现的情形下第1类至第k类物品出现的次数；，其中，表示第p类物品与第1类至第k类物品的像素距离，表示第p类物品与第1类至第k类物品的最小像素距离；
按如下公式计算分类图像中不同物品类别之间的相关性矩阵：，式中，M表示相关性矩阵，表示哈达玛积。4.根据权利要求1所述的房屋场景分类方法，其特征在于，所述将所述相关性矩阵输入所述GCN网络进行非线性变换，得到所述分类图像的局部特征，包括：按如下公式将相关性矩阵转换为局部特征：，其中，表示节点特征，表示转移矩阵，，，，，其中分别为特征长度1024、1024和512，表示非线性变换。5.根据权利要求1所述的房屋场景分类方法，其特征在于，所述分类模型的损失包括交叉熵损失和跨模型一致性损失，所述分类模型的损失函数如下：，式中，表示模型损失，表示交叉熵损失，表示跨模型一致性损失，分别表示交叉熵损失和跨模型一...

【专利技术属性】
技术研发人员：周长源，韦程琳，袁戟，
申请(专利权)人：深圳市万物云科技有限公司，
类型：发明
国别省市：