基于深度学习的空户型特征检测的室内家居自动布局算法制造技术

本发明专利技术公开了基于深度学习检测空房间特征的室内家居自动布局算法。本算法在家居信息缺失情况下，仅依赖空房间门窗墙的相对位置特征，自动计算出房间中应布置的家具类型、家具大小、以及家具位置。本算法的特征主要有四点：1.输入表示空房间门窗墙视觉特征的图片张量；2.不需要额外输入待布局的家具信息；3.以深度学习在图像中的物体检测算法为门窗墙特征检测工具；4.自动输出输入的空房间中应布置的家具类型、家具大小以及家具位置。

【技术实现步骤摘要】
基于深度学习的空户型特征检测的室内家居自动布局算法
本专利技术涉及深度学习中物体检测模型在家居自动布局领域应用，是基于深度学习的空户型特征检测的室内家居自动布局算法。
技术介绍
深度学习尤其以其中的卷积神经网络为主，非常适合构建图像物体检测模型。通过合理地设计模型结构，一般地深度学习物体检测模型能够利用卷积神经网络的优势自动地学习到物体的视觉特征，达到很高的准确率。典型的例子如YOLO、RCNN、FAST-RCNN等。但这些模型一般用在物体检测上，物体检测时图片上是存在该物体的，模型通过检测物体的像素特征，从而定位并识别出物体。在室内家居自动布局的业务背景下，通常事先只是输入一个空房间户型图，图上只有门窗墙，没有家具。因此，业务背景不同于一般的物体检测。
技术实现思路
本专利技术的创新点就是发现了：即使在没有家具相关的像素存在于图片，仅通过自动检测门窗墙的位置特征，就能用一般的物体检测模型推测出家具的类型、大小、位置。本专利技术通过将物体检测模型应用在空房间的门窗墙特征检测上，解决在仅有空房间门窗墙信息情况下无中生有地预测出家具的类型、大小、位置的问题。一种基于深度学习的空户型特征检测的室内家居自动布局算法，包括如下步骤：第1步，获取户型图训练样本，将户型图中的房间的门窗墙和房间功能提取出，作为模型输入值，同时将房间中的家具的类型、形状和位置提取出，作为模型输出值；第2步，构建用于预测家居布局的深度学习模型；第3步，采用训练样本对模型进行训练；>第4步，将待布局的房间信息输入至模型中，获得家具布局结果。在一个实施方式中，所述的户型图中的房间为3通道图片，门窗墙分别用不同颜色表示。在一个实施方式中，所述的深度学习模型可以采用Mask-RCNN。在一个实施方式中，所述的模型的损失函数为：L＝Lds+Lbox+Lmask其中，Lcls是家具类别预测损失：Lcls＝-∑(Ct×log(Cp))其中，Ct是家具类别的one-hot编码的一元素(第i类家具的第i个元素为1，其余元素为0)，Cp为模型预测出的家具为该类别的概率值；Lbox是家具边框预测损失：Lbox＝∑(xt-xp)2其中，xt为家具标注的边框坐标值，xp为模型预测的家具边框坐标值；Lmask是家具真实形状分割预测损失：Lmask＝-∑(t×log(p)+(1-t)×log(1-p))其中，t为当前像素属于本家具的标注，p为模型预测的当前像素属于本家具的概率。在一个实施方式中，模型的验证过程中考察家具误删率，平均IOU，全家具准确率。有益效果本专利技术中，采用深度学习中的物体检测模型作为空房间中家具类型、大小、位置的预测器。实际操作时使用Mask-RCNN作为基准物体检测模型。空房间中本无家具，但由于存在满足放置家具的门窗墙特征，使得任意一个较为成功的物体检测模型都能基于空房间预测出家具的类型、大小和位置。模型的输入数据中，只依赖空房间的OBJ文件生成3通道图片，图片中没有任何家具的信息，算法输入端完全没有家具信息。模型训练准备了含有家具类型、大小以及位置信息的数据作为训练数据中的标签。整个算法属于监督学习，算法本质上属于预测算法。本专利技术中并未限定用何种深度学习物体检测模型，本专利技术的创新点在于用物体检测模型进行空房间家具的预测。输出的布局结果中，构建的家具信息预测模型，其输出包含了家具的类型、大小、位置信息。本专利技术创新性的将物体检测模型用在了空房间预测家具问题上，解决了在家具信息缺失情况下预测空房间家具信息的问题。对比原始数据标签，本算法的误删率仅为5.32％；平均IOU75.45％；全家具准确率50.66％。附图说明图1是本专利技术的方法图。图2是本专利技术所述算法的训练用的原始数据。图3是实际操作时选用的Mask-RCNN的模型结构。图4是本专利技术的效果图。具体实施方式物体检测模型一般解决的是给定图片中的存在物体，然后要求模型输出物体类型边界的问题。本专利技术的算法将物体检测模型应用在了非物体检测问题上。所检测的物体并不存在于输入图片中，输入图片中仅有空房间。实验发现，通过检测门窗墙的特有模型，可以利用物体检测模型预测出家具的类型、大小、位置。第1步，生成空房间图片。基于户型图OBJ文件，生成3通道的仅包含门窗墙图片信息的空房间图片，门窗墙分别用不同颜色表示。第2步，整理数据标签。将每个空房间中应放置的家具类型、家具大小以及家具位置等信息进行量化，与第1步中生成的图片配对整理在一起；这里对于家具的大小及位置向量化时，用的是box方框四元组，即(xmin，ymin，xmax，ymax)，用矩形来表示家具的平面形状，并通过其四个顶点的坐标值来表示位置。通过网络爬虫，我们收集了大约6万张的室内家居平面图。如图2，这些平面图既含有门窗墙信息，也含有家具布局信息。通过人工标注，我们将门窗墙以及家具用不同颜色的矩形标注出来，并且根据房间功能，将整个户型分割成厨房、卧室、客餐厅、卫生间等房间。更具体地说：将平面图分割成不同房间后，我们即用标注结果替代原始户型图。以卧室为例，我们将整个卧室标注结果放置在一个128*128*3的张量(图)中。取8m为边，以128像素表示8米，将卧室标注结果投影进来。并将门窗墙信息和家具的布局信息(类别、大小、位置、方向)分开来。其中，门窗墙信息，如图1的左边部分，作为深度学习物体检测模型的输入图片；家具的布局信息，作为物体检测模型的理想输出，最后将与模型的真实输出一起计算损失函数，从而基于损失函数梯度，更新模型参数。第3步，分割数据集。将数据分割成训练集、验证集和测试集。第4步，构建家具信息预测模型。可以采用深度学习在计算机视觉物体检测中较为成功的任意一个模型：D(.)＝Detection_CNN(.)本专利技术方法可适用任意物体检测模型。实际操作时，我们采用的是Mask-RCNN模型。模型结构如图3。从输入图片开始，输入图片中仅有门窗墙信息，外观上看只是一个空房间。首先对图片进行特征抽取，这里采用的是ResNet。然后，进入RPN模块。RPN是一个轻量的神经网络，它用滑动窗口来扫描图像，并寻找存在目标的区域。RPN扫描的区域被称为anchor。通过训练，RPN模块能够快速寻找出存在目标的区域。本专利技术中，训练后的RPN严格意义上来说寻找的是满足摆放某类家具的门窗墙特征。经过RPN处理后，数据进入RoIAlign模块。RoIAlign模块的作用是对RPN提出的候选box通过双线性插值转换为固定大小尺寸的候选图，供后续分类-回归模型使用。RoIAlign模块之后，接着的是一个卷积神经网络，这一网络有三个目标，预测候选框中物体类别，微调候选框边界，在像素级别上预测每一像素是否属于候选框中的物体。最后的总损失函数，由前述的这三个目标对应组成。需要说明的是本文档来自技高网...

【技术保护点】
1.一种基于深度学习的空户型特征检测的室内家居自动布局算法，其特征在于，包括如下步骤：/n第1步，获取户型图训练样本，将户型图中的房间的门窗墙和房间功能提取出，作为模型输入值，同时将房间中的家具的类型、形状和位置提取出，作为模型输出值；/n第2步，构建用于预测家居布局的深度学习模型；/n第3步，采用训练样本对模型进行训练；/n第4步，将待布局的房间信息输入至模型中，获得家具布局结果。/n

【技术特征摘要】
1.一种基于深度学习的空户型特征检测的室内家居自动布局算法，其特征在于，包括如下步骤：
第1步，获取户型图训练样本，将户型图中的房间的门窗墙和房间功能提取出，作为模型输入值，同时将房间中的家具的类型、形状和位置提取出，作为模型输出值；
第2步，构建用于预测家居布局的深度学习模型；
第3步，采用训练样本对模型进行训练；
第4步，将待布局的房间信息输入至模型中，获得家具布局结果。


2.根据权利要求1所述的基于深度学习的空户型特征检测的室内家居自动布局算法，其特征在于，在一个实施方式中，所述的户型图中的房间为3通道图片，门窗墙分别用不同颜色表示。


3.根据权利要求1所述的基于深度学习的空户型特征检测的室内家居自动布局算法，其特征在于，在一个实施方式中，所述的深度学习模型可以采用Mask-RCNN。


4.根据权利要求1所述的基于深度学习的空户型特征检测...

【专利技术属性】
技术研发人员：陈旋，吕成云，林善冬，
申请(专利权)人：江苏艾佳家居用品有限公司，
类型：发明
国别省市：江苏;32