基于语义控制的生成数据集的方法、生成图像的系统技术方案

本发明专利技术提供一种基于语义控制的生成数据集的方法、生成图像的系统,包括：根据数据筛选规则从房屋布局图的原始数据集中筛选出合格数据和部分合格数据，删除不合格数据；对合格数据进行半自动标注的图像分割与目标检测，获得房屋布局信息；对部分合格数据进行手动标注的图像分割与目标检测，获得房屋布局信息；房屋布局信息包括：房间类型、房间坐标；根据房屋布局信息，判断计算出房屋类型的数量、房间方位、房间相邻关系；根据房屋类型的数量、房间方位、房间相邻关系，依据文字描述模板生成文字描述；对文字描述再次过滤、规范化数据，生成最终目标检测数据集；本发明专利技术优点：能够缩短设计周期的，能让非专业房屋设计人员参与设计。能让非专业房屋设计人员参与设计。能让非专业房屋设计人员参与设计。

【技术实现步骤摘要】
基于语义控制的生成数据集的方法、生成图像的系统


[0001]本专利技术涉及深度学习领域，具体的说，涉及了一种基于语义控制的生成数据集的方法、生成图像的系统。

技术介绍

[0002]布局构建是图像生成研究领域的一个重要应用，目前可以通过基于手工制作能量最小化的传统方法，强大的数据驱动技术和图形约束布局生成的方法来进行布局构建。2010年，Merrel等人通过贝叶斯网络从给定的数据集学习房间的属性，并通过随机方法综合布局，但它不适合大规模的生成。2014年，Peng等人设计了一种框架，通过用一组可变形模板平铺任意形状的建筑轮廓来产生平面图；Ma等人给出了一组多边形“积木”及其连接约束的图形，生成了不同的游戏级布局，这些方法是基于能量最小化，以较小的人工制作代价生成房屋布局。2019年，Wu等人提出了一种数据驱动的方法，通过学习数千个样本数据来驱动住宅平面图的生成，该方法从起居室开始，通过编码器
‑
解码器网络依次添加房间，然后进行矢量化的最终后处理；Li等人提出了一种称为LayoutGAN的非顺序对抗性生成方法，该方法在生成器中具有自我注意机制，在鉴别器中具有线框渲染器。2020年，Nauata等人提出一个通过输入气泡图来生成房屋布局的House
‑
GAN模型。
[0003]然而，这些方法需要通过调整给定建筑轮廓的内部边缘来生成建筑布局，不能根据自然语言来生成房间布局。
[0004]对于房屋布局设计而言，房屋设计是一项复杂的工作，通常需要有专业知识的专业设计师进行设计。房屋设计是一个耗时的迭代过程，通常一个房屋设计的流程，首先是绘制一个简单的点线图来说明房间的数量、类型、方位以及相邻关系。然后设计师制作相应的平面图，最后收集客户的反馈，返回图中进行修改细化。这样的过程迭代进行，在给定有限的预算和时间内，可能会降低设计的质量。
[0005]为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

技术实现思路

[0006]本专利技术的目的是针对现有技术的不足，本专利技术一方面提供一种能够缩短专业房屋设计人员的设计周期的，同时可以让非专业房屋设计人员参与设计的，基于语义控制的房屋布局生成数据集的构建方法。
[0007]本专利技术另一方面，提供一种基于语义控制的房屋布局对抗网络模型生成图像的系统。
[0008]为了实现上述目的，本专利技术所采用的技术方案是：本专利技术第一方面提供一种基于语义控制的房屋布局生成数据集的构建方法，所述方法包括：根据预定的数据筛选规则从房屋布局图的原始数据集中筛选出合格数据和部分合格数据，删除不合格数据；
对所述合格数据进行半自动标注的图像分割与目标检测，获得房屋布局信息；对所述部分合格数据进行手动标注的图像分割与目标检测，获得房屋布局信息；所述房屋布局信息包括房间类型、房间坐标；根据所述房屋布局信息，计算出房屋类型的数量、房间方位、房间相邻关系；根据所述房屋类型的数量、房间方位、房间相邻关系，依据文字描述模板生成文字描述；对所述文字描述再次过滤、规范化数据，生成最终目标检测数据集。
[0009]基于上述，所述房间类型包括：客厅LivingRoom、卧室Bedroom、阳台Balcony、厨房Kitchen、卫生间BathRoom和书房Library。
[0010]基于上述，所述数据筛选规则为：房屋布局图中的房间有清晰的边界；房屋布局图至少包含卧室Bedroom、厨房Kitchen、卫生间BathRoom房间类型；房屋布局图是一个整体，且包含的房间是相互衔接的。
[0011]基于上述，依据文字描述模板生成文字描述的方法包括：将每种房间类型的数量、房间方位、房间相邻关系，根据预先设定的文字描述模板，自动生成一段对应的文字描述，存放在excel表格中；所述文字描述模板为每一行代表一个房屋，每一行的数据包含房屋编号、LivingRoom的数量、Bedroom的数量、Balcony的数量、Kitchen的数量、BathRoom的数量、Library的数量、房间方位、房间相邻关系。
[0012]基于上述，根据房屋布局信息，计算出房屋类型的数量、房间方位、房间相邻关系的方法包括：根据房间类型，统计出每个房屋布局图中包含的每种房间类型的数量；根据所述房间坐标点，判断该房间是矩形或多边形标注，然后计算该房间的中心点坐标，根据中心点坐标，判断该房间所在象限，从而判断所在房间方位；对房屋布局图中的所有房间两两组合，并计算两个房间之间的曼哈顿距离，若曼哈顿距离小于两个房间外边界框的长度、宽度和的一半加上θ，则判定这两个房间是相邻关系，θ取值XX。
[0013]基于上述，对所述合格数据进行半自动标注的图像分割与目标检测，获得房屋布局信息的方法包括：使用目标检测模型对所述房屋布局图进行图像分割和目标检测，获取房屋布局图像的目标边界框列表及其对应的置信度得分列表；对所述目标边界框列表及其对应的置信度得分列表进行非极大值抑制处理，获取每个所述房屋布局图中房间类型以及房间坐标点；对房间类型列表中同类别的多个房间使用阿拉伯数字序号重命名。
[0014]基于上述，所述目标检测模型为MaskRCNN模型。
[0015]基于上述，所述目标检测模型为YOLACT模型。
[0016]基于上述，对所述部分合格数据进行手动标注的图像分割与目标检测，获得房屋布局信息的方法：使用labelme工具对所述部分合格数据中的房屋布局图上的房间类型进行标注；标注完成后，每个所述房屋布局图产生一个json文件；解析所述json文件，获取每个所述房屋布局图中房间类型以及房间坐标点。
[0017]本专利技术第二方面提供一种基于语义控制的房屋布局对抗网络模型生成图像的系统，所述系统包括：预训练的文本编码器，以所述的构建方法得到的数据集作为输入，根据数据集中文字描述生成对应的句子向量；
模型训练模块，建立包括有生成器、判别器和损失函数的生成式对抗网络模型；以文本编码器的句子向量作为生成式对抗网络模型的输入，对生成式对抗网络模型进行训练，得到训练好的生成抗网络模型；生成图像模块，将待测的文字描述输入到训练好的生成式对抗网络模型，得到生成的图像。
[0018]本专利技术相对现有技术具有突出的实质性特点和显著进步，具体的说：本专利技术一方面，通过对原始数据的筛选，然后针对合格数据使用半自动标注房屋布局图，进行图像分割与目标检测，获得房屋布局信息；对部分合格数据采用手动标注房屋布局图，进行图像分割与目标检测，获得房屋布局信息；然后根据房屋布局生成关于房屋类型的数量、房间方位、房间相邻关系的文字描述；最后，对所述文字描述模板再次过滤，规范化数据集，生成最终数据集；从而提供一种能够缩短专业房屋设计人员的设计周期的，同时可以让非专业房屋设计人员参与设计的，基于语义控制的房屋布局生成数据集的构建方法。
[0019]本专利技术另一方面，通过使用数据集作为生成式对抗网络模型的输入，经过对数据集数据特点全面分析，最后通过训练好的生成式对抗网络模型，输出基于语义的房本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义控制的房屋布局生成数据集的构建方法,其特征在于，所述方法包括：根据预定的数据筛选规则从房屋布局图的原始数据集中筛选出合格数据和部分合格数据，删除不合格数据；对所述合格数据进行半自动标注的图像分割与目标检测，获得房屋布局信息；对所述部分合格数据进行手动标注的图像分割与目标检测，获得房屋布局信息；所述房屋布局信息包括房间类型、房间坐标；根据所述房屋布局信息，计算出房屋类型的数量、房间方位、房间相邻关系；根据所述房屋类型的数量、房间方位、房间相邻关系，依据文字描述模板生成文字描述；对所述文字描述再次过滤、规范化数据，生成最终目标检测数据集。2.根据权利要求1所述的基于语义控制的房屋布局生成数据集的构建方法，其特征在于，所述房间类型包括：客厅LivingRoom、卧室Bedroom、阳台Balcony、厨房Kitchen、卫生间BathRoom和书房Library。3.根据权利要求1所述的基于语义控制的房屋布局生成数据集的构建方法，其特征在于，所述数据筛选规则为：房屋布局图中的房间有清晰的边界；房屋布局图至少包含卧室Bedroom、厨房Kitchen、卫生间BathRoom房间类型；房屋布局图是一个整体，且包含的房间是相互衔接的。4.根据权利要求1所述的基于语义控制的房屋布局生成数据集的构建方法，其特征在于，依据文字描述模板生成文字描述的方法包括：将每种房间类型的数量、房间方位、房间相邻关系，根据预先设定的文字描述模板，自动生成一段对应的文字描述，存放在excel表格中；所述文字描述模板为每一行代表一个房屋，每一行的数据包含房屋编号、LivingRoom的数量、Bedroom的数量、Balcony的数量、Kitchen的数量、BathRoom的数量、Library的数量、房间方位、房间相邻关系。5.根据权利要求1所述的基于语义控制的房屋布局生成数据集的构建方法，其特征在于，根据房屋布局信息，计算出房屋类型的数量、房间方位、房间相邻关系的方法包括：根据房间类型，统计出每个房屋布局图中包含的每种房间类型的数量；根据所述房间坐标点，判断该房间是矩形或多边形标注，...

【专利技术属性】
技术研发人员：马建红，姚依佩，王瑞娟，张卫星，
申请(专利权)人：郑州大学，
类型：发明
国别省市：