一种海量BIM数据的分布式存储方法技术

本发明专利技术提出了一种海量BIM数据的分布式存储方法，包括如下步骤：S1，获取BIM数据后进行数据分类，将分类的数据划分为共有数据库和私有数据库；S2，针对不同的数据库存储不同类型的数据，并对数据进行数据集划分，将划分后的数据集进行归类；S3，对归类的数据集进行数据筛选，通过筛选模型识别重复的数据，并进行压缩处理。缩处理。缩处理。

【技术实现步骤摘要】
一种海量BIM数据的分布式存储方法


[0001]本专利技术涉及建筑工程信息化
，特别是BIM应用
，具体的说，是涉及一种处理海量BIM数据的分布式存储方法。

技术介绍

[0002]建筑业是数据量最大、业务规模最大的大数据行业，但同样是当前各行业中数字化、信息化水平最低的行业，管理创新能力弱，企业与行业的转型升级步履艰难。BIM(Building Information Modeling，即建筑信息模型)核心在于数据，BIM作为建筑业的源代码，其不仅能够处理项目级的共有数据，最大的优势是承载海量私有数据。随着BIM的发展及普及，势必会促使建筑行业大数据时代的到来。每一个建筑都有若干的构件组成，每一个构件带有几何、物理等多丰富信息，随着建筑项目的进度推进，又会带上工程量、造价、施工进度、运维情况等信息，只有建立数据库收集项目全生命周期中的海量信息，通过对这些数据信息的调整、添加、修改等可以及时准确的反映出项目的整体状况，再通过与数据之间的相关联，实现加快决策进度、提高决策质量，从而提高项目质量，降低项目成本，增加项目利润。同时这也给存储、管理、使用海量BIM数据带来了挑战。目前的数据分布式存储方法针对通用型数据的处理方法，无法满足BIM数据，以及海量构件级BIM数据的处理需要，这就亟需本领域技术人员解决相应的技术问题。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种海量BIM数据的分布式存储方法。
[0004]为了实现本专利技术的上述目的，本专利技术提供了一种海量BIM数据的分布式存储方法，其特征在于，包括如下步骤：
[0005]S1，获取BIM数据后进行数据分类，将分类的数据划分为共有数据库和私有数据库；
[0006]S2，针对不同的数据库存储不同类型的数据，并对数据进行数据集划分，将划分后的数据集进行归类；
[0007]S3，对归类的数据集进行数据筛选，通过筛选模型识别重复的数据，并进行压缩处理。
[0008]根据上述技术方案优选的，所述S1包括：
[0009]S1
‑
1，共有数据获取来源包括能够在大数据网站合法获取的类数据，对类数据进行分类；
[0010]S1
‑
2，创建共有数据的主数据库和从数据库，在主数据库服务器上存储BIM共有数据，对数据的任何增加、删除、更新操作都只针对主数据库；然后将数据镜像或者同步到从数据库；
[0011]S1
‑
3，私有数据按照规则进行拆分；将私有数据按照所属项目进行划分，归属同一
个项目的BIM数据存储到同一个数据库服务器上；每个项目有唯一的编号即ID，按照ID的区段将项目分配到不同的数据库中。
[0012]根据上述技术方案优选的，所述S2包括：
[0013]S2
‑
1，将BIM项目与数据库服务器的对应关系进行存储，创建BIM项目时，首先查询数据库中是否已经存在对应关系的记录；如果不存在，则按照前述的规则通过项目ID获取归属的数据库服务器信息，并将对应关系存储到数据库中后后续查询；如果存在，则不做任何操作，避免重复创建；
[0014]S2
‑
2，访问项目时，通过项目ID查询对应的数据库服务器信息，而后建立与该数据库的连接；
[0015]S2
‑
3，使用项目信息加上表信息的方式唯一地标识数据库表；采用“表名前缀+_+项目ID+_+表名”。
[0016]根据上述技术方案优选的，所述S3包括：
[0017]S3
‑
1，对应用层屏蔽数据库底层分库实现细节，提供数据库中间层；
[0018]S3
‑
2，按照数据库表结构定义数据结构；在数据结构中加入标签信息，指示该类数据是共有数据还是私有数据；
[0019]S3
‑
3，应用层对数据库的所有操作必须通过数据库中间层进行；
[0020]S3
‑
4，数据库中间层接受到应用层的操作请求时，首先判断出该操作是针对共有数据还是私有数据；如果是共有数据，则先获取共有数据所在服务器信息，而后建立与数据库连接，通过该连接，直接访问数据库表数据；
[0021]如果是私有数据，应用层在使用数据库中间层之前，必须先设定要访问的项目ID；之后访问数据库的时候无需带上项目ID，直到需要访问另外一个项目为止。
[0022]根据上述技术方案优选的，所述S3还包括：
[0023]S3
‑
5，数据库中间层根据项目ID，在数据库的项目与数据库服务器映射表中，查找私有数据所在数据库服务器并与之建立连接，之后应用层所有的数据库操作都会通过该连接进行；
[0024]S3
‑
6，数据库中间层从应用层请求中获取表名并生成完整表名；数据库中间层接收到应用层的操作请求时，取出缓存的项目ID，按照1的方式拼接出完整的表名；
[0025]数据库中间层按照项目ID、表名、操作，自动生成最终的sql语句，并通过数据库连接执行并返回结果。
[0026]根据上述技术方案优选的，所述筛选方法包括：
[0027]S
‑
A，共有数据属性的先验条件概率分布的属性集合A为，
[0028]其中为BIM的共有数据I中第i个存储零件对应的a种设计种类与对应第m个匹配型号的属性值；
[0029]私有数据属性的先验条件概率分布的属性集合B为，
[0030]其中为BIM的私有数据J中第j个存储零件对应的b种设计种类与对应第n个匹配型号的属性值；
[0031]设置BIM数据中的类属性C为条件的情况下的条件概率Q(A|C)、Q(B|C)；计算方法
如下，其中Q(A,C)表示集合A与C的联合概率分布，遍历A与C的取值得到其条件概率分布Q(A|C)；其中Q(B,C)表示集合B与C的联合概率分布，遍历B与C的取值得到其条件概率分布Q(B|C)，Q(A)为属性集合A的属性条件，Q(B)为属性集合B的属性条件，Q(C)为类属性C。
[0032]根据上述技术方案优选的，所述筛选方法还包括：
[0033]S
‑
B，针对属性集合A中各个属性节点与属性集合B中各个属性节点的条件函数Q(A,B|C)计算方法如下；
[0034]通过对Q(A,C)和Q(B,C)的联合概率分布计算之后，遍历A、B和C的取值，对概率分布进行求导，再乘以共有数据和私有数据的属性值之和。
[0035]根据上述技术方案优选的，述筛选方法还包括：
[0036]S
‑
C，当类属性节点C在BIM数据中进行条件筛选时；根据BIM数据中的共有数据和私有数据的构造容量设置粒子群M和N，若共有数据粒子群M满足条件为s为0到1之间的随机实数，t为条件为零的共有数据粒子群数量，u为偏差值，为限定条件权值，用于对粒子群的数量进行限定，对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量BIM数据的分布式存储方法，其特征在于，包括如下步骤：S1，获取BIM数据后进行数据分类，将分类的数据划分为共有数据库和私有数据库；S2，针对不同的数据库存储不同类型的数据，并对数据进行数据集划分，将划分后的数据集进行归类；S3，对归类的数据集进行数据筛选，通过筛选模型识别重复的数据，并进行压缩处理。2.根据权利要求1所述的海量BIM数据的分布式存储方法，其特征在于，所述S1包括：S1
‑
1，共有数据获取来源包括能够在大数据网站合法获取的类数据，对类数据进行分类；S1
‑
2，创建共有数据的主数据库和从数据库，在主数据库服务器上存储BIM共有数据，对数据的任何增加、删除、更新操作都只针对主数据库；然后将数据镜像或者同步到从数据库；S1
‑
3，私有数据按照规则进行拆分；将私有数据按照所属项目进行划分，归属同一个项目的BIM数据存储到同一个数据库服务器上；每个项目有唯一的编号即ID，按照ID的区段将项目分配到不同的数据库中。3.根据权利要求1所述的海量BIM数据的分布式存储方法，其特征在于，所述S2包括：S2
‑
1，将BIM项目与数据库服务器的对应关系进行存储，创建BIM项目时，首先查询数据库中是否已经存在对应关系的记录；如果不存在，则按照前述的规则通过项目ID获取归属的数据库服务器信息，并将对应关系存储到数据库中后后续查询；如果存在，则不做任何操作，避免重复创建；S2
‑
2，访问项目时，通过项目ID查询对应的数据库服务器信息，而后建立与该数据库的连接；S2
‑
3，使用项目信息加上表信息的方式唯一地标识数据库表；采用“表名前缀+_+项目ID+_+表名”。4.根据权利要求1所述的海量BIM数据的分布式存储方法，其特征在于，所述S3包括：S3
‑
1，对应用层屏蔽数据库底层分库实现细节，提供数据库中间层；S3
‑
2，按照数据库表结构定义数据结构；在数据结构中加入标签信息，指示该类数据是共有数据还是私有数据；S3
‑
3，应用层对数据库的所有操作必须通过数据库中间层进行；S3
‑
4，数据库中间层接受到应用层的操作请求时，首先判断出该操作是针对共有数据还是私有数据；如果是共有数据，则先获取共有数据所在服务器信息，而后建立与数据库连接，通过该连接，直接访问数据库表数据；如果是私有数据，应用层在使用数据库中间层之前，必须先设定要访问的项目ID；之后访问数据库的时候无需带上项目ID，直到需要访问另外一个项目为止。5.根据权利要求4所述的海量BIM数据的分布式存储方法，其特征在于，所述S3还包括：S3
‑
5，数据库中间层根据项目ID，在数据库的项目与数据库服务器映射表中，查找私有数据所在数据库服务器并与之建立连接，...

【专利技术属性】
技术研发人员：赵亮，
申请(专利权)人：筑智建科技重庆有限公司，
类型：发明
国别省市：