多数据系统技术方案

多数据系统，涉及计算机程序技术领域，包括一个主控服务器和多个分布式存储数据库，其特征在于，所述存储数据库采用异步写入方式保存。本申请可以提高数据库的写入速度，并将所有数据写入数据库中，保证数据的完整性。保证数据的完整性。

【技术实现步骤摘要】
多数据系统


[0001]本专利技术涉及计算机程序
，尤其涉及多数据系统。

技术介绍

[0002]随着全员生产维护的开展，设备综合效率(Overall Equipment Effectiveness，OEE)作为全员生产维护衡量设备效能的标准得到广泛应用，并取得显著成效。Factorytalk、OEE、Toolkit等OEE分析软件已经被广泛使用，另外在国内外的各种MES系统中也相应引入了OEE分析模块。
[0003]然而，不管是OEE分析专用软件还是带有OEE分析模块的 MES，都存在如下弊端：1)费用高昂；2)开发要求较高；3)在使用中会存在一定问题。 另外用常规通用的统计分析软件，虽然可以降低成本，但是对于海量的OEE数据，要高效准确得出结果却存在很大的难度。
[0004]另外在当前的数据分析领域中，多维数据分析作为一项新兴技术，受到广泛重视。利用多维数据分析以OLAP(联机分析处理)作为平台，并且延伸到数据挖掘领域的综合分析数据系统，在人口信息、石油生产、医院信息等多个方面的数据分析都起到了积极作用。然而，针对生产领域中具体对于OEE的数据分析上，还鲜见多维数据分应用的实例。
[0005]多数据系统由于需要对大量的数据进行处理分析、存储和输出，因此存在高并发的问题，影响数据传输的及时性。

技术实现思路

[0006]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的多数据系统，可以有效的解决多数据系统由于需要对大量的数据进行处理分析、存储和输出，因此存在高并发的问题，影响数据传输的及时性。
[0007]为了实现上述目的，本专利技术采用了如下技术方案：多数据系统，包括一个主控服务器、数据采集平台、数据处理平台、业务对接和多个分布式存储单元，其特征在于，所述存储单元采用异步写入方式保存；所述主控服务器用于提供数据和业务对接服务；所述数据采集平台，用于根据指令进行数据采集；所述数据处理平台，对数据采集平台采集的数据进行处理，处理后的数据按照业务类型存储；所述业务对接，根据使用者的指令进行业务匹配；所述分布式存储单元，用于存储数据处理平台处理的数据，并将处理的数据进行分类储存。
[0008]所述异步写入方式采用将数据放在缓存中，不立即存储数据库的数据，使用队列存储的方式实现。
[0009]所述异步写入方式采用将数据放在缓存中，不立即存储数据库的数据，使用队列存储的方式实现。
[0010]所述业务对接通过CDN内容分发。
[0011]异步写入具体代码为：From twisted.enterprise import adbapiFrom pymysql import cursorsClass TwistedMysqlPipeline(object)：@classmethoddef from_settings (cls,stettings)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
db_prams=dict(host=settings[
‘
MYSQL_HOST
’
],user=settings[
‘
MYSQL_USER
’
],password= settings[
‘
MYSQL_PW
’
],db= settings[
‘
MYSQL_DB
’
],port=3306,use_unicode=True,charset= settings[
‘
MYSQL_CHARSET
’
],cursorclass=cursors.DictCursor）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
db_pool=adbapi.ConnectionPool(
‘
pymysql
’
,**db_prams)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
return cls(db_pool)
ꢀꢀꢀꢀꢀꢀꢀ
def_init_(self,db_pool):
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
self.db_pool=db_pool
ꢀꢀꢀꢀꢀꢀꢀ
def process_item(self,item,spider):
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
query=self.db_pool.runInteraction(self.insert_sql,item)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
query.addErrback(self.handle_error,item,spider)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
return item
ꢀꢀꢀꢀꢀꢀ
def handle_error(self,failure,item,spider):
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
print(
‘
报错了。。。
’
)print（
‘
failure
’
）print(
‘
item
’
) def insert_sql(self,cursor,item):
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
item.save(cursor,item)。
[0012]与现有技术相比，本专利技术的有益效果为：本申请将数据分类储存，并通过异步写入的方式保存，业务对接采用CDN内容分发，可以有效解决高并发问题，确保数据传输的及时性。
具体实施方式
[0013]实施例1多数据系统，包括一个主控服务器、数据采集平台、数据处理平台、业务对接和多个分布式存储单元，所述存储单元采用异步写入方式保存；所述异步写入方式采用将数据放在
缓存中，不立即存储数据库的数据，使用队列存储的方式实现。
[0014]所述主控服务器用于提供数据和业务对接服务；当使用者需要点击业务对接服务进行操作时，主控服务器根据指令进行业务匹配，并从分类存储的分布式存储单元中调取数据，提供相关的数据服务，业务对接数据通过CDN内容分发给使用者。
[0015]所述数据采集平台，根据指令进行数据采集；数据采集平台采集的数据经数据处理平台进行处理，处理后的数据按照业务类型分类存储于分布式存储单元中。
[0016]异步写入具体代码为：From twisted.enterprise import adbapiFrom pymysql import cursorsClass TwistedMysqlPipeline(object)：@classmethoddef from_settings (cls,stettings)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
db_prams=dict(host=settings[
‘
MYSQL_HOST
’
],user本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多数据系统，包括一个主控服务器、数据采集平台、数据处理平台、业务对接和多个分布式存储单元，其特征在于，所述存储单元采用异步写入方式保存；所述主控服务器用于提供数据和业务对接服务；所述数据采集平台，用于根据指令进行数据采集；所述数据处理平台，对数据采集平台采集的数据进行处理，处理后的数据按照业务类型存储；所述业务对接，根据使用者的指令进行业务匹配；所述分布式存储单元，用于存储数据处理平台处理的数据，并将处理的数据进行分类储存。2.如权利要求1所述多数据系统，其特征在于：所述异步写入方式采用将数据放在缓存中，不立即存储数据库的数据，使用队列存储的方式实现。3.如权利要求2所述多数据系统，其特征在于：所述异步写入方式采用将数据放在缓存中，不立即存储数据库的数据，使用队列存储的方式实现。4.如权利要求1所述多数据系统，其特征在于：所述业务对接通过CDN内容分发。5.如权利要求1至4任意一项所述多数据系统，其特征在于：异步写入具体代码为：From twisted.enterprise import adbapiFrom pymysql import cursorsClass TwistedMysqlPipeline(object)：@classmethoddef from_settings (cls,stettings)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
db_prams=dict(host=settings[
‘
MYSQL_HOST
’
],user=settings[
‘
MYSQL_USER
’
],password= settings[
‘
MYSQL_PW
’
],db= settings[
‘
MYSQL_DB
’
],port=3306,use_unicode=True,charset= settings[
...

【专利技术属性】
技术研发人员：周伯虎，
申请(专利权)人：山东开创云计算有限公司，
类型：发明
国别省市：