基于存储与处理的服务器系统技术方案

本发明专利技术公开了一种基于存储与处理的服务器系统，包括：数据处理服务器、数据存储服务器、输入管理系统服务器、数据接收系统服务器、数据更新系统服务器、输出管理系统服务器及至少一个用户终端；输入管理系统服务器包括存储运行于其上的输入管理系统，数据接收系统服务器包括存储运行于其上的数据接收系统，数据更新系统服务器包括存储运行于其上的数据更新系统，输出管理系统服务器包括存储运行于其上的输出管理系统；数据处理服务器对各个数据接收系统服务器采集的待存储数据进行统一处理后，集中存储至数据存储服务器；接收到任一用户终端发送的数据请求后，输出管理系统服务器直接从数据存储服务器中获取对应的目标数据，并返回至用户终端。并返回至用户终端。并返回至用户终端。

【技术实现步骤摘要】
基于存储与处理的服务器系统


[0001]本专利技术涉及数据管理
，更具体地，涉及一种基于存储与处理的服务器系统。

技术介绍

[0002]现在主流的存储服务器，在4U服务器里可以集成超过30个磁盘，以常见的36块磁盘，单个磁盘8TB的存储服务器为例，单服务器数据存储容量为288TB。云计算服务商对成千上万的客户提供数据存储服务，虽然服务器及磁盘的故障机率很小，但是在单服务器具有非常高的数据量和服务器数量非常巨大的情况下，一旦有服务器故障，客户的损失是非常巨大的。
[0003]但是现有技术存在以下缺陷，增加服务器，造成资源冗余的，加大了系统的硬件成本；设立较大规模的多服务器集群，并且通过额外的存储网关管理，该技术为集群级的设计，系统复杂度很高，在很多应用场景并不适用。

技术实现思路

[0004]鉴于上述问题，本专利技术提出了一种基于存储与处理的服务器系统，其可以便于数据的管理和存储。
[0005]根据本专利技术实施例的第一方面，提供一种基于存储与处理的服务器系统，所述系统包括：
[0006]数据处理服务器、数据存储服务器、输入管理系统服务器、数据接收系统服务器、数据更新系统服务器、输出管理系统服务器及至少一个用户终端；
[0007]所述输入管理系统服务器、所述数据接收系统服务器、所述数据更新系统服务器及所述输出管理系统服务器均连接至所述数据处理服务器和所述数据存储服务器，所述数据处理服务器连接至所述至少一个用户终端；
[0008]所述输入管理系统服务器包括存储运行于其上的输入管理系统，所述数据接收系统服务器包括存储运行于其上的数据接收系统，所述数据更新系统服务器包括存储运行于其上的数据更新系统，所述输出管理系统服务器包括存储运行于其上的输出管理系统；
[0009]其中，所述数据处理服务器用于对各个数据接收系统服务器采集的待存储数据进行统一处理后，集中存储至所述数据存储服务器；
[0010]当接收到任意一个用户终端发送的数据请求后，所述输出管理系统服务器根据所述数据请求直接从所述数据存储服务器中获取对应的目标数据，并返回至所述用户终端。
[0011]在一个实施例中，优选地，所述输入管理系统包括：
[0012]输入接收单元，用于接收不同的输入设备导入的输入信息；
[0013]输入汇总单元，用于对所述输入接收单元接收到的输入信息进行汇总，获得每一个输入信息的总输入量；
[0014]输入清单生成单元，用于根据不同输入设备的输入信息生成输入清单；
[0015]信息类别单元，用于收集输入信息类别并生成信息类别清单；
[0016]审核单元，用于将所述输入清单和所述信息类别清单传输给管理终端，并经所述管理终端的管理员审核处理后，生成输入表；
[0017]输入单元，基于所述输入表，将所述输入信息发送给相应的用户终端。
[0018]在一个实施例中，优选地，所述输入管理系统采用主成分分析方式对接收不同的输入设备导入的输入信息进行筛选过滤，具体的筛选过滤方式如下：
[0019]S701、获取所述输入接收单元获取的原始的输入数据[x
1 x2…
x
m
]和数据保真度阈值γ；
[0020]S702、通过第一计算公式计算所述输入数据的特征值λ
i
；
[0021]S703、根据所述输入数据的特征值的大小进行排序，确定为第二计算公式格式的变换矩阵，其中，特征值的大小进行排序关系为λ1>λ2>λ3…
λ
m
；
[0022]S704、初始化输入压缩后的数据维度为0；
[0023]S705、初始化数据保真度为0；
[0024]S706、判断数据保真度是否大于等于数据保真度阈值，响应于所述数据保真度大于等于数据保真度阈值，则按照第三计算公式压缩所述输入数据[x
1 x2ꢀ…ꢀ
x
m
]；
[0025]S707、判断数据保真度是否小于数据保真度阈值，响应于所述数据保真度大于数据保真度阈值，则按照第四计算公式和第五计算公式更新所述数据维度和所述数据保真度，并返回重新执行步骤S706；
[0026]所述第一计算公式为：
[0027]X
T
X＝[x
1 x2ꢀ…ꢀ
x
m
]T
[x
1 x2ꢀ…ꢀ
x
m
][0028]其中，m为监控指标类型数；X为原始的输入数据的矩阵[x
1 x2ꢀ…ꢀ
x
m
]，x
i
为监控指标i的采样数据向量；
[0029]所述第二计算公式为：
[0030]P＝[e
1 e2ꢀ…ꢀ
e
D
][0031]其中，P为变换矩阵，D为压缩后的数据维度，λ
i
为矩阵特征值(按降序排位为i)，e
i
为特征值λ
i
对应的特征向量；
[0032]所述第三计算公式为：
[0033]Y＝PX＝[e
1 e2ꢀ…ꢀ
e
D
]T
X
[0034]其中，Y为输出矩阵[y
1 y2ꢀ…ꢀ
y
D
]，D为压缩后的数据维度，y
i
为压缩后的监控指标i的数据向量；
[0035]所述第四计算公式为：
[0036]D＝D+1
[0037]其中，D为压缩后的数据维度。
[0038]所述第五计算公式：
[0039][0040]其中，m为监控指标类型数；D为压缩后的数据维度；Fid为数据保真度；γ为数据保
真度阈值(用户定义)；λ
i
为矩阵特征值(按降序排位为i)；e
i
为特征值λ
i
对应的特征向量。
[0041]在一个实施例中，优选地，所述数据接收系统包括数据接收管理单元，所述数据接收管理单元包括：
[0042]检索模块，用于根据接收到的检索指令，对待存储数据相关信息进行检索，并收集待存储数据相关信息的检索信息；
[0043]跟踪模块，用于跟踪待存储数据相关信息，收集更新情况；
[0044]评估模块，用于对所述待存储数据的存储和管理进行评估和确认；
[0045]存储审核模块，用于对确认为可存储的待存储数据进行存储确认审核。
[0046]在一个实施例中，优选地，所述数据接收系统采用数据降维压缩方法进行在线数据存储，所述数据降维压缩方式包括：
[0047]S901、获取所述检索模块的存储数据分别为C＝[c
1 c2ꢀ…ꢀ
c
m
]和预设的实时降维转换矩阵S＝[e
s1 e
s2
ꢀ…ꢀ
e
sD...

【技术保护点】

【技术特征摘要】
1.一种基于存储与处理的服务器系统，其特征在于，包括：数据处理服务器、数据存储服务器、输入管理系统服务器、数据接收系统服务器、数据更新系统服务器、输出管理系统服务器及至少一个用户终端；所述输入管理系统服务器、所述数据接收系统服务器、所述数据更新系统服务器及所述输出管理系统服务器均连接至所述数据处理服务器和所述数据存储服务器，所述数据处理服务器连接至所述至少一个用户终端；所述输入管理系统服务器包括存储运行于其上的输入管理系统，所述数据接收系统服务器包括存储运行于其上的数据接收系统，所述数据更新系统服务器包括存储运行于其上的数据更新系统，所述输出管理系统服务器包括存储运行于其上的输出管理系统；其中，所述数据处理服务器用于对各个数据接收系统服务器采集的待存储数据进行统一处理后，集中存储至所述数据存储服务器；当接收到任意一个用户终端发送的数据请求后，所述输出管理系统服务器根据所述数据请求直接从所述数据存储服务器中获取对应的目标数据，并返回至所述用户终端。2.根据权利要求1所述系统，其特征在于，所述输入管理系统包括：输入接收单元，用于接收不同的输入设备导入的输入信息；输入汇总单元，用于对所述输入接收单元接收到的输入信息进行汇总，获得每一个输入信息的总输入量；输入清单生成单元，用于根据不同输入设备的输入信息生成输入清单；信息类别单元，用于收集输入信息类别并生成信息类别清单；审核单元，用于将所述输入清单和所述信息类别清单传输给管理终端，并经所述管理终端的管理员审核处理后，生成输入表；输入单元，基于所述输入表，将所述输入信息发送给相应的用户终端；其中，所述输入管理系统采用主成分分析方式对接收不同的输入设备导入的输入信息进行筛选过滤，具体的筛选过滤方式如下：获取所述输入接收单元获取的原始的输入数据[x
1 x2ꢀ…ꢀ
x
m
]和数据保真度阈值γ；通过第一计算公式计算所述输入数据的特征值λ
i
；根据所述输入数据的特征值的大小进行特征相量排序，确定为第二计算公式形式的变换矩阵，其中，特征值的大小进行排序关系为λ1>λ2>λ3…
λ
m
；初始化输入压缩后的数据维度D为0；初始化数据保真度Fid为0；判断数据保真度Fid是否大于等于数据保真度阈值γ，响应于所述数据保真度Fid大于等于数据保真度阈值γ，则按照第三计算公式压缩所述输入数据[x
1 x2ꢀ…ꢀ
x
m
]；判断数据保真度Fid是否小于数据保真度阈值γ，响应于所述数据保真度Fid大于数据保真度阈值γ，则按照第四计算公式和第五计算公式更新所述数据维度和所述数据保真度，并返回重新执行步骤S706；所述第一计算公式为：X
T
X＝[x
1 x2ꢀ…ꢀ
x
m
]
T
[x
1 x2ꢀ…ꢀ
x
m
]其中，m为监控指标类型数；X为原始的输入数据的矩阵[x
1 x2ꢀ…ꢀ
x
m
]，x
i
为监控指标i的采样数据向量；
所述第二计算公式为：P＝[e
1 e2ꢀ…ꢀ
e
D
]其中，P为变换矩阵，D为压缩后的数据维度，λ
i
为按降序排位为i的矩阵特征值，e
i
为特征值λ
i
对应的特征向量；所述第三计算公式为：Y＝PX＝[e
1 e2ꢀ…ꢀ
e
D
]
T
X其中，Y为输出矩阵[y
1 y2ꢀ…ꢀ
y
D
]，D为压缩后的数据维度，y
i
为压缩后的监控指标i的数据向量；所述第四计算公式为：D＝D+1其中，D为压缩后的数据维度；所述第五计算公式：其中，m为监控指标类型数，D为压缩后的数据维度，Fid为数据保真度，γ为数据保真度阈值，λ
i
为按降序排位为i的矩阵特征值，e
i
为特征值λ
i
对应的特征向量。3.根据权利要求1所述系统，其特征在于，所述数据接收系统包括数据接收管理单元，所述数据接收管理单元包括：检索模块，用于根据接收到的检索指令，对待存储数据相关信息进行检索，并收集待存储数据相关信息的检索信息；跟踪模块，用于跟踪待存储数据相关信息，收集更新情况；评估模块，用于对所述待存储数据的存储和管理进行评估和确认；存储审核模块，用于对确认为可存储的待存储数据进...

【专利技术属性】
技术研发人员：李哲，
申请(专利权)人：深圳市至简科技设计有限公司，
类型：发明
国别省市：