【技术实现步骤摘要】
本专利技术属于分布式存储，具体涉及基金资产的数据记录分布式接收存储方法及系统。
技术介绍
1、传统的金融市场中基金资产数据记录往往依赖于中心化的数据处理系统，常存在数据存储的单点故障风险和网络攻击导致的数据泄露问题，因此衍生的dlt分布式账本技术和区块链技术，同时这些技术已经逐渐被为在分布式系统中有效扩展节点以应对基金资产数据量骤增特性的同时维持系统复杂性保持在相对稳定状态之间的冲突，现有技术经常使用数据分片机制解决这种权衡竞争的，通过将数据水平切分到不同的节点上来提升分布式系统的可扩展性，是应对海量数据处理的重要手段。然而分片通常是按照某种规则进行划分，比如按照基金id进行哈希或范围分片，这种静态划分并未考虑数据访问的动态变化，基金市场的数据访问具有高度的动态性和不确定性，特定时间段内某些基金的交易量可能激增，导致这些分片的负载迅速升高形成热分片现象，即分布式系统中的高负载情形下，由于数据分片的负载分布不均衡引起部分分片因承载了显著高于其他分片的访问请求，导致相关节点的性能瓶颈凸显的问题，尤其目前高频交易在每日成交量中占比越来越高，这会进一步导致请求处理延迟增加，甚至节点发生宕机，直接影响系统的整体性能，尤其是基金资产数据处理中相当重要的响应速度。
2、但是目前对分布式系统中的高负载情形下的热分片现象普遍通过服务器负载均衡算法来降低热分片现象发生的概率，忽略了各个节点本身内容关键性失衡累积引起的热分片现象，引起发生关键性失衡效应是因为不同数据标签或分片承载的数据在业务上有不同的重要性，例如高频交易、热门基金的资产数
技术实现思路
1、本专利技术的目的在于提出基金资产的数据记录分布式接收存储方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
2、为了实现上述目的，根据本专利技术的一方面，提供基金资产的数据记录分布式接收存储方法，所述方法包括以下步骤：
3、在数据存储环境中配置服务器节点和数据标签；从服务器节点获取数据标签的标签效态；根据标签效态计算标签热策略系数，利用标签热策略系数从各个服务器节点中识别热系标签； 结合热系标签判定结果进行数据记录存储；
4、进一步地，在数据存储环境中识别获得各个服务器节点和数据标签的方法是：数据存储环境中包括若干个服务器节点，简称节点；
5、基金资产的数据记录通过数据分片机制分片存储于各个节点，数据记录由若干数据标签构成，数据记录的若干个数据标签分别存储于不同的节点，每个节点存均储有各个数据标签的基金资产数据。
6、其中基金资产数据种类数据标签为规则化的数据分片算法处理后的各个分片；或者数据标签为基金类型、基金名称、基金管理人、基金单位净值、分红信息、净资产值或者投资分组等。
7、进一步地，从服务器节点获取数据标签的标签效态的方法是：预设监测间隔rg,rg∈[0.5，24]小时，其默认值为1小时；每隔rg获取一次数据标签的标签效态，其中数据标签的标签效态为运算阶值和标签压力的乘积，运算阶值的计算方法为：服务器节点在监测间隔内的cpu占用率的平均值记为占用量，所有节点的占用量中的最小值记为占用基值，则任一节点的占用量与占用基值的作差，所得差值与占用基值的比值作为其运算阶值；标签压力的计算方法为：在一个节点中，对同一个数据标签的读写次数作为单位读写量，对该节点下各个数据标签对应读写量构成的数值集合进行minmax归一化处理，定义数据标签的单位读写量的归一化数值为其标签压力。
8、进一步地，根据标签效态计算标签热策略系数的方法是：以任意数据标签作为判定标签，以预先设定的时间区间作为监测区间；
9、或者，对判定标签，以标签效态数值为零的时刻为零点位；任一节点从当前时刻开始逆时间方向搜索获取首个零点位作为该节点的当前零点位，则当前时刻到当前零点位之间的时刻数量作为该节点的零点位跨度；各个节点的零点位跨度构成的集合中，分别获取该集合的中位值zps.mid，四分位距zps.ir和最大值zps.mx，构建零点区间zps_rg，zps_rg＝min{(zps.mid＋zps.ir),zps.mx}；从当前时刻到其逆时间方向的zps_rg时段作为监测区间；
10、根据监测区间内判定标签的标签效态识别热系标签。
11、进一步地，根据监测区间内判定标签的标签效态识别热系标签的方法是：在监测区间内，分别获取同一节点不同时刻下和同一时刻中不同节点下的标签效态的最小值，并分别记为第一效态准值和第二效态准值；定义标签效态与第一效态准值的差值为准节点差向度slbv；
12、对任一节点，如果任一不为零的标签效态对应的第一效态准值和第二效态准值都为零，则将该标签效态对应的时刻记为效态谷点；
13、其中效态谷点的作用可以被看作标签效态曲线上的关键特征，通过分析这些效态谷点，能够直接捕捉时序中负载变化的局部波动，尤其是那些突然骤减的波动，因此能在时间序列中起到类似警戒线的作用，标记了低值数据的拐点，而拐点作为相对稳态的基准则对系统负载的变化轨迹量化提供更加科学的度量标准。
14、将所有时刻下的各个效态谷点构建成集合fn，集合fn中元素的数量记为sfn，任一效态谷点的标签效态与集合fn中标签效态最小值的差值记为该效态谷点的节点差向度；
15、把效态谷点构建为集合计算准节点差向度的原理是，结合时间序列的差异度能使得算法以相对较低的计算复杂度快速分析负载的关键性波动，从而系统应对负载突发变化的灵敏度更强。
16、将任一时刻的标签效态作为谷点阈值，在集合fn中标签效态小于谷点阈值的元素数量与标签效态大于谷点阈值的元素数量的比值记为该时刻的效态衍度eff,如果集合fn中所有元素的标签效态均大于谷点阈值，或者均小于谷点阈值，则该时刻的效态衍度为1/sfn；根据效态谷点计算得到的标签热策略系数ltsc，其计算方法为：
17、；
18、其中j1为累加变量，slbvj1和lbvj1分别为第j1个效态谷点的准节点差向度和节点差向度，exp()表示自然常数e为底数的指数函数，max()为获取最大值函数, lg()为以10为底的对数函数；
19、由于在利用节点差向度计算的标签热策略系数中侧重于基本的效态差异识别，所以可以快速地对各个节点本身内容关键性失衡累积引起的热分片风险进行实时量化，但是由于该方法对原始数据依赖性强，会导致出现量化分析的过拟合问题，尤其是存在大量高频发生的标签效态骤升的情况，然而现有技术并无法解决实时量化过程对原始数据依赖性强本文档来自技高网...
【技术保护点】
1.基金资产的数据记录分布式接收存储方法，其特征在于，所述方法包括以下步骤：在数据存储环境中配置服务器节点和数据标签；从服务器节点获取数据标签的标签效态；根据标签效态计算标签热策略系数，利用标签热策略系数从各个服务器节点中识别热系标签； 结合热系标签判定结果进行数据记录存储；
2.根据权利要求1所述的基金资产的数据记录分布式接收存储方法，其特征在于，在数据存储环境中识别获得各个服务器节点和数据标签的方法是：数据存储环境中包括若干个服务器节点，简称节点；
3.根据权利要求1所述的基金资产的数据记录分布式接收存储方法，其特征在于，从服务器节点获取数据标签的标签效态的方法是：预设监测间隔rg,rg∈[0.5，24]小时，每隔rg获取一次数据标签的标签效态，其中数据标签的标签效态为运算阶值和标签压力的乘积，运算阶值的计算方法为：服务器节点在监测间隔内的CPU占用率的平均值记为占用量，所有节点的占用量中的最小值记为占用基值，则任一节点的占用量与占用基值的作差，所得差值与占用基值的比值作为其运算阶值；标签压力的计算方法为：在一个节点中，对同一个数据标签的读写次数作为单
4.根据权利要求1所述的基金资产的数据记录分布式接收存储方法，其特征在于，根据标签效态计算标签热策略系数的方法是：以任意数据标签作为判定标签，以预设的时间区间作为监测区间；根据监测区间内判定标签的标签效态识别热系标签。
5.根据权利要求4所述的基金资产的数据记录分布式接收存储方法，其特征在于，根据监测区间内判定标签的标签效态识别热系标签的方法是：分别获取同一节点不同时刻下和同一时刻中不同节点下的标签效态的最小值，并分别记为第一效态准值和第二效态准值；定义标签效态与第一效态准值的差值为准节点差向度SLbv；对任一节点，如果任一不为零的标签效态对应的第一效态准值和第二效态准值都为零，则将该标签效态对应的时刻记为效态谷点；将所有时刻下的各个效态谷点构建成集合Fn，集合Fn中元素的数量记为Sfn，任一效态谷点的标签效态与集合Fn中标签效态最小值的差值记为该效态谷点的节点差向度；
6.根据权利要求4所述的基金资产的数据记录分布式接收存储方法，其特征在于，根据监测区间内判定标签的标签效态识别热系标签的方法可替换为：若一个时刻较其前一个时刻的标签效态数值大且其前一个时刻的标签效态数值不为零，则定义该时刻为效态增位；各个效态增位的平均值记为效态相值，若任一时刻的标签效态大于效态相值则判定其满足第一相值条件；
7.根据权利要求1所述的基金资产的数据记录分布式接收存储方法，其特征在于，利用标签热策略系数从各个服务器节点中识别热系标签的方法是：对任意数据标签，定义各个节点对应标签热策略系数中的中位值作为策略划分变量，如果节点的标签热策略系数大于策略划分变量，则认为该数据标签在该节点属于热系标签，否则为非热系标签。
8.根据权利要求1所述的基金资产的数据记录分布式接收存储方法，其特征在于，结合热系标签判定结果进行数据记录存储的方法是：任意待写入的数据记录包含若干个数据标签，为其各个数据标签进行热风险排除存储，具体为：获取当前数据标签的各个存储节点，若在任一存储节点中当前数据标签为热系标签，则定义该节点为风险节点，获取热风险排除返回值：当所有存储节点均为风险节点，则认为则返回值为FALSE，并重为新当前数据标签选择存储节点，否则返回值为TRUE；通过热风险排除存储使得所有数据标签的热风险排除返回值均为TRUE，则待写入的数据记录完成存储。
9.基金资产的数据记录分布式接收存储系统，其特征在于，所述基金资产的数据记录分布式接收存储系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的基金资产的数据记录分布式接收存储方法中的步骤，所述基金资产的数据记录分布式接收存储系统运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心的计算设备中。
...【技术特征摘要】
1.基金资产的数据记录分布式接收存储方法，其特征在于，所述方法包括以下步骤：在数据存储环境中配置服务器节点和数据标签；从服务器节点获取数据标签的标签效态；根据标签效态计算标签热策略系数，利用标签热策略系数从各个服务器节点中识别热系标签； 结合热系标签判定结果进行数据记录存储；
2.根据权利要求1所述的基金资产的数据记录分布式接收存储方法，其特征在于，在数据存储环境中识别获得各个服务器节点和数据标签的方法是：数据存储环境中包括若干个服务器节点，简称节点；
3.根据权利要求1所述的基金资产的数据记录分布式接收存储方法，其特征在于，从服务器节点获取数据标签的标签效态的方法是：预设监测间隔rg,rg∈[0.5，24]小时，每隔rg获取一次数据标签的标签效态，其中数据标签的标签效态为运算阶值和标签压力的乘积，运算阶值的计算方法为：服务器节点在监测间隔内的cpu占用率的平均值记为占用量，所有节点的占用量中的最小值记为占用基值，则任一节点的占用量与占用基值的作差，所得差值与占用基值的比值作为其运算阶值；标签压力的计算方法为：在一个节点中，对同一个数据标签的读写次数作为单位读写量，对该节点下各个数据标签对应读写量构成的数值集合进行minmax归一化处理，定义数据标签的单位读写量的归一化数值为其标签压力。
4.根据权利要求1所述的基金资产的数据记录分布式接收存储方法，其特征在于，根据标签效态计算标签热策略系数的方法是：以任意数据标签作为判定标签，以预设的时间区间作为监测区间；根据监测区间内判定标签的标签效态识别热系标签。
5.根据权利要求4所述的基金资产的数据记录分布式接收存储方法，其特征在于，根据监测区间内判定标签的标签效态识别热系标签的方法是：分别获取同一节点不同时刻下和同一时刻中不同节点下的标签效态的最小值，并分别记为第一效态准值和第二效态准值；定义标签效态与第一效态准值的差值为准节点差向度slbv；对任一节点，如果任一不为零的标签效态对应的第一效态准值和第二效态准值都为零，则将该标签效态对应的时刻记为...
【专利技术属性】
技术研发人员：苏泽伟，杨招华，谢典佐，姚佳伟，黄凯福，
申请(专利权)人：珠海盈米基金销售有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。