一种大数据分析处理方法及系统技术方案

本发明专利技术公开一种大数据分析处理方法及系统，该方法包括：在步骤S1中，获取用户通过就诊或终端得到的第一数据，对其进行识别和标记以形成第二数据，并将第二数据存储到第一数据库；在步骤S2中，基于某个时间段内通过步骤S1形成的多个数据处理过程的数据结果，结合第一数据库在该时间段之前的数据，形成第一数据库的完整数据；在步骤S3中，通过第一数据库向区块链进行数据上传；在步骤S4中，用户根据其的对应的权限，对于区块链上的数据进行分析。该大数据分析处理方法及系统能够保证用户数据不被被窃和泄露，保证在数据安全的情况下提高加密效率，并且便于在合规的前提下进行数据分析。析。析。

【技术实现步骤摘要】
一种大数据分析处理方法及系统


[0001]本专利技术通常涉及计算机数据处理领域，更具体而言，涉及一种大数据分析处理方法。

技术介绍

[0002]近些年来，随着网络技术和信息技术的快速发展，各个行业、各个领域形成了海量的数据。如何在合规的前提下，利用大量的数据进行处理和分析以有效地发现隐含在数据中的某些特定的关联关系，推测数据的发展趋势，以从中获得对用户有用的信息，并指导后续的生产生活实践，是非常有益的。但因为源数据中有可能包含有敏感或私人的信息，在数据处理分析过程中不可避免地会造成这些个人信息的泄露，从而对个人造成名誉或经济损失。以医疗行业为例，由于医疗手段的不断创新和改进，以及便携式或可穿戴式生理参数采集系统的逐渐普及，涉及用户的就医、自测、实时采集、访问医疗或卫生管理研究机构数据库和与该医疗或卫生管理研究机构的人、机交互等过程中形成的数据也在呈现急速的增长，这些数据中不仅包括姓名、性别等基本信息，还包括身份证号、婚姻状况、住址、家庭成员、家族病史、职业等涉及个人隐私的信息。从医学研究的角度看，利用患者之间的关联性分析其共性的健康状况和共性，利用患者的信息分析家族发病原因和概率以及疾病发展趋势，通过用户的健康变化情况进行药物开发和评估，等等。而在个人和机构数据库之间以及机构数据库之间进行通信或交互时，无论是数据的收发还是使用过程中，或者在数据的存储过程中，都容易遭到外部恶意软件的监听、信息捕获、攻击，进而致使数据源内容泄露，造成用户个人数据被窃。
[0003]以往医疗或卫生管理研究机构的数据或者集中存储在本地，或者将部分特殊数据通过特殊系统进行上报，这种数据存储方式存在一些不便和风险：医疗数据难以进行有效交换，大量数据无法发挥其潜在价值，同时有被恶意攻击以及故障导致数据无法恢复的风险。为了克服这些问题，现有技术中提出了将医疗卫生数据上链，即将其加载到区块链。所谓的区块链是以去中心化的方式，保障在互不信任的环境下医疗数据不被篡改和损毁，加密算法为区块链提供匿名性，保护用户的个人数据，共识机制为区块链提供一致性，保证数据的一致性和完整性。数据加载到区块链可以实现信息的共享，用户可以通过一定的权限访问块并获取对应选线的所需信息。然而现有技术中对于用户存在位置信息易泄露的风险。

技术实现思路

[0004]本专利技术的目的之一是提供一种大数据分析处理方法和系统，能够保证用户数据不被被窃和泄露，保证在数据安全的情况下提高加密效率，并且便于在合规的前提下进行数据分析。
[0005]本专利技术为解决上述技术问题而采取的技术方案为：一种大数据分析处理方法包括：在步骤S1中，获取用户通过就诊或终端得到的第一数据，对其进行识别和标记以形成第
二数据，并将第二数据存储到第一数据库；在步骤S2中，基于某个时间段内通过步骤S1形成的多个数据处理过程的数据结果，结合第一数据库在该时间段之前的数据，形成第一数据库的完整数据；在步骤S3中，通过第一数据库向区块链进行数据上传；在步骤S4中，用户根据其的对应的权限，对于区块链上的数据进行分析。
[0006]根据本专利技术的另一个方面，在获取用户通过就诊或终端得到的第一数据，对其进行识别和标记以形成第二数据，并将第二数据存储到第一数据库的过程中，所述第一数据包括通过以下方式获得的至少一种数据：（1）用户通过线下方式到医疗卫生机构实地就诊，在诊室中医师通过与用户的对话获取用户的问诊信息，通过音频拾取装置获取的音频；（2）用户进行线上问诊，并通过网络与医师进行音频和/或视频会话，以获取音频和/或视频信息；（3）用户通过终端的可穿戴医疗信息获取设备，获取其自身的生理参数，并将该信息进行量化和二进制代码表示，以通过网络传输到医疗卫生机构的信息接收端。
[0007]根据本专利技术的另一个方面，所述对第一数据进行识别和标记以形成第二数据，并将第二数据存储到第一数据库包括：将获取的第一数据转换为文字信息，并将该文字信息传输到医师操作的电子设备中供医师选择和确认，待医师确认之后形成第二数据，结合医师开具的诊疗信息以及医学影像信息，一起存储到医疗卫生机构的第一数据库中。
[0008]根据本专利技术的另一个方面，在用户进行线上问诊的情况下，在用户接入网络并连接到医疗卫生机构的过程中采用非对称加密，保证在非安全信道中的数据安全性；在进行线上问诊的过程中先通过非对成加密完成会话密钥的协商，其后的通信采用对称加密，并对第一数据进行识别和标记以形成第二数据，保证在数据安全的情况下提高加密效率。
[0009]根据本专利技术的另一个方面，在用户进行线上问诊或者通过网络将获取、量化和表示的信息传输到医疗卫生机构的信息接收端的情况下，用户首次请求与医疗卫生机构进行通信前需要首先向医疗卫生机构申请注册，由医疗卫生机构对其身份进行验证，通过验证则注册成功。
[0010]根据本专利技术的另一个方面，用户在注册过程中，选择随机值作为其私钥，并计算对应的公钥；用户将生成的公钥和注册的身份信息发送给医疗卫生机构，发送前使用医疗卫生机构公钥PKTA对数据进行加密；医疗卫生机构收到注册的身份信息后按照相关要求对身份进行验证，如果通过验证，则使用医疗卫生机构的私钥对用户的公钥进行签名，并将签名信息返回给用户，完成注册，同时医疗卫生机构保存用户的身份信息和公钥；否则注册失败。
[0011]根据本专利技术的另一个方面，针对形成的第二数据，在存储到第一数据库之前进行进一步处理，包括：对第二数据集进行抽样，找出数据集中的敏感点，生成敏感序列集，其中敏感点包括第一数据中的、用户通过终端的可穿戴医疗信息获取设备所获取其自身的生理参数中的数据增减变化超过第一阈值的生理参数值，其中获取连续的生理参数测量值，并对其数值序列进行求导，当结果值大于预设阈值时判定生理参数中的数据增减变化超过第一阈值，发生变化的起始点设定为敏感点；使用差分数据算法将敏感序列集生成含有随机噪声的敏感序列集，其中从拉普拉斯分布中抽取随机噪声以添加到敏感点中；并根据含有随机噪声的敏感序列集来生成新的数据集，将存储到第一数据库，该第一数据库是医疗卫生机构所在站点的数据库；之后可以通过数据挖掘来分析用户个人信息中相关因素（例如年龄、职业、饮食习惯）与特定健康状态的关联关系以及不同用户个人信息共同的相关因素
与特定健康状态的关联关系，进而实现该医疗卫生机构本地的数据分析，同时通过上述数据集的处理可避免用户个人信息被窃。
[0012]根据本专利技术的另一个方面，当通过第一数据库向区块链进行数据上传时，判断该数据库作为节点是否具有入网权限，当具有时实现数据上传，否则执行准备步骤，并在该步骤中得到权限之后进行数据上传；其中准备步骤包括：第一数据库随机生成节点标识和密钥对，向区块链中的第一节点发起请求，该请求包括第一数据库的节点标识、公钥以及第一数据的设备唯一识别码；第一节点接收到第一数据库的请求后先在其所在位置进行记录，把第一数据库的信息进行广播以使得记账节点以交易的形式将第一数据库的信息进行许可记录，并确定与第一数据库最接近的N个节点，将这N个节点的信息返回给第一数据库；第一数据库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据分析处理方法，包括：在步骤S1中，获取用户通过就诊或终端得到的第一数据，对其进行识别和标记以形成第二数据，并将第二数据存储到第一数据库；在步骤S2中，基于某个时间段内通过步骤S1形成的多个数据处理过程的数据结果，结合第一数据库在该时间段之前的数据，形成第一数据库的完整数据；在步骤S3中，通过第一数据库向区块链进行数据上传；在步骤S4中，用户根据其的对应的权限，对于区块链上的数据进行分析。2.如权利要求1所述的一种大数据分析处理方法，其中：在获取用户通过就诊或终端得到的第一数据，对其进行识别和标记以形成第二数据，并将第二数据存储到第一数据库的过程中，所述第一数据包括通过以下方式获得的至少一种数据：（1）用户通过线下方式到医疗卫生机构实地就诊，在诊室中医师通过与用户的对话获取用户的问诊信息，通过音频拾取装置获取的音频；（2）用户进行线上问诊，并通过网络与医师进行音频和/或视频会话，以获取音频和/或视频信息；（3）用户通过终端的可穿戴医疗信息获取设备，获取其自身的生理参数，并将该信息进行量化和二进制代码表示，以通过网络传输到医疗卫生机构的信息接收端。3.如权利要求2所述的一种大数据分析处理方法，其中：所述对第一数据进行识别和标记以形成第二数据，并将第二数据存储到第一数据库包括：将获取的第一数据转换为文字信息，并将该文字信息传输到医师操作的电子设备中供医师选择和确认，待医师确认之后形成第二数据，结合医师开具的诊疗信息以及医学影像信息，一起存储到医疗卫生机构的第一数据库中。4.如权利要求3所述的一种大数据分析处理方法，其中：在用户进行线上问诊的情况下，在用户接入网络并连接到医疗卫生机构的过程中采用非对称加密，保证在非安全信道中的数据安全性；在进行线上问诊的过程中先通过非对成加密完成会话密钥的协商，其后的通信采用对称加密，并对第一数据进行识别和标记以形成第二数据；在用户进行线上问诊或者通过网络将获取、量化和表示的信息传输到医疗卫生机构的信息接收端的情况下，用户首次请求与医疗卫生机构进行通信前需要首先向医疗卫生机构申请注册，由医疗卫生机构对其身份进行验证，通过验证则注册成功。5.一种大数据分析装置，包括；第一模块，用于获取用户通过就诊或终端得到的第一数据，对其进行识别和标记以形成第二数据，并将第二数据存储到第一数据库；第二模块，用于基于某个时间段内...

【专利技术属性】
技术研发人员：陆广林，
申请(专利权)人：广州天鹏计算机科技有限公司，
类型：发明
国别省市：