一种基于ETL数据处理的老年疾病数据管理系统技术方案

技术编号:30519706 阅读:15 留言:0更新日期:2021-10-27 23:03
本发明专利技术公开了一种基于ETL数据处理的老年疾病数据管理系统。属于数据库的管理系统领域,本发明专利技术通过抽取、转换及加载等过程,将老年疾病诊断数据仓库转换为老年疾病科研数据仓库;还定期同步两个仓库;将老年疾病不同的数据源的诊断和评估表,按照规范化的元数据进行ETL处理后集成存储,方便了对数据的维护,也减少了数据的丢失,保证后续用于科研的数据量。在老年疾病诊断数据仓库的基础上,对各表格进行ETL处理后形成的科研数据仓库,减少了由诊断数据转化为科研数据的数据清洗的工作量;科研数据仓库的定期更新,增加了可用于科研的数据,减少了数据清洗的重复操作。减少了数据清洗的重复操作。减少了数据清洗的重复操作。

【技术实现步骤摘要】
一种基于ETL数据处理的老年疾病数据管理系统


[0001]本专利技术属于数据库的管理系统领域,具体地,涉及一种基于ETL数据处理的老年疾病数据管理系统。

技术介绍

[0002]老年疾病是指人在老年期所患的与衰老有关的,并且有自身特点的疾病。在我国,医疗行业关系到国民健康,是人民的刚性需求,随着我国老龄化社会的到来,老年疾病给社会造成的负担将越来越重,利用大数据和机器学习技术为老年疾病的科研工作助力,既是时代的需要,也是满足人民美好生活的需要。
[0003]传统的老年疾病数据管理系统当中的数据是医护人员手动录入的患者一般信息、诊断信息、量表信息等患者原始诊断数据,将其作为机器学习算法的数据输入需要经过大量的数据预处理和清洗的工作,且随着日常诊断数据的不断增长,需人工重复进行上述的数据预处理和数据清洗的操作,非常繁琐。
[0004]此外,老年疾病的诊断量表众多,比如帕金森疾病的诊断和评估,常用的就包括统一帕金森评定量表、汉密顿焦虑量表(HAMA)、汉密顿抑郁量表(HAMD)、帕金森病睡眠量表(PDSS)、快速眼动睡眠期行为紊乱筛查量表(RBDSQ)、匹兹堡睡眠质量指数量表在内的十几个量表,甚至可定制更多的评估量表。除了表格众多之外,诊断量表的内容和数量也在变动更新。传统的做法就是在数据库中新建表格,或者重新建立数据库存放。使得现存的老年疾病患者诊断量表数据存放在多个数据库系统中,且同种诊断量表有多种表格形式,在字段名和数据格式上也存在差异,缺乏对元数据的管理和维护。
[0005]对于上述面临的问题,可在数据规范化和标准化的基础上,通过ETL(抽取、转换、加载)数据处理流程,将病患的历史数据导入,并定期将诊断数据转换为提前定义好的科研数据形式,根据诊断数据和科研数据来建立统一的老年疾病数据管理平台,为不同的服务对象提供不同的数据服务,从而提升数据的质量并减少冗余工作,统一病患管理并促进老年疾病科研工作的发展。

技术实现思路

[0006]专利技术目的:本专利技术建立了一种基于ETL数据处理的老年疾病数据管理系统,通过建立两个数据仓库,即老年疾病诊断数据仓库和老年疾病科研数据仓库。将历史数据通过ETL(抽取、转换、加载)数据处理流程存储到老年疾病诊断数据仓库中,并将老年疾病诊断数据仓库中数据,通过ETL(抽取、转换、加载)数据处理流程存储到老年疾病科研数据仓库中,并在使用过程中定期同步两个数据仓库。在这两个数据仓库的基础上,构建统一的老年疾病数据管理系统,为医护人员和科研工作者提供不同的数据服务,如向医护人员提供数据录入、数据报表在线生成和下载服务等,向科研工作者提供患者条件筛选服务、科研数据下载服务等。
[0007]技术方案:本专利技术所述的一种基于ETL数据处理的老年疾病数据管理系统,是建立
在老年疾病诊断数据仓库和老年疾病科研数据仓库基础上的数据管理系统,其支持不同数据源的原始数据的导入,并提供不同的数据服务,其数据流程具体操作步骤如下:
[0008](1)、对老年疾病的患者信息进行统一化和规范化的数据格式制定;并根据制定的元数据信息,建立老年疾病诊断数据仓库和老年疾病科研数据仓库,再按照提前确定好的数据表和数据格式建立关系型数据空表;
[0009]设老年疾病诊断数据仓库最终建立的n种老年疾病诊断数据表为(zd_table1,zd_table2,

,zd_table
n
),其中,zd_table
i
(i=1,

,n)表示老年疾病的一个诊断数据表;
[0010]设老年疾病科研数据仓库最终建立的m种老年疾病科研数据表为(ky_table1,ky_table2,

,ky_table
m
),其中,ky_table
j
(j=1,

,m)表示老年疾病的一个科研数据表;
[0011](2)、确定老年疾病数据源是多种数据库或是同一数据库中的不同的数据表,在将数据源数据导入到老年疾病诊断数据仓库之前,先建立多个老年疾病数据源和老年疾病诊断数据仓库中数据表之间的对应关系;
[0012]设老年疾病诊断数据表zd_table
i
(i=1,

,n)在不同数据源中存储的源数据表为(zd_table
i1
,zd_table
i2
,

,zd_table
ik
),其中,源数据表zd_table
it
(i=1,

,n,t=1,

,k)是存放在多个数据库地址当中;
[0013]根据元数据信息和历史数据,建立病患诊断数据表zd_tabl
i
e和源数据表zd_table
it
字段名的对应关系字典,无法匹配对应关系的字段名称统一以某个字段名;
[0014]假设老年疾病诊断数据表zd_tabl
i
e的字段名为{A1,A2,

,A
r
},源数据表zd_table
it
的字段名为{B1,B2,

,B
s
},则最终确定的字段字典为{B1:A1,B2:A2,

,B
r
:A
r
,

,B
s
:C},其中,A
u
(u=1,

,r)、B
v
(v=1,

,s)、C均为具体的字段名称;
[0015](3)、将不同数据源的老年疾病诊断源数据表,通过ETL数据处理流程,导入到老年疾病诊断数据仓库对应的病患诊断数据表中;即对每个源数据表zd_table
it
分别进行ETL操作,并集成存储到老年疾病诊断数据表zd_table
i
中;
[0016](4)、重复步骤(2)、(3),直至将所有的相关历史源数据都集成到步骤(1)中建立的n个老年疾病诊断数据表(zd_table1,zd_table2,

,zd_table
n
)中,从而完成对老年疾病诊断数据仓库的建立;
[0017](5)、老年疾病科研仓库的建立与老年疾病诊断仓库的建立类似;先建立老年疾病诊断数据表和老年疾病科研数据表之间的具体的对应关系。建立数据表之间的对应关系字典,包括字段的对应关系字典,数据格式的对应关系字典,具体数值的对应关系字典等;与步骤(2)类似;
[0018](6)、将老年疾病诊断数据表,通过ETL(抽取、转换、加载)数据处理流程,导入到老年疾病科研数据仓库对应的老年疾病科研数据表中。与步骤(3)类似;
[0019](7)、重复步骤(5)、(6),直到将所有的相关老年疾病诊断数据转换并存储到(1)中建立的m种病患科研数据表本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于ETL数据处理的老年疾病数据管理系统,其特征在于,是建立在老年疾病诊断数据仓库和老年疾病科研数据仓库基础上的数据管理系统,其支持不同数据源的原始数据的导入,并提供不同的数据服务,其数据流程具体操作步骤如下:(1)、对老年疾病的患者信息进行统一化和规范化的数据格式制定;并根据制定的元数据信息,建立老年疾病诊断数据仓库和老年疾病科研数据仓库,再按照提前确定好的数据表和数据格式建立关系型数据空表;设老年疾病诊断数据仓库中最终建立的n种老年疾病诊断数据表为(zd_table1,zd_table2,...,zd_table
n
),其中,zd_table
i
(i=1,...,n)表示老年疾病的一个诊断数据表;设老年疾病科研数据仓库中最终建立的m种老年疾病科研数据表为(ky_table1,ky_table2,...,ky_table
m
),其中,ky_table
j
(j=1,...,m)表示老年疾病的一个科研数据表;(2)、确定老年疾病数据源是多种数据库或是同一数据库中的不同的数据表,在将数据源数据导入到老年疾病诊断数据仓库之前,先建立多个老年疾病数据源和老年疾病诊断数据仓库中数据表之间的对应关系;设老年疾病诊断数据表zd_table
i
(i=1,...,n)在不同数据源中存储的源数据表为(zd_table
i1
,zd_table
i2
,...,zd_table
ik
),其中,源数据表zd_table
it
(i=1,...,n,t=1,...,k)是存放在多个数据库地址当中;根据元数据信息和历史数据,建立病患诊断数据表zd_tabl
i
e和源数据表zd_table
it
字段名的对应关系字典,无法匹配对应关系的字段名称统一以某个字段名;假设老年疾病诊断数据表zd_tabl
i
e的字段名为{A1,A2,...,A
r
},源数据表zd_table
it
的字段名为{B1,B2,...,B
s
},则最终确定的字段字典为{B1:A1,B2:A2,...,B
r
:A
r
,...,B
s
:C},其中,A
u
(u=1,...,r)、B
v
(v=1,...,s)、C均为具体的字段名称;(3)、将不同数据源的老年疾病诊断源数据表,通过ETL数据处理流程,导入到老年疾病诊断数据仓库对应的病患诊断数据表中;即对每个源数据表zd_table
it
分别进行ETL操作,并集成存储到老年疾病诊断数据表zd_table
i
中;(4)、重复步骤(2)、(3),直至将所有的相关历史源数据都集成到步骤(1)中建立的n个老年疾病诊断数据表(zd_table1,zd_table2,...,zd_table
n
)中,从而完成对老年疾病诊断数据仓库的建立;(5)、建立老年疾病诊断数据表和老年疾病科研数据表之间的具体的对应关系,建立两个数据表之间的对应关系字典;其中,所述的对应关系字典包括字段的对应关系字典,数据格式的对应关系字典及具体数值的对应关系字典;(6)、将老年疾病诊断数据表,通过ETL数据处理流程,导入到老年疾病科研数据仓库对应的老年疾病科研数据表中;(7)、...

【专利技术属性】
技术研发人员:张丽顾娟高堃何克磊高阳
申请(专利权)人:南京大学江苏万维艾斯网络智能产业创新中心有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1