System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及医疗数据处理,尤其涉及一种icl数据自动化治理方法、装置、设备及存储介质。
技术介绍
1、医疗数据包括电子健康档案(electronic health records,ehr)、独立医学实验室(independent clinical laboratory,icl)数据、医疗保险数据等。其中icl数据指在icl生产活动中产生的数据,主要是检验数据。icl数据具有多模态、信息丰富以及标准成熟较低等特点,因而在对icl数据进行数据治理时,需要针对不同的数据模态采用不同的数据规则进行治理。
2、现有的数据治理方案通常是针对不同的规则进行方案定制,在应用于治理规则多变且多样的icl数据时,灵活性较低。且由于规则改变时响应周期较长,使得数据治理效率低下。
3、上述内容仅用于辅助理解本专利技术的技术方案,并不代表承认上述内容是相关技术。
技术实现思路
1、本专利技术的主要目的在于提供了一种icl数据自动化治理方法、装置、设备及存储介质,旨在解决现有的数据治理方案在应用于规则复杂多变的icl数据时灵活性较低,使得数据治理效率低下的技术问题。
2、为实现上述目的,本专利技术提供了一种icl数据自动化治理方法,所述方法包括以下步骤:
3、获取当前治理需求信息,所述当前治理需求信息包括:流程设计信息、规则信息以及待清洗数据;
4、根据所述流程设计信息确定流程块以及各所述流程块的连接顺序,其中所述流程块为脚本流程块或数据库规则流程
5、根据所述规则信息生成各所述流程块的规则配置信息,并确定对应各所述规则配置信息的待配置规则参数项;
6、接收传入参数,并根据所述传入参数对所述待配置规则参数项进行更新,生成执行语句;
7、根据所述执行语句对所述待清洗数据进行数据治理,获得治理完成的目标数据。
8、可选地,所述规则信息包括库外处理脚本信息以及库内清洗规则信息,所述根据所述规则信息生成各所述流程块的规则配置信息,并确定对应各所述规则配置信息的待配置规则参数项,包括:
9、根据所述库外处理脚本信息确定所述脚本流程块的规则配置信息以及对应的待配置规则参数项;
10、和/或,根据所述库内清洗规则信息确定所述数据库规则流程块的规则配置信息以及对应的待配置规则参数项。
11、可选地,所述根据所述库内清洗规则信息确定所述数据库规则流程块的规则配置信息以及对应的待配置规则参数项,包括:
12、获取所述库内清洗规则信息中各数据库规则的顺序信息;
13、根据所述顺序信息确定所述数据库规则流程块的规则配置信息以及对应的待配置规则参数项。
14、可选地,所述方法还包括:
15、根据当前清洗需求生成若干个目标数据处理任务;
16、判断所述目标数据处理任务是否为数据库涉及任务;
17、在所述目标数据处理任务不为数据库涉及任务时,获取所述目标数据任务对应的库外处理脚本,生成库外处理脚本信息。
18、可选地,所述判断所述目标数据处理任务是否为数据库涉及任务之后,还包括:
19、在所述目标数据处理任务为数据库涉及任务时,获取所述数据库涉及任务的对应规则,并将所述对应规则与已有规则库进行对比;
20、根据所述对比结果确定待开发规则;
21、在接收到用户基于所述待开发规则反馈的规则模板时,根据所述规则模板对所述已有规则库进行更新,获得更新后规则库并确定为库内清洗规则信息。
22、可选地,所述根据所述执行语句对所述待清洗数据进行数据治理,获得治理完成的目标数据之前,包括:
23、确定所述待清洗数据所属的目标数据库;
24、获取外部知识信息,并将所述外部知识信息与所述待清洗数据整合后存储于所述目标数据库中;
25、相应地,所述根据所述执行语句对所述待清洗数据进行数据治理,获得治理完成的目标数据,包括:
26、根据所述执行语句结合所述外部知识信息,对所述待清洗数据进行数据治理,获得治理完成的目标数据。
27、可选地,所述根据所述执行语句结合所述外部知识信息,对所述待清洗数据进行数据治理,获得治理完成的目标数据,包括:
28、在当前流程块为脚本流程块时,调用所述脚本流程块的处理脚本以在所述目标数据库中执行所述脚本流程块对应的目标数据处理任务;
29、在当前流程块为数据库规则流程块时,调用所述数据库规则流程块中的各数据库规则以在所述目标数据库中执行所述数据库规则流程块对应的目标数据处理任务;
30、在完成全部流程块对应的目标数据处理任务时,获得处理完成的目标数据,其中所述目标数据处理任务的执行对象为所述待清洗数据,所述目标数据处理任务基于所述外部知识执行。
31、此外,为实现上述目的,本专利技术还提出一种icl数据自动化治理装置,所述装置包括:
32、数据准备模块,用于获取当前治理需求信息,所述当前治理需求信息包括:流程设计信息、规则信息以及待清洗数据;
33、逻辑配置模块,用于根据所述流程设计信息确定流程块以及各所述流程块的连接顺序,其中所述流程块为脚本流程块或数据库规则流程块;根据所述规则信息生成各所述流程块的规则配置信息,并确定对应各所述规则配置信息的待配置规则参数项;接收传入参数,并根据所述传入参数对所述待配置规则参数项进行更新,生成执行语句;
34、数据处理模块,用于根据所述执行语句对所述待清洗数据进行数据治理,获得治理完成的目标数据。
35、此外,为实现上述目的,本专利技术还提出一种icl数据自动化治理设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的icl数据自动化治理程序,所述icl数据自动化治理程序配置为实现如上文所述的icl数据自动化治理方法的步骤。
36、此外,为实现上述目的,本专利技术还提出一种存储介质,所述存储介质上存储icl数据自动化治理程序,所述icl数据自动化治理程序被处理器执行时实现如上文所述的icl数据自动化治理方法的步骤。
37、本专利技术icl数据自动化治理方法中,获取当前治理需求信息,所述当前治理需求信息包括:流程设计信息、规则信息以及待清洗数据;根据所述流程设计信息确定流程块以及各所述流程块的连接顺序,其中所述流程块为脚本流程块或数据库规则流程块;根据所述规则信息生成各所述流程块的规则配置信息,并确定对应各所述规则配置信息的待配置规则参数项;接收传入参数,并根据所述传入参数对所述待配置规则参数项进行更新,生成执行语句;根据所述执行语句对所述待清洗数据进行数据治理,获得治理完成的目标数据。由于本专利技术根据流程设计信息确定流程块,能够实现对整体治理过程进行逐环节解耦,便于单独维护开发,并结合规则配置信息以及对应的待配置规则参数项实现执行逻辑顺序的生成,能够对治理规则多样且多变的icl数本文档来自技高网...
【技术保护点】
1.一种ICL数据自动化治理方法,其特征在于,所述方法包括:
2.如权利要求1所述的ICL数据自动化治理方法,其特征在于,所述规则信息包括库外处理脚本信息以及库内清洗规则信息,所述根据所述规则信息生成各所述流程块的规则配置信息,并确定对应各所述规则配置信息的待配置规则参数项,包括:
3.如权利要求2所述的ICL数据自动化治理方法,其特征在于,所述根据所述库内清洗规则信息确定所述数据库规则流程块的规则配置信息以及对应的待配置规则参数项,包括:
4.如权利要求2所述的ICL数据自动化治理方法,其特征在于,所述方法还包括:
5.如权利要求4所述的ICL数据自动化治理方法,其特征在于,所述判断所述目标数据处理任务是否为数据库涉及任务之后,还包括:
6.如权利要求1所述的ICL数据自动化治理方法,其特征在于,所述根据所述执行语句对所述待清洗数据进行数据治理,获得治理完成的目标数据之前,包括:
7.如权利要求6所述的ICL数据自动化治理方法,其特征在于,所述根据所述执行语句结合所述外部知识信息,对所述待清洗数据进行数据治
8.一种ICL数据自动化治理装置,其特征在于,所述ICL数据自动化治理装置包括:
9.一种ICL数据自动化治理设备,其特征在于,所述ICL数据自动化治理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的ICL数据自动化治理程序,所述ICL数据自动化治理程序被所述处理器执行时实现如权利要求1至7中任一项所述的ICL数据自动化治理处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有ICL数据自动化治理程序,所述ICL数据自动化治理程序被处理器执行时实现如权利要求1至7中任一项所述的ICL数据自动化治理处理方法的步骤。
...【技术特征摘要】
1.一种icl数据自动化治理方法,其特征在于,所述方法包括:
2.如权利要求1所述的icl数据自动化治理方法,其特征在于,所述规则信息包括库外处理脚本信息以及库内清洗规则信息,所述根据所述规则信息生成各所述流程块的规则配置信息,并确定对应各所述规则配置信息的待配置规则参数项,包括:
3.如权利要求2所述的icl数据自动化治理方法,其特征在于,所述根据所述库内清洗规则信息确定所述数据库规则流程块的规则配置信息以及对应的待配置规则参数项,包括:
4.如权利要求2所述的icl数据自动化治理方法,其特征在于,所述方法还包括:
5.如权利要求4所述的icl数据自动化治理方法,其特征在于,所述判断所述目标数据处理任务是否为数据库涉及任务之后,还包括:
6.如权利要求1所述的icl数据自动化治理方法,其特征在于,所述根据所述执行语句对所述待清洗数据进行数据治理,获...
【专利技术属性】
技术研发人员:张敏扬,陈伟潭,高思远,尹竟匡,李映华,梁小丹,梁耀铭,
申请(专利权)人:广州金域医学检验中心有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。