一种医药流向数据清洗中的一种数据智能匹配方法组成比例

本发明专利技术公开了一种医药流向数据清洗中的一种数据智能匹配方法，涉及大数据中数据清洗的数据匹配领域。该医药流向数据清洗中的一种数据智能匹配方法，包括数据收集模块，数据收集模块用于收集各个分部的系统中的数据，公共子串算法检索数据中的相同字符子串，公共字符子串生成正则表达式，如果能够匹配成功，那么这些数据就会被转换。该医药流向数据清洗中的一种数据智能匹配方法，通过使用算法学习人工处理结果，对结果进行推导，找出匹配规则，使用匹配规则处理其余待匹配数据，大大提高了人工处理匹配数据的效率，解决了在数据匹配领域，机器无法学习人工处理数据的结果，机器对数据匹配的处理效率低和处理正确性差的问题。匹配的处理效率低和处理正确性差的问题。匹配的处理效率低和处理正确性差的问题。

【技术实现步骤摘要】
一种医药流向数据清洗中的一种数据智能匹配方法


[0001]本专利技术涉及大数据中数据清洗的数据匹配
，具体为一种医药流向数据清洗中的一种数据智能匹配方法。

技术介绍

[0002]数据应用分析的基础是治理好企业所存储的各种脏数据，使它们能为分析所使用。药企现有系统收集存储的第一手数据多为脏数据，很多不准或者不全。这里面的主要原因是：同一件事物，如经销商、零售、医院等，经不同的人员，录入各类系统时，有着不同的表述，包括不同的简称、俗称、缩写、起名等。由此导致不同线上线下渠道汇总来的同一个终端取名各异，企业内部数据与商品销售流量数据无法打通，导致药企内部数据统计分析费时费力。数据匹配服务，就是帮助药企对脏数据进行标准化，和已有的主数据进行匹配或者补充。
[0003]在实际应用中，对于海量医药数据的清洗，基于传统的数据匹配技术，会产生大量的人工处理审核数据，在人工处理过程，机器无法参与学习，导致人工处理效率低下。例如下面的数据样例：
[0004]1)万盛达州通川区双龙店；
[0005]2)万盛达州通川区魏兴店；
[0006]3)万盛达州通川区青宁店。
[0007]经过人工处理后，上面三个实体名称匹配下面的标准名称：
[0008]1)万盛达州通川区双龙店
‑‑
>四川省万盛药业连锁有限公司双龙连锁店；
[0009]2)万盛达州通川区魏兴店
‑‑
>四川省万盛药业连锁有限公司魏兴连锁店；
[0010]3)万盛达州通川区青宁店
‑‑
>四川省万盛药业连锁有限公司青宁连锁店。
[0011]从语义分析角度，计算机无法判断"万盛达州通川区双龙店"和"四川省万盛药业连锁有限公司双龙连锁店"完全代表同一个实体，但是人工处理数据时，依靠数据处理者的经验，可以完全判定"万盛达州通川区双龙店"和"四川省万盛药业连锁有限公司双龙连锁店"代表同一个实体。上面一组数据，通过人为观察，可以发现有统一的转换规律，由人来处理一条记录，形成某种经验，计算机如果可以学习这种经验，就可以匹配处理大量的相似数据。
[0012]有鉴于此，本专利技术提供一种机器学习人工处理结果的方法，基于此方法，机器可以参与学习人工处理数据，帮助提升数据处理匹配效率。

技术实现思路

[0013](一)解决的技术问题
[0014]针对现有技术的不足，本专利技术提供了一种医药流向数据清洗中的一种数据智能匹配方法，解决了在数据匹配领域，机器无法学习人工处理数据的结果，机器对数据匹配的处理效率低和处理正确性差的问题。
[0015](二)技术方案
[0016]为实现以上目的，本专利技术通过以下技术方案予以实现：一种医药流向数据清洗中的一种数据智能匹配方法，包括数据收集模块，所述数据收集模块用于收集各个分部的系统中的数据，将其收集到主系统当中。
[0017]进一步的，所述数据收集模块将收集到的各个分部数据传输到储存模块当中，储存模块将这些未经处理的数据单独储存在一起。
[0018]进一步的，所述数据储存模块包括收集A处的数据和收集B处的数据。
[0019]进一步的，所述储存模块将数据储存之后导入到规则识别模块当中。
[0020]进一步的，所述规则识别模块包括公共子串算法，正则表达式，所述公共子串算法检索数据中的相同字符子串，所述公共字符子串生成正则表达式，所述正则表达式被用来检索出那些符合某个字符子串的数据。
[0021]进一步的，所述公共子串算法所检索出的字符子串有多个。
[0022]进一步的，所述数据经过所述公共子串算法所检索出的字符子串有多个，然后生成多个正则表达式，每个正则表达式为一个规则，从不同地方所收集的待处理数据经过正则表达式的检索筛选，其中匹配正则表达式不成功的那些数据就不是所需要的数据。
[0023]进一步的，所述从不同地方所收集的待处理数据经过正则表达式的检索筛选，如果能够匹配成功，那么这些数据就会被转换。
[0024]进一步的，所述匹配成功的数据所转换的格式为总数据库所记录的标准化名称。
[0025]进一步的，所述正则表达式的构成字符是根据标准数据库的标准名称所确定的，并且正则表达式中的公共子串是由标准名称所转换的特殊符号来表示。
[0026]进一步的，所述匹配成功的数据经过转换之后会被数据总库进行储存。
[0027]进一步的，所述公共子串的形成是经过对已经处理好的数据总库当中的结果进行推导出来的。
[0028]进一步的，所述在公共子串中的不同子串可以生成不同的匹配正则表达式。
[0029]进一步的，所述用来检索匹配的正则表达式和用来替换的正则表达式不同，同意事物的不同表述，经过不同的匹配正则表达式和替换正则表达式运行之后所得的结果相同。
[0030](三)有益效果
[0031]本专利技术提供了一种医药流向数据清洗中的一种数据智能匹配方法。具备以下有益效果：
[0032]该医药流向数据清洗中的一种数据智能匹配方法，通过通过使用算法学习人工处理结果，对结果进行推导，找出匹配规则，使用匹配规则处理其余待匹配数据，大大提高了人工处理匹配数据的效率。
[0033]图1为本专利技术的主流程图；
[0034]图2为本专利技术的算法匹配算法流程图；
[0035]图3为本专利技术的实例流程图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]本专利技术实施例提供一种医药流向数据清洗中的一种数据智能匹配方法，如图1
‑
3所示，包括数据收集模块，所述数据收集模块用于收集各个分部的系统中的数据，将其收集到主系统当中，数据收集模块将收集到的各个分部数据传输到储存模块当中，储存模块将这些未经处理的数据单独储存在一起，数据储存模块包括收集A处的数据和收集B处的数据，储存模块将数据储存之后，将人工匹配数据导入到规则识别模块当中，规则识别模块检索模块包括公共子串算法，正则表达式，所述公共子串算法检索数据中的相同字符子串，所述公共字符子串生成正则表达式，所述正则表达式被用来检索出那些符合某个字符子串的数据，公共子串算法所检索出的字符子串有多个。
[0038]数据经过所述公共子串算法所检索出的字符子串有多个，然后生成多个正则表达式，每个正则表达式为一个规则，从不同地方所收集的待处理数据经过正则表达式的检索筛选，其中匹配正则表达式不成功的那些数据就不是所需要的数据，这些数据在筛选过后系统会进行删除，从不同地方所收集的待处理数据经过正则表达式的检索筛选，如果能够匹配成功，那么这些数据就会被转换，匹配成功的数据所转换本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医药流向数据清洗中的一种数据智能匹配方法，包括数据收集模块，其特征在于：所述数据收集模块用于收集各个分部的系统中的数据，将其收集到主系统当中。2.根据权利要求1所述的一种医药流向数据清洗中的一种数据智能匹配方法，其特征在于：所述数据收集模块将收集到的各个分部数据传输到储存模块当中，储存模块将这些未经处理的数据单独储存在一起。3.根据权利要求2所述的一种医药流向数据清洗中的一种数据智能匹配方法，其特征在于：所述数据储存模块包括收集A处的数据和收集B处的数据。4.根据权利要求3所述的一种医药流向数据清洗中的一种数据智能匹配方法，其特征在于：所述储存模块将数据储存之后，将人工处理的匹配数据，导入到规则识别模块当中。5.根据权利要求4所述的一种医药流向数据清洗中的一种数据智能匹配方法，其特征在于：所述规则识别模块包括公共子串算法，正则表达式，所述公共子串算法检索数据中的相同字符子串，所述公共字符子串生成正则表达式，正则表达式生成相应的数据转换规则。6.根据权利要求5所述的一种医药流向数据清洗中的一种数据智能匹配方法，其特征在于：所述公共子串算法所检索出的字符子串有多个。7.根据权利要求6所述的一种医药流向数据清洗中的一种数据智能匹配方法，其特征在于：所述数据经过所述公共子串算法所检索出的字符子串有多个，然后生成多个正则表达式，每个正则表达式为一个规则，从不同地方所收集的待处理数据经过正则表达式的检索筛选，其中匹配正则表达式...

【专利技术属性】
技术研发人员：吴乃超，
申请(专利权)人：未名企鹅北京科技有限公司，
类型：发明
国别省市：