本发明专利技术提供一种数据标注方法、装置、系统以及存储介质，属于数据标注领域，方法包括：S1：导入原始训练数据以及已标注数据；S2：构建原始标注模型，根据原始训练数据以及已标注数据对原始标注模型进行训练得到第一标注模型；S3：导入未标注训练数据，根据第一标注模型对未标注训练数据进行预测得到预测数据；S4：根据未标注训练数据以及预测数据对第一标注模型进行分析得到第二标注模型。本发明专利技术能够在不需要大量的人工标注文本样本的前提下，实现了目标领域的预标注模型的训练，大大降低了人工标注的工作量，节省了数据标注工作的成本，也提高了模型的准确性。提高了模型的准确性。提高了模型的准确性。
【技术实现步骤摘要】
一种数据标注方法、装置、系统以及存储介质
[0001]本专利技术主要涉及数据标注
，具体涉及一种数据标注方法、装置、系统以及存储介质。
技术介绍
[0002]近年来，人工智能产业在政策与技术双重驱动下呈现高速增长态势，数据流量持续快速增长，催生了大量的高精度、场景化数据的需求，促进了数据标注行业的蓬勃发展。其中文本数据标注广泛应用于新零售、医疗行业、客服行业、广告营销、社会调查与统计分析、居民生活娱乐等方面。
[0003]随着人工智能往细分领域的进一步发展，算法研究需要各个领域的大量的标注数据用于模型的训练，这在数据采集和人工标注上产生了大量的时间成本和人工成本。因此，降低数据标注的成本是促进人工智能在各行业快速落地的重要措施。降低数据标注成本的一种有效方法就是对数据进行预标注，实现数据标注的半自动化，大大减少人工标注工作量。
[0004]近年来，很多研究关注到基于深度学习的实体抽取(Named Entity Recognition，简称NER)方向，在文本预标注方面也有了不少研究。但是，目前的研究往往较多是基于通用的场景，这些研究成果中的预测模型存在以下不足：因为面向的场景范围广，预测模型训练需要的未标注数据样本和已标注数据样本的数量大，人力成本高；应用于细分领域时，模型的准确性不够高，预标注的效果不理想；受限于人工标注的数据样本数量，预标注模型的训练效果不理想。
技术实现思路
[0005]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种数据标注方法、装置、系统以及存储介质。
[0006]本专利技术解决上述技术问题的技术方案如下：一种数据标注方法，包括如下步骤：
[0007]S1：导入多个原始训练数据以及与各个所述原始训练数据一一对应的已标注数据；
[0008]S2：构建原始标注模型，根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述原始标注模型进行训练，得到第一标注模型；
[0009]S3：导入多个未标注训练数据，根据所述第一标注模型对各个所述未标注训练数据进行预测，得到各个所述未标注训练数据的预测数据；
[0010]S4：根据多个所述未标注训练数据以及多个所述未标注训练数据的预测数据对所述第一标注模型进行分析，得到第二标注模型；
[0011]S5：根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述第二标注模型进行模型分析，得到第三标注模型；
[0012]S6：导入待测数据，根据所述第三标注模型对所述待测数据进行标注，得到数据标
注结果。
[0013]本专利技术解决上述技术问题的另一技术方案如下：一种数据标注装置，包括：
[0014]数据导入模块，用于导入多个原始训练数据以及与各个所述原始训练数据一一对应的已标注数据；
[0015]模型训练模块，用于构建原始标注模型，根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述原始标注模型进行训练，得到第一标注模型；
[0016]预测模块，用于导入多个未标注训练数据，根据所述第一标注模型对各个所述未标注训练数据进行预测，得到各个所述未标注训练数据的预测数据；
[0017]分析模块，用于根据多个所述未标注训练数据以及多个所述未标注训练数据的预测数据对所述第一标注模型进行分析，得到第二标注模型；
[0018]模型分析模块，用于根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述第二标注模型进行模型分析，得到第三标注模型；
[0019]数据标注结果获得模块，用于导入待测数据，根据所述第三标注模型对所述待测数据进行标注，得到数据标注结果。
[0020]基于上述一种数据标注方法，本专利技术还提供一种数据标注系统。
[0021]本专利技术解决上述技术问题的另一技术方案如下：一种数据标注系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的数据标注方法。
[0022]基于上述一种数据标注方法，本专利技术还提供一种计算机可读存储介质。
[0023]本专利技术解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的数据标注方法。
[0024]本专利技术的有益效果是：通过原始训练数据以及已标注数据对原始标注模型的训练得到第一标注模型，根据第一标注模型对未标注训练数据的预测得到预测数据，根据未标注训练数据以及预测数据对第一标注模型的训练分析得到第二标注模型，根据原始训练数据以及已标注数据对第二标注模型的模型分析得到第三标注模型，根据第三标注模型对待测数据的标注得到数据标注结果，能够在不需要大量的人工标注文本样本的前提下，实现了目标领域的预标注模型的训练，大大降低了人工标注的工作量，节省了数据标注工作的成本，也提高了模型的准确性。
附图说明
[0025]图1为本专利技术实施例提供的一种数据标注方法的流程示意图；
[0026]图2为本专利技术实施例提供的预标注模型的构成示意图；
[0027]图3为本专利技术实施例提供的预标注模型的训练示意图；
[0028]图4为本专利技术实施例提供的基于预标注模型的机器预标注示意图；
[0029]图5为本专利技术实施例提供的预标注模型的修正示意图；
[0030]图6为本专利技术实施例提供的一种数据标注装置的模块框图。
具体实施方式
[0031]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0032]图1为本专利技术实施例提供的一种数据标注方法的流程示意图。
[0033]如图1所示，一种数据标注方法，包括如下步骤：
[0034]S1：导入多个原始训练数据以及与各个所述原始训练数据一一对应的已标注数据；
[0035]S2：构建原始标注模型，根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述原始标注模型进行训练，得到第一标注模型；
[0036]S3：导入多个未标注训练数据，根据所述第一标注模型对各个所述未标注训练数据进行预测，得到各个所述未标注训练数据的预测数据；
[0037]S4：根据多个所述未标注训练数据以及多个所述未标注训练数据的预测数据对所述第一标注模型进行分析，得到第二标注模型；
[0038]S5：根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述第二标注模型进行模型分析，得到第三标注模型；
[0039]S6：导入待测数据，根据所述第三标注模型对所述待测数据进行标注，得到数据标注结果。
[0040]应理解地，输入目标领域的一个训练样本集，训练样本集包含一定数量的已标注样本文本(即所述已标注数据)和一定数量批次的未标注样本文本(即所述未标注训练数据)。
[0041本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据标注方法，其特征在于，包括如下步骤：S1：导入多个原始训练数据以及与各个所述原始训练数据一一对应的已标注数据；S2：构建原始标注模型，根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述原始标注模型进行训练，得到第一标注模型；S3：导入多个未标注训练数据，根据所述第一标注模型对各个所述未标注训练数据进行预测，得到各个所述未标注训练数据的预测数据；S4：根据多个所述未标注训练数据以及多个所述未标注训练数据的预测数据对所述第一标注模型进行分析，得到第二标注模型；S5：根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述第二标注模型进行模型分析，得到第三标注模型；S6：导入待测数据，根据所述第三标注模型对所述待测数据进行标注，得到数据标注结果。2.根据权利要求1所述的数据标注方法，其特征在于，所述S2的过程包括：构建文本卷积神经网络，根据多个所述原始训练数据以及多个所述原始训练数据所对应的已标注数据对所述文本卷积神经网络进行训练，得到第一标注模型。3.根据权利要求1所述的数据标注方法，其特征在于，所述S4的过程包括：S41：获取未标注训练数据初始数量，并统计所有所述未标注训练数据的数量，得到未标注训练数据数量；S42：将所述未标注训练数据初始数量与所述未标注训练数据数量作和处理，得到未标注训练数据总数量；S43：判断所述未标注训练数据总数量是否大于或者等于预设第一总数量，若否，则执行S44；若是，则将所述第一标注模型作为第二标注模型；S44：根据多个所述未标注训练数据以及多个所述未标注训练数据的预测数据对所述第一标注模型进行训练，得到第四标注模型，将所述未标注训练数据总数量作为新的未标注训练数据初始数量，并将所述第四标注模型作为新的第一标注模型，且返回S3。4.根据权利要求1所述的数据标注方法，其特征在于，所述S5的过程包括：通过所述第二标注模型对各个所述原始训练数据进行标注，得到各个所述原始训练数据的预标注数据；对各个所述原始训练数据的预标注数据与各个所述原始训练数据所对应的已标注数据是否相同进行验证，并统计验证成功的数量，得到验证成功总数；判断所述验证成功总数是否大于预设第二总数量，若否，则将所述第二标注模型作为新的原始标注模型，并返回S1；若是，则将所述第二标注模型作为第三标注模型。5.一种数据标注装置，其特征在于，包括：数据导入模块，用于导入多个原始训练数据以及与各个所述原始训练数据一一对应的已标注数据；模型训练模块，用于构建原始标注模型，根据多个所述原始训练数据以及多个所述原始训练数据所对应...
【专利技术属性】
技术研发人员：陆金龙，陶勇，周金，唐民钦，蒋泰，秦子鑫，
申请(专利权)人：广西瀚特信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。