一种数据组包方法和装置、终端设备和可读存储介质制造方法及图纸

本申请提供了一种数据组包方法和装置、终端设备和可读存储介质，其中，该方法包括：获取待处理数据集，其中，所述待处理数据集中包括多条数据；通过深度学习模型对所述待处理数据集进行分类识别，得到第一数据集，其中，所述深度学习模型是通过设定的分类特征进行训练得到的；对所述第一数据集进行强化学习，得到目标数据集，其中，所述目标数据集中包括预定数量条数据；对所述目标数据集进行组包操作。通过上述方案解决了现有的数据分类处理所存在的处理效率低下，准确率低的问题，达到了有效提升处理效率和分类准确度的技术效果。

【技术实现步骤摘要】
一种数据组包方法和装置、终端设备和可读存储介质
本申请属于数据处理
，尤其涉及一种数据组包方法和装置、终端设备和可读存储介质。
技术介绍
随着互联网技术的不断发展，需要处理和分类的数据也变得越来越多，这也就使得通过人工方式从庞大的数据集中筛选出符合条件的子集变得越来越复杂。例如，在银行场景中，数据池是千万级的，从中人工筛选出符合条件的子集复杂度逐渐越高，从千万级信贷业务中自动筛选特定数量借据进行组包操作的工作量将非常巨大。针对如何简单高效筛选出所需的数据子集，目前尚未提出有效的解决方案。
技术实现思路
本申请目的在于提供一种数据组包方法和装置、终端设备和可读存储介质，可以实现准确高效进行数据分类打包的技术效果。本申请提供一种数据组包方法和装置、终端设备和可读存储介质是这样实现的：一种数据组包方法，所述方法包括：获取待处理数据集，其中，所述待处理数据集中包括多条数据；通过深度学习模型对所述待处理数据集进行分类识别，得到第一数据集，其中，所述深度学习模型是通过设定的分类特征进行训练得到的；对所述第一数据集进行强化学习，得到目标数据集，其中，所述目标数据集中包括预定数量条数据；对所述目标数据集进行组包操作。在一个实施方式中，对所述第一数据集进行强化学习，得到目标数据集包括：计算所述第一数据集中每条数据的得分；从所述第一数据集中随机选取所述预定数量条数据作为初始集合；计算所述初始集合的损失函数，得到损失值；>构建决策模型，以损失函数最小作为目标；剔除所述初始集合中得到最低的数据，并从所述第一数据集中选取使得目标最大的数据加入所述初始集合中；确定调整后的初始集合的损失值是否达到预设阈值；如果达到所述预设阈值，则将调整后的初始集合作为所述目标数据集。在一个实施方式中，在确定调整后的初始集合的损失值是否达到预设阈值之后，还包括：如果未达到所述预设阈值，则确定是否达到第一迭代次数；如果达到所述第一迭代次数，则从所述初始结合中剔除第一数量条数据，并从所述第一数据集中随机选取第二数量条数据加入所述初始集合中，并迭代执行：剔除所述初始集合中得到最低的数据，并从所述第一数据集中选取使得目标最大的数据加入所述初始集合中，确定调整后的初始集合的损失值是否达到预设阈值。在一个实施方式中，在确定是否达到第一迭代次数之后还包括：如果达到所述第一迭代次数，则确定是否达到第二迭代次数，其中，所述第二迭代次数大于所述第一迭代次数；如果达到所述第二迭代次数，则将当前的初始集合作为所述目标数据集合；计算所述目标集合的损失值。在一个实施方式中，计算所述初始集合的损失函数，得到损失值，包括：通过如下公式计算损失值：L＝(A-a1)2+(B-b1)2其中，L表示损失值，a1表示加权利率，b1表示加权期限，A表示加权利率目标值，B表示加权期限目标值；a1＝∑(执行利率×封包余额)/总余额，b1＝∑(剩余期限*封包余额)/总余额。在一个实施方式中，计算所述初始集合的损失函数，得到损失值，包括：通过如下公式计算每条数据的得分：S＝(A-执行利率)2+(B-剩余期限)2其中，S表示得分，A表示加权利率目标值，B表示加权期限目标值。在一个实施方式中，所述待处理数据集为借据数据集，所述目标借据集为证券化数据集，所述设定的分类特征为证券化特征。另一方面，提供了一种数据组包装置，包括：获取模块，用于获取待处理数据集，其中，所述待处理数据集中包括多条数据；识别模块，用于通过深度学习模型对所述待处理数据集进行分类识别，得到第一数据集，其中，所述深度学习模型是通过设定的分类特征进行训练得到的；学习模块，用于对所述第一数据集进行强化学习，得到目标数据集，其中，所述目标数据集中包括预定数量条数据；组包模块，用于对所述目标数据集进行组包操作。又一方面，提供了一种终端设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现如下方法的步骤：获取待处理数据集，其中，所述待处理数据集中包括多条数据；通过深度学习模型对所述待处理数据集进行分类识别，得到第一数据集，其中，所述深度学习模型是通过设定的分类特征进行训练得到的；对所述第一数据集进行强化学习，得到目标数据集，其中，所述目标数据集中包括预定数量条数据；对所述目标数据集进行组包操作。又一方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现如下方法的步骤：获取待处理数据集，其中，所述待处理数据集中包括多条数据；通过深度学习模型对所述待处理数据集进行分类识别，得到第一数据集，其中，所述深度学习模型是通过设定的分类特征进行训练得到的；对所述第一数据集进行强化学习，得到目标数据集，其中，所述目标数据集中包括预定数量条数据；对所述目标数据集进行组包操作。本申请提供的一种数据组包方法和装置、终端设备和可读存储介质，先通过深度学习模型对待处理数据集进行分类识别，得到第一数据集，再对第一数据集进行强化学习，得到目标数据集，从而对目标数据集进行组包操作。因此在这个过程中先通过深度学习模型进行初始筛选，因此可以降低后续强化学习的数据量，从而解决了现有的数据分类处理所存在的处理效率低下，准确率低的问题，达到了有效提升处理效率和分类准确度的技术效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请提供的数据组包方法一种实施例的方法流程图；图2是本申请提供的借据组包操作的方法流程图；图3是本申请提供的服务器的一种实施例的模型结构示意图；图4是本申请提供的数据组包装置的结构框图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。针对现有的数据分类所存在的问题，在本例中提供了一种数据组包方法，如图1所示，该方法可以包括如下步骤：步骤101：获取待处理数据集，其中，所述待处理数据集中包括多条数据；其中，上述待处理数据集可以最原始的，未经过任何分类处理数据的数据集。在待处理数据集中可以包括多条数据或者多条记录，每个记录可以作为一个整体数据，例如，可以本文档来自技高网...

【技术保护点】
1.一种数据组包方法，其特征在于，所述方法包括：/n获取待处理数据集，其中，所述待处理数据集中包括多条数据；/n通过深度学习模型对所述待处理数据集进行分类识别，得到第一数据集，其中，所述深度学习模型是通过设定的分类特征进行训练得到的；/n对所述第一数据集进行强化学习，得到目标数据集，其中，所述目标数据集中包括预定数量条数据；/n对所述目标数据集进行组包操作。/n

【技术特征摘要】
1.一种数据组包方法，其特征在于，所述方法包括：
获取待处理数据集，其中，所述待处理数据集中包括多条数据；
通过深度学习模型对所述待处理数据集进行分类识别，得到第一数据集，其中，所述深度学习模型是通过设定的分类特征进行训练得到的；
对所述第一数据集进行强化学习，得到目标数据集，其中，所述目标数据集中包括预定数量条数据；
对所述目标数据集进行组包操作。


2.根据权利要求1所述的方法，其特征在于，对所述第一数据集进行强化学习，得到目标数据集包括：
计算所述第一数据集中每条数据的得分；
从所述第一数据集中随机选取所述预定数量条数据作为初始集合；
计算所述初始集合的损失函数，得到损失值；
构建决策模型，以损失函数最小作为目标；
剔除所述初始集合中得到最低的数据，并从所述第一数据集中选取使得目标最大的数据加入所述初始集合中；
确定调整后的初始集合的损失值是否达到预设阈值；
如果达到所述预设阈值，则将调整后的初始集合作为所述目标数据集。


3.根据权利要求2所述的方法，其特征在于，在确定调整后的初始集合的损失值是否达到预设阈值之后，还包括：
如果未达到所述预设阈值，则确定是否达到第一迭代次数；
如果达到所述第一迭代次数，则从所述初始结合中剔除第一数量条数据，并从所述第一数据集中随机选取第二数量条数据加入所述初始集合中，并迭代执行：剔除所述初始集合中得到最低的数据，并从所述第一数据集中选取使得目标最大的数据加入所述初始集合中，确定调整后的初始集合的损失值是否达到预设阈值。


4.根据权利要求3所述的方法，其特征在于，在确定是否达到第一迭代次数之后还包括：
如果达到所述第一迭代次数，则确定是否达到第二迭代次数，其中，所述第二迭代次数大于所述第一迭代次数；
如果达到所述第二迭代次数，...

【专利技术属性】
技术研发人员：钟凯，林玉端，沈伟伟，柏昊，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11