训练分类模型和数据分类的方法及装置制造方法及图纸

本公开提供了训练分类模型和数据分类的方法及装置，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智能交通场景下。具体实现方案为：获取样本集和预先训练的分类模型，其中，分类模型包括至少两个卷积层，每个卷积层通过一个全连接层和一个分类层连接；将样本集输入分类模型，得到每个分类层输出的预测结果，其中，预测结果包括每个样本所属类别的预测概率；基于每个分类层输出的预测结果计算每个分类层的概率阈值；根据每个分类层的概率阈值设置分类模型的停止预测条件。从而可实现根据数据识别的难易程度选择不同层的分类模型进行预测，在保证准确率的同时降低了预测时间，提高了预测速度。

【技术实现步骤摘要】
训练分类模型和数据分类的方法及装置
本公开人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智能交通场景下，尤其涉及训练分类模型和数据分类的方法及装置。
技术介绍
随着人工智能技术的不断发展，深度学习技术被广泛应用于数据分析与处理中，成为了工作和生活中必不可少的数据处理方法。现有的分类模型不论数据是否难易识别，都采用相同的网络进行处理。这样会导致预测时间过长，无法在有限时间内获得最大正确率，限制了分类模型的应用范围。
技术实现思路
本公开提供了一种训练分类模型和数据分类的方法、装置、设备、存储介质以及计算机程序产品。根据本公开的第一方面，提供了一种训练分类模型的方法，包括：获取样本集和预先训练的分类模型，其中，分类模型包括至少两个卷积层，每个卷积层通过一个全连接层和一个分类层连接；将样本集输入分类模型，得到每个分类层输出的预测结果，其中，预测结果包括每个样本所属类别的预测概率；基于每个分类层输出的预测结果计算每个分类层的概率阈值；根据每个分类层的概率阈值设置分类模型的停止预测条件。根据本公开的第二方面，提供了一种数据分类的方法，包括：将待分类的数据输入采用第一方面的方法训练的分类模型中；将第一个卷积层作为当前卷积层，执行如下分类步骤：通过当前卷积层、当前全连接层和当前分类层对数据进行预测，得到最大预测概率；若最大预测概率大于当前分类层的概率阈值，则停止预测，并将最大预测概率对应的类别作为所述数据的类别；否则，将当前卷积层的输出结果输入到下一个卷积层，将下一卷积层作为当前卷积层继续执行上述分类步骤。根据本公开的第三方面，提供了一种训练分类模型的装置，包括：获取单元，被配置成获取样本集和预先训练的分类模型，其中，分类模型包括至少两个卷积层，每个卷积层通过一个全连接层和一个分类层连接；预测单元，被配置成将样本集输入分类模型，得到每个分类层输出的预测结果，其中，预测结果包括每个样本所属类别的预测概率；计算单元，被配置成基于每个分类层输出的预测结果计算每个分类层的概率阈值；设置单元，被配置成根据每个分类层的概率阈值设置分类模型的停止预测条件。根据本公开的第四方面，提供了一种数据分类的装置，包括：输入单元，被配置成将待分类的数据输入采用第一方面的方法训练的分类模型中；分类单元，被配置成将第一个卷积层作为当前卷积层，执行如下分类步骤：通过当前卷积层、当前全连接层和当前分类层对数据进行预测，得到最大预测概率；若最大预测概率大于当前分类层的概率阈值，则停止预测，并将最大预测概率对应的类别作为所述数据的类别；循环单元，被配置成否则，将当前卷积层的输出结果输入到下一个卷积层，将下一卷积层作为当前卷积层继续执行上述分类步骤。根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面或第二方面的方法。根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据权利要求1-8中任一项的方法。根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据第一方面或第二方面的方法。本公开实施例提供的训练分类模型和数据分类的方法和装置，针对数据和分类模型联合优化，训练网络复杂度和数据复杂度的关系模型，能够高效的把网络和数据结合处理，既能节省处理数据总时间，又能获得最大正确率。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是本公开可以应用于其中的示例性系统架构图；图2是根据本公开训练分类模型的方法的一个实施例的流程图；图3是根据本公开训练分类模型的方法的一个应用场景的示意图；图4是根据本公开数据分类的方法的一个实施例的流程图；图5是根据本公开训练分类模型的装置的一个实施例的结构示意图；图6是根据本公开数据分类的装置的一个实施例的结构示意图；图7是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1示出了可以应用本公开实施例的训练分类模型的方法、训练分类模型的装置、数据分类的方法或数据分类的装置的示例性系统架构100。如图1所示，系统架构100可以包括终端101、102，网络103、数据库服务器104和服务器105。网络103用以在终端101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户110可以使用终端101、102通过网络103与服务器105进行交互，以接收或发送消息等。终端101、102上可以安装有各种客户端应用，例如模型训练类应用、数据识别类应用、购物类应用、支付类应用、网页浏览器和即时通讯工具等。这里的终端101、102可以是硬件，也可以是软件。当终端101、102为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(MovingPictureExpertsGroupAudioLayerIII，动态影像专家压缩标准音频层面3)、膝上型便携计算机和台式计算机等等。当终端101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。当终端101、102为硬件时，其上还可以安装有图像采集设备。图像采集设备可以是各种能实现采集图像功能的设备，如摄像头、传感器等等。用户110可以利用终端101、102上的图像采集设备，来采集图像。数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可以存储有样本集。样本集中包含有大量的样本。其中，样本可以具有类别标签，这样可以进行有监督地训练。这样，用户110也可以通过终端101、102，从数据库服务器104所存储的样本集中选取样本。服务器105也可以是提供各种服务的服务器，例如对终端101、102上显示的各种应用提供支持的后台服务器。后台服务器可以利用终端101、102发送的样本集中的样本，对初始模型进行训练，并可以将训练结果(如生成的分类模型)发送给终端101、102。这样，用户可以应用生成的分类模型进行数据分类。...

【技术保护点】
1.一种训练分类模型的方法，包括：/n获取样本集和预先训练的分类模型，其中，所述分类模型包括至少两个卷积层，每个卷积层通过一个全连接层和一个分类层连接；/n将所述样本集输入所述分类模型，得到每个分类层输出的预测结果，其中，所述预测结果包括每个样本所属类别的预测概率；/n基于每个分类层输出的预测结果计算每个分类层的概率阈值；/n根据每个分类层的概率阈值设置所述分类模型的停止预测条件。/n

【技术特征摘要】
1.一种训练分类模型的方法，包括：
获取样本集和预先训练的分类模型，其中，所述分类模型包括至少两个卷积层，每个卷积层通过一个全连接层和一个分类层连接；
将所述样本集输入所述分类模型，得到每个分类层输出的预测结果，其中，所述预测结果包括每个样本所属类别的预测概率；
基于每个分类层输出的预测结果计算每个分类层的概率阈值；
根据每个分类层的概率阈值设置所述分类模型的停止预测条件。


2.根据权利要求1所述的方法，其中，所述基于每个分类层输出的预测结果计算每个分类层的概率阈值，包括：
执行如下确定步骤：从预定的数据比例组合集中选择目标组合；根据每个分类层输出的预测结果确定出所述目标组合对应的每个分类层的规划值；基于每个分类层输出的预测结果计算所述目标组合对应的正确率；
重复执行上述确定步骤，直到所述数据比例组合集遍历完毕，得到每个数据比例组合对应的正确率；
将正确率最高的数据比例组合对应的每个分类层的规划值作为每个分类层的概率阈值。


3.根据权利要求2所述的方法，其中，所述基于每个分类层输出的预测结果计算所述目标组合对应的正确率，包括：
基于每个分类层输出的预测结果确定出每个样本在每个分类层的最大预测概率；
对于每个分类层，遍历每个样本，若该样本在该分类层的最大预测概率大于该分类层的规划值，则将该样本在该分类层的最大预测概率作为正确率进行累加。


4.根据权利要求3所述的方法，其中，所述预测结果包括每个样本的预测时间；以及
所述方法还包括：
对于每个分类层，基于进行正确率累加的样本的预测时间计算该分类层的总预测时间；
基于每个分类层的总预测时间计算所述分类模型的总预测时间；
若所述分类模型的总预测时间大于预定时间阈值，则将所述目标组合对应的正确率过滤掉。


5.根据权利要求4所述的方法，其中，所述基于进行正确率累加的样本的预测时间计算该分类层的总预测时间，包括：
基于进行正确率累加的样本的预测时间计算该分类层的平均预测时间；
计算所述平均预测时间与预定抖动值之和作为该分类层的总预测时间。


6.根据权利要求3所述的方法，其中，所述预测结果包括每个样本的运算次数；以及
所述方法还包括：
对于每个分类层，基于进行正确率累加的样本的运算次数计算该分类层的总运算次数；
基于每个分类层的总运算次数计算所述分类模型的总运算次数；
若所述分类模型的总运算次数大于预定次数阈值，则将所述目标组合对应的正确率过滤掉。


7.根据权利要求1-6中任一项所述的方法，其中，所述分类模型通过如下步骤训练：
获取训练数据集和分类模型，其中，所述训练数据集中的训练数据具有类别标签；
执行如下训练步骤：从所述训练数据集中选取训练数据；将所选取的训练数据输入所述分类模型，得到每个分类层输出的预测概率；基于所选取的训练数据的类别标签和每个分类层输出的预测概率计算总损失值；若所述总损失值小于目标值，则所述分类模型训练完成；
若所述总损失值不小于目标值，则调整所述分类模型的相关参数，继续执行上述训练步骤。


8.一种数据分类的方法，包括：
将待分类的数据输入采用权利要求1-7中任一项所述的方法训练的分类模型中；
将第一个卷积层作为当前卷积层，执行如下分类步骤：通过当前卷积层、当前全连接层和当前分类层对所述数据进行预测，得到最大预测概率；若所述最大预测概率大于当前分类层的概率阈值，则停止预测，并将所述最大预测概率对应的类别作为所述数据的类别；
否则，将当前卷积层的输出结果输入到下一个卷积层，将下一卷积层作为当前卷积层继续执行上述分类步骤。


9.一种训练分类模型的装置，包括：
获取单元，被配置成获取样本集和预先训练的分类模型，其中，所述分类模型包括至少两个卷积层，每个卷积层通过一个全连接层和一个分类层连接；
预测单元，被配置成将所述样本集输入所述分类模型，得到每个分类层输出的预测结果，其中，所述预测结果包括每个样本所属类别的预测概率...

【专利技术属性】
技术研发人员：王卡风，须成忠，熊昊一，李兴建，窦德景，
申请(专利权)人：北京百度网讯科技有限公司，澳门大学智慧城市物联网国家重点实验室，
类型：发明
国别省市：北京;11