一种自动建立数据处理模型的方法及相关产品技术

技术编号:26222700 阅读:29 留言:0更新日期:2020-11-04 10:53
本申请实施例公开了一种自动建立数据处理模型的方法及相关产品,其中方法包括:获取训练数据,所述训练数据包括训练样本数据和目标对象的标签信息;对所述训练数据进行预处理,得到所述训练样本数据的数据类型;将所述训练数据上传至云端服务供应商,以使所述云端服务供应商基于所述数据类型确定机器学习算法,并使用上述机器学习算法对所述样本数据和所述标签信息进行训练,得到对象识别模型;以及接收来自所述云端服务供应商的所述对象识别模型。本申请实施例,通过获取少量的训练数据,并将训练数据上传至云端服务供应商来对训练数据进行训练,从而可以快速得到对象识别模型,大幅缩短开发时间。

【技术实现步骤摘要】
一种自动建立数据处理模型的方法及相关产品
本申请涉及极其学习
,尤其涉及一种自动建立数据处理模型的方法及相关产品。
技术介绍
随着海量数据的出现,人工智能技术迅速发展,而机器学习是人工智能发展到一定阶段的必然产物,其致力于通过计算的手段,从大量数据中挖掘有价值的潜在信息。在机器学习领域,往往通过将经验数据提供给机器学习算法来训练机器学习模型以确定构成机器学习模型的理想参数,而训练好的机器学习模型可被应用于在面对新的预测数据时提供相应的预测结果。可以通过机器学习来识别待识别数据中特定的业务需求的对象和场景。例如,可以在社交媒体文章中查找徽标,在商店货架上识别产品,在装配线上对机器部件进行分类,区分运行状况良好的工厂和受感染的工厂,或在视频中检测动画角色。然而,开发用于分析数据的自定义模型是一项繁重工作,需要时间、专业知识和资源,并且通常需要几个月才能完成。另外,通常需要数千或数万张已人工标记的数据才能为模型提供足够的数据以便准确地做出决策。生成这些数据可能需要花费数月的时间,并且需要庞大的标记团队来进行数据准备,以便将数据用于机器学习。因此,需要耗费大量的人力成本。
技术实现思路
本申请实施例提供一种+方法,可以自动根据少量的原始数据建立数据处理模型。第一方面,本申请实施例提供了一种自动建立数据处理模型的方法,该方法包括:获取训练数据,所述训练数据包括训练样本数据和目标对象的标签信息,所述训练样本数据中的每个数据均包含所述目标对象对应的数据信息;对所述训练数据进行预处理,得到所述训练样本数据的数据类型,所述数据类型包括图像数据、音频数据、文本数据中的一种;将所述训练数据上传至云端服务供应商,以使所述云端服务供应商基于所述数据类型确定机器学习算法,并使用上述机器学习算法对所述样本数据和所述标签信息进行训练,得到对象识别模型;接收来自所述云端服务供应商的所述对象识别模型。可选的,所述方法包括:获取待识别数据,使用所述对象识别模型对所述待识别数据进行识别,以确认所述待识别数据中是否包含所述目标对象对应的数据。可选的,所述方法还包括:获取测试数据,所述测试数据包括正测试样本数据和逆测试样本数据,所述正测试样本数据中的每个数据均包含所述目标对象对应的数据信息,所述逆测试样本数据中的每个数据均不包含所述目标对象对应的数据信息;使用所述对象识别模型对所述测试数据进行对象识别,得到识别结果;基于所述识别结果确定识别的准确率;在所述准确率小于设定值的情况下,上传所述识别结果和所述数据至所述云端,以使所述云端服务供应商基于所述对象识别模型进行再训练,以得到更新后的对象识别模型;接收来自所述云端服务供应商的更新后的对象识别模型。可选的,所述方法包括:获取待识别数据,使用所述更新后的对象识别模型对所述待识别数据进行识别,以确认所述待识别数据中是否包含所述目标对象对应的数据。可选的,在所述将所述训练数据上传至云端服务供应商,以使所述云端服务供应商基于所述样本数据和所述标签信息进行训练之前,所述方法还包括:基于供应商选择操作从多个云端服务供应商中选择目标云端服务供应商;所述将所述训练数据上传至云端服务供应商包括:将所述样本数据和所述标签上传至所述目标云端服务供应商。可选的,所述多个云端服务供应商包括MicrosoftAzureCustomVisionService及GoogleCloudAutoMLVision。可选的,所述接收来自所述云端服务供应商的所述对象识别模型包括:接收来自所云端服务器的对象辨识模型的深度学习套件,所述深度学习套件为Caffe、TensorFlow、CoreML、CNTK或ONNX。第二方面,本申请实施例提供一种自动建立数据处理模型的装置,包括处理单元和通信单元,其中,所述处理单元,用于通过所述通信单元获取训练数据,所述训练数据包括训练样本数据和目标对象的标签信息,所述训练样本数据中的每个数据均包含所述目标对象对应的数据信息;以及将所述训练数据上传至云端服务供应商,以使所述云端服务供应商基于所述样本数据和所述标签信息进行训练,得到对象识别模型;以及接收来自所述云端服务供应商的所述对象识别模型。第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。可以看出,在本申请实施例中,通过获取训练数据,所述训练数据包括训练样本数据和目标对象的标签信息,所述训练样本数据中的每个数据均包含所述目标对象对应的数据信息;以及将所述训练数据上传至云端服务供应商,以使所述云端服务供应商基于所述样本数据和所述标签信息进行训练,得到对象识别模型;以及接收来自所述云端服务供应商的所述对象识别模型。本申请实施例,通过获取少量的训练数据,并将训练数据上传至云端服务供应商来对训练数据进行训练,从而可以快速得到对象识别模型,大幅缩短开发时间。附图说明为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。图1是本申请实施例提供的一种自动建立数据处理模型的系统的示意图;图2是本申请实施例提供的一种自动建立数据处理模型的方法的流程示意图;图3本申请实施例提供的一种电子设备的结构示意图;图4本申请实施例提供的一种自动建立数据处理模型的装置的功能单元组成框图。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。根据本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。本专利技术主要是提供一自动建立数据处理模型的技术,可供使用者通过少量的包含目标对象对应的数据的训练数据,使用云端服务供应商所提供的机器学习服务来对指定的目标对象进行训练以生成能够识别该目标对象的对象辨识模型。接着,使用者可以将获取到的对象识别模型部署到相应的应用上对目标对象进行识别。如图1所示,图1为一个自动建立数据处理模型系统100的示意图,该自动建立数据处理模型系统本文档来自技高网...

【技术保护点】
1.一种自动建立数据处理模型的方法,其特征在于,包括:/n获取训练数据,所述训练数据包括训练样本数据和目标对象的标签信息,所述训练样本数据中的每个数据均包含所述目标对象对应的数据信息;/n对所述训练数据进行预处理,得到所述训练样本数据的数据类型,所述数据类型包括图像数据、音频数据、文本数据中的一种;/n将所述训练数据上传至云端服务供应商,以使所述云端服务供应商基于所述数据类型确定机器学习算法,并使用上述机器学习算法对所述样本数据和所述标签信息进行训练,得到对象识别模型;/n接收来自所述云端服务供应商的所述对象识别模型。/n

【技术特征摘要】
1.一种自动建立数据处理模型的方法,其特征在于,包括:
获取训练数据,所述训练数据包括训练样本数据和目标对象的标签信息,所述训练样本数据中的每个数据均包含所述目标对象对应的数据信息;
对所述训练数据进行预处理,得到所述训练样本数据的数据类型,所述数据类型包括图像数据、音频数据、文本数据中的一种;
将所述训练数据上传至云端服务供应商,以使所述云端服务供应商基于所述数据类型确定机器学习算法,并使用上述机器学习算法对所述样本数据和所述标签信息进行训练,得到对象识别模型;
接收来自所述云端服务供应商的所述对象识别模型。


2.根据权利要求1所述的方法,其特征在于,在所述接收来自所述云端服务供应商的所述对象识别模型之后,所述方法包括:
获取待识别数据,使用所述对象识别模型对所述待识别数据进行识别,以确认所述待识别数据中是否包含所述目标对象对应的数据。


3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取测试数据,所述测试数据包括正测试样本数据和逆测试样本数据,所述正测试样本数据中的每个数据均包含所述目标对象对应的数据信息,所述逆测试样本数据中的每个数据均不包含所述目标对象对应的数据信息;
使用所述对象识别模型对所述测试数据进行对象识别,得到识别结果;
基于所述识别结果确定识别的准确率;
在所述准确率小于设定值的情况下,上传所述识别结果和所述数据至所述云端,以使所述云端服务供应商基于所述对象识别模型进行再训练,以得到更新后的对象识别模型;
接收来自所述云端服务供应商的更新后的对象识别模型。


4.根据权利要求3所述的方法,其特征在于,在所述接收来自所述...

【专利技术属性】
技术研发人员:熊萍杨向强
申请(专利权)人:深圳诚一信科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1