本方案涉及一种基于智能制造的学习资料生成方法、系统、电子设备及存储介质，该方法包括：接收询问信息，根据所述询问信息确定第一对话信息；根据所述第一对话信息进行至少一轮对话得到第二对话信息，生成对话文本；将所述对话文本输入训练好的多模态对话生成模型，生成对话文本对应的学习资料；输出所述学习资料。本发明专利技术可以在短时间内获取到具有针对性的、完整的培训和学习资料，减少获取学习资料的时间，可应用于智能制造培训领域。可应用于智能制造培训领域。可应用于智能制造培训领域。
【技术实现步骤摘要】
一种基于智能制造的学习资料生成方法、系统及电子设备
[0001]本专利技术涉及人工智能应用领域，尤其涉及一种基于智能制造的学习资料生成方法、系统及电子设备。
技术介绍
[0002]制造强国对智能制造工厂的发展都很重视，对发展更先进的、更快速的、更高效的、更智能的学习系统投入很大，我国在新制造设备的员工培训这方面的研究还不是很深入。效率、质量是先进制造技术的主体考虑方面。高速、高精密技术的运用可以显著提高效率，提高产品的档次和质量，能显著缩短生产周期和显著提高市场竞争力。工人通过查看新制造工艺说明手册以及培训学习等方法学习，减少非生产时间，提高了机床的使用效率和准确性，降低了生产成本，提高生产的灵活性。为了满足工业自动化的发展，FPGA中间层板卡（FPGA Mezzanine Card，FMC）、柔性制造系统（Flexible Manufacture System，FMS）、计算机集成制造系统（Computer Integrated Manufacturing Systems，CIMS）等提供必要的基础设施，具有联网交流等功能，根据用户不同的要求，数控机床等加工设备可以灵活的设置和集成。
[0003]当出现新的制造加工工艺或者更换产品设备时，需要对工厂的工人进行工艺培训，或者在工厂招聘新人之后，需要对新人进行机床操作的培训。现有的工艺培训和机床操作学习方法通常是直接将整个生产环境进行停机实操教学，也没有针对新工艺和产业链上的新增机器设备以及零件的系统性介绍，上述培训或学习没有针对性，存在浪费时间、人工成本和机器成本的问题。
技术实现思路
[0004]有鉴于此，本专利技术的目的是提供一种基于智能制造的学习资料生成方法、系统及电子设备及存储介质，可以在短时间内获取到具有针对性的、完整的培训和学习资料，减少人工成本和机器成本。
[0005]为了解决上述问题之一，第一方面，本专利技术提供了一种基于智能制造的学习资料生成方法，应用于智能终端，包括以下步骤：接收询问信息，根据所述询问信息确定第一对话信息；根据所述第一对话信息进行至少一轮对话得到第二对话信息，生成对话文本；将所述对话文本输入训练好的多模态对话生成模型，生成对话文本对应的学习资料，输出所述学习资料。
[0006]可选地，在本专利技术第一方面提供的方法中，所述询问信息的形式包括图像和语音，所述根据所述询问信息确定第一对话信息，包括：确定所述询问信息的形式；若所述对话信息形式为图像，抠出所述图像的目标区域，根据所述目标区域提取所述图像的标注信息和图像信息，将所述标注信息和所述图像信息确定为第一对话信息；
若所述对话信息形式为语音，将所述语音转化为数字信号，根据所述数字信号提取所述语音的文字信息，根据所述文字信息提取标注信息，将所述标注信息确定为第一对话信息。
[0007]可选地，在本专利技术第一方面提供的方法中，所述根据所述第一对话信息进行至少一轮对话得到第二对话信息，生成对话文本，包括：将所述第一对话信息输入训练好的多模态对话生成模型，得到与所述第一对话信息对应的应答信息；判断当前对话任务是否继续，若继续，进行下一轮对话；否则，根据所述第一对话信息和所述应答信息得到第二对话信息，根据第二对话信息生成对话文本。
[0008]可选地，在本专利技术第一方面提供的方法中，在所述将所述对话文本输入训练好的多模态对话生成模型之前，所述方法还包括：对所述对话文本进行随机增强；根据增强后对话文本的语义保留符合需求的所述标注信息和/或所述图像信息。
[0009]可选地，在本专利技术第一方面提供的方法中，在所述输出所述学习资料之后，还包括：保存对话节点信息，所述对话节点信息包括所述对话文本。
[0010]可选择地，在本专利技术第一方面提供的方法中，所述多模态对话生成模型的训练过程如下：根据问答信息标注第一图像，得到第一数据集；从所述第一数据集中选取数量一定的第二图像，抠出所述第二图像的目标区域；对所述目标区域进行增强得到第二数据集；所述目标区域包括图像信息和标注信息；将所述第一数据集、所述第二数据集和背景数据集合并，得到第三数据集；使用公开数据集对多模态卷积神经网络模型进行第一阶段预训练得到第一模型，使用所述第三数据集对所述第一模型进行第二阶段训练，得到所述多模态对话生成模型。
[0011]可选地，在本专利技术第一方面提供的方法中，所述对所述目标区域进行增强得到第二数据集包括：随机改变所述图像信息的特征形状得到增强图像信息；对所述标注信息进行随机增强得到增强标注信息；组合所述增强图像信息和增强标注信息得到所述第二数据集。
[0012]为了解决上述问题之一，第二方面，本专利技术提供了一种基于智能制造的学习资料生成系统，所述系统包括：获取模块，用于接收询问信息，根据所述询问信息确定第一对话信息；对话模块，用于根据所述第一对话信息进行至少一轮对话得到第二对话信息，生成对话文本；输出模块，用于将所述对话文本输入训练好的多模态对话生成模型，生成对话文本对应的学习资料；输出所述学习资料。
[0013]为了解决上述问题之一，第三方面，本专利技术提供了一种电子设备，其特征在于，包括：所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所
learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift
‑
invariant classification），因此也被称为“平移不变人工神经网络（Shift
‑
Invariant Artificial Neural Networks, SIANN）”。
[0022]智能终端：本专利技术所述智能终端包括输入设备和与输入设备通信连接的远端服务器和/或其它服务器，所述输入设备用于获取用户上传的工厂图像或询问语音等询问信息，并提取图像和语音中的对话信息，将对话信息发送给云端服务器，所述云端服务器用于在接收到对话信息后，根据对话信息生成学习资料，将学习资料返回给输入设备，输入设备接收并显示学习资料。
[0023]如图1所示，图1是实施例提供的一种基于智能制造的学习资料生成方法获取学习资料的流程图，本专利技术提供了一种基于智能制造的学习资料生成方法，应用于智能终端，其包括的步骤如下所示：S100、接收询问信息，根据所述询问信息确定第一对话信息。
[0024]智能终端的云端调用接口持续检测对话生成任务，智能终端实时更新状态，当智能终端的对话输入界面被打开、用户上传了图像或用户利用语音唤醒智能终端，即可以认定为检测到对话生成任务。所述询问信息为智能终端获取的图像和语音，所述第一对话信息从所述询问信息中提取得到。
[0025]所述智能终端包括但不限于装有实现上述方法的软件的手机、电脑、具有显示器的智能机器人，S200、根据所述第一对话信息进行至少一轮对话得到第二对话信息，生成对话文本。
[0026]智能终端收到任务后开始与用户进行对话，根据用户输入的对话内容生成对应的应答信息，即回复第一对话信息的应答内容。例如用户输入一张智能制造工厂的某一台本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于智能制造的学习资料生成方法，其特征在于，应用于智能终端，包括：接收询问信息，根据所述询问信息确定第一对话信息；根据所述第一对话信息进行至少一轮对话得到第二对话信息，生成对话文本；将所述对话文本输入训练好的多模态对话生成模型，生成对话文本对应的学习资料，输出所述学习资料。2.根据权利要求1所述的方法，其特征在于，所述询问信息的形式包括图像和语音，所述根据所述询问信息确定第一对话信息，包括：确定所述询问信息的形式；若所述对话信息形式为图像，抠出所述图像的目标区域，根据所述目标区域提取所述图像的标注信息和图像信息，将所述标注信息和所述图像信息确定为第一对话信息；若所述对话信息形式为语音，将所述语音转化为数字信号，根据所述数字信号提取所述语音的文字信息，根据所述文字信息提取标注信息，将所述标注信息确定为第一对话信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一对话信息进行至少一轮对话得到第二对话信息，生成对话文本，包括：将所述第一对话信息输入训练好的多模态对话生成模型，得到与所述第一对话信息对应的应答信息；判断当前对话任务是否继续，若继续，进行下一轮对话；否则，根据所述第一对话信息和所述应答信息得到第二对话信息，根据第二对话信息生成对话文本。4.根据权利要求2所述的方法，其特征在于，在所述将所述对话文本输入训练好的多模态对话生成模型之前，所述方法还包括：对所述对话文本进行随机增强；根据增强后对话文本的语义保留符合需求的所述标注信息和/或所述图像信息。5.根据权利要求1所述的方法，其特征在于，在所述输出所述学习资料之后，还包括：保存对话节点信息，所述对话节点信息包括所述对话文本。6.根据...
【专利技术属性】
技术研发人员：彭广德，王睿，李卫燊，李卫铳，
申请(专利权)人：广州里工实业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。