一种人工智能实验平台的自动评测方法及系统技术方案

本发明专利技术提供一种人工智能实验平台的自动评测方法及系统，其中，人工智能实验平台的自动评测方法包括：步骤1：根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；步骤2：若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行步骤3；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行步骤3；步骤3：提交待评测实验任务，根据所选择的所述评测规则进行自动评测；步骤4：统计自动评测结果。本发明专利技术能够满足人工智能实验教学方面不同种类的实验作业的自动批改。批改。批改。

【技术实现步骤摘要】
一种人工智能实验平台的自动评测方法及系统


[0001]本申请涉及自动评测
，特别是一种人工智能实验平台的自动评测方法及系统。

技术介绍

[0002]在计算机或人工智能实验教学过程中，教师需要对学生的实验作业进行批改，大部分都是通过手工批改的方式完成，教师需要阅读学生的实验报告、运行实验代码之后给出最终评分，这种方式比较费时费力，效率低下。还有一种方式是通过计算机软件系统自动对学生的作业进行批改，这种方式较为先进，可称为自动化评测，通常做法是通过自动编译程序，自动执行程序获得结果，然后判断实际结果与预期结果是否匹配，然后进行评分。然而，这种方式比较局限，一般比较适合程序设计方面的作业，不太适合面向人工智能实验教学方面的作业批改。
[0003]人工智能实验通常不止需要判断程序的可执行性、结果的正确性，还需要根据人工智能算法模型的准确度来判断作业的质量，而且一般在教学过程中，教师还需要对实验报告进行打分，判断实验报告的内容是否正确。由此可见，目前急需一种可以满足上述应用场景的自动评测方法。

技术实现思路

[0004]有鉴于此，本申请所解决的技术问题在于提供一种人工智能实验平台的自动评测方法及系统，解决目前的自动评测方法及系统不能同时满足人工智能实验教学方面的不同种类的实验作业的自动化批改问题。
[0005]本专利技术实施例提供一种人工智能实验平台的自动评测方法，其包括：
[0006]步骤1：根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；<br/>[0007]步骤2：若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行步骤3；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行步骤3；
[0008]步骤3：提交待评测实验任务，根据所选择的所述评测规则进行自动评测；
[0009]步骤4：统计自动评测结果。
[0010]可选的，步骤1中的所述评测规则包括自定义评测规则、程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则。
[0011]可选的，步骤3中的根据所选择的所述评测规则进行自动评测包括：
[0012]步骤3.1：判断所选择的所述评测规则的脚本语言；
[0013]步骤3.2：将所选择的所述评测规则传输至实验环境中，并通过所述脚本语言执行
所选择的所述评测规则对应的脚本；
[0014]步骤3.3：获取所选择的所述评测规则对应的脚本的输出JSON字符串，将所述JSON字符串返回至人工智能实验平台；
[0015]步骤3.4：所述人工智能实验平台解析所述JSON字符串，并将解析后的所述JSON字符串返回至用户界面。
[0016]可选的，步骤3.4中的解析后的所述JSON字符串是已成功解析的所述JSON字符串和未成功解析的所述JSON字符串的任意一种。
[0017]可选的，步骤3.4中若未成功解析所述JSON字符串，则重复执行N次，N为奇数；
[0018]若重复执行N次后，仍然执行失败，则将所述未成功解析的所述JSON字符串返回至所述用户界面；
[0019]通过所述用户界面查看所选择的所述评测规则自动评测的失败原因。
[0020]可选的，步骤1中的所述基于深度学习语义分析的实验报告评测规则是根据RNN算法，提取实验报告中的文本内容并分析，然后将所述实验报告的分析结果与预设的实验报告内容进行比对，以确定评测结果。
[0021]可选的，步骤1中的所述面向人工智能开发流程的模型质量评测规则中的人工智能开发流程包括数据集处理、算法开发、模型训练、模型推理。
[0022]可选的，所述面向人工智能开发流程的模型质量评测规则内置模型推理接口，使用待评测的模型和已内置的测试数据集，自动调用所述模型推理接口，从而实现模型质量的自动评测。
[0023]可选的，所述程序结果比对的评测规则是自动查找用户需要执行的程序目录，根据程序的后缀名解析程序的语言，执行所述程序获取输出结果，将获取的所述输出结果与预设结果进行比对，以确定评测结果。
[0024]本申请实施例还提供一种人工智能实验平台的自动评测系统，其包括：
[0025]选择模块，根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；
[0026]判断模块，若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行评测模块；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行评测模块；
[0027]评测模块，提交待评测实验任务，根据所选择的所述评测规则进行自动评测；以及
[0028]统计模块，用于统计自动评测结果。
[0029]另外，本专利技术提出的方法和系统也适用其他计算机教学实验作业的自动评测场景。
[0030]由于采用了上述实施例的技术方案，本申请具有如下的优点：
[0031](1)实用性强，帮助老师对人工智能实验作业进行自动批改，减轻了老师的负担，提高了工作效率。
[0032](2)通用性强，不仅可以对人工智能实验进行自动评测，对一般的通用程序开发实验作业也可评测。
[0033](3)更加智能化，采用深度学习算法，对实验作业报告文档进行智能化分析，得到
较准确的评测结果。
[0034](4)更加专业化，支持人工智能开发方面实验作业评测，尤其对人工智能模型的质量评测可靠性非常高。
[0035](5)安全性高，所有评测规则都是在学生各自的实验环境中执行，它是基于docker容器的隔离环境，不会影响系统的正常运行，安全性很高。
[0036](6)具有技术优越性，支持自定义评测规则的建立，内置基于人工智能深度学习算法的评测规则，具有很强的技术优越性。
附图说明
[0037]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0038]图1为本申请实施例一的人工智能实验平台的自动评测方法的流程示意图；
[0039]图2为本申请实施例二的实现用户获取评测结果的方法示意图；
[0040]图3为本申请实施例三的人工智能实验平台的自动评测系统结构示意图。
具体实施方式
[0041]结合附图和实施例对本申请作进一步说明，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0042]图1为本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人工智能实验平台的自动评测方法，其特征在于，包括以下步骤：步骤1：根据实验任务选择评测规则，根据所选择的所述评测规则定义不同的评测时间和不同的评测结果；步骤2：若所选择的所述评测规则是自定义评测规则，则创建评测规则、创建评测环境，然后执行步骤3；若所选择的所述评测规则是程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则中的任意一种，则执行步骤3；步骤3：提交待评测实验任务，根据所选择的所述评测规则进行自动评测；步骤4：统计自动评测结果。2.根据权利要求1所述的方法，其特征在于，步骤1中的所述评测规则包括自定义评测规则、程序结果比对的评测规则、基于深度学习语义分析的实验报告评测规则、面向人工智能开发流程的模型质量评测规则。3.根据权利要求1所述的方法，其特征在于，步骤3中的根据所选择的所述评测规则进行自动评测包括：步骤3.1：判断所选择的所述评测规则的脚本语言；步骤3.2：将所选择的所述评测规则传输至实验环境中，并通过所述脚本语言执行所选择的所述评测规则对应的脚本；步骤3.3：获取所选择的所述评测规则对应的脚本的输出JSON字符串，将所述JSON字符串返回至人工智能实验平台；步骤3.4：所述人工智能实验平台解析所述JSON字符串，并将解析后的所述JSON字符串返回至用户界面。4.根据权利要求3所述的方法，其特征在于，步骤3.4中的解析后的所述JSON字符串是已成功解析的所述JSON字符串和未成功解析的所述JSON字符串的任意一种。5.根据权利要求4所述的方法，其特征在于，步骤3.4中若未成功解析所述JSON字符串，则重复执行N次，N为奇数；若重复执行N次后，仍然执行失败...

【专利技术属性】
技术研发人员：杨振宇，
申请(专利权)人：重庆海云捷迅科技有限公司，
类型：发明
国别省市：