用于评价响应的半自动系统和方法技术方案

本发明专利技术的实施例提供一种用于评价学生作业产品的半自动系统和方法。该方法可以包括：从多个学生获得多个学生作业产品，识别学生作业产品中存在的基元，形成基元的子集，基于基元子集将作业产品聚类成集群，从教师接收与集群有关的评价并且基于集群评价来提供作业产品的评价。根据本发明专利技术的实施例的方法可以减少教师的审查和反馈时间，并提高向学生给出的反馈的一致性和质量。

【技术实现步骤摘要】
【国外来华专利技术】用于评价响应的半自动系统和方法相关申请本申请要求于2015年2月6日提交的美国临时申请62/112,665的根据35U.S.C.119(e)的权益，其公开内容通过参考并入在此。
本专利技术的实施例涉及用于评价学术作品的方法和系统。
技术介绍
在许多学业和学术环境中，教师(包括讲师、教育家、培训师、助教和教授，以下统称为“教师”)准备作业、报告、项目、家庭作业和测试(统称为“学生作业产品“)，以衡量和促进学生学习。在许多领域，教师使用学生可以用自由文本格式、数学格式、编程代码格式或类似形式进行回答的开放式问题。为了对学生进行审查、评分和提供有价值的反馈，教师花费大量的时间阅读、审查和评论学生的作业或测试的答案，以协助学生的学习过程。在大学、学院、高中、职业学校、企业培训和在线教学环境中，学生作业产品的审查可能特别繁重。为了节省审查学生答案的时间，教师可以准备能够易于手动或使用计算机检查的多项选择测试。然而，多项选择测试有许多缺点。在许多领域，多项选择格式无法准确地捕捉到学生获得答案的方法。多项选择题的答案对学生来说也更易于从同伴进行复制或抄袭。此外，需要许多多项选择题来适当地评价学生在给定科目中的熟练程度。
技术实现思路
在向大量学生呈现作业的学业或学术环境中，许多学生的作业产品可能与其他学生的作业产品相似。学生作业产品可以分为多个集群，每个集群包括来自多个学生的学生作业，允许教师相对于每个集群提供反馈，而不需要评价每个学生的工作。本专利技术的实施例提供了一种用于评价学生作业产品的半自动化系统和方法。该方法可以包括从多个学生获得多个学生作业产品，识别作业产品中存在的基元，选择作业产品中的基元的子集，将作业产品聚类成集群，从教师接收聚类相关的评价并基于集群评价来提供作业产品的评价。可以使用计算设备的处理器来执行选择作业产品的子集，以找到以最小的学生作业产品重叠提供学生作业产品的最佳覆盖的基元子集。可以使用包括非瞬态存储器的计算设备来执行聚类，该计算设备用于执行算法。根据本专利技术的实施例的方法可以减少教师的审查和反馈时间，并提高对学生的反馈的一致性和质量。根据本专利技术的实施例，在使用相对于某个作业产品进行聚类和接收教师评价的系统和/或方法之后，教师可将聚类和评价数据存储在数据库中，并使用聚类和评价数据用于评价来自学生的类似作业产品，从而减少向学生提供反馈所需的时间。例如，如果老师使用上述方法帮助评价给定任务的学生作业产品，并将所得到的聚类和评价数据存储在数据库中，则教师可以使用计算设备基于给予先前任务的聚类、分类和/或评价，对于新接收的作业产品进行分类。这种分类可以帮助教师在类似的课程或后续学期中向不同群组的学生给出相同的任务，并允许对学生回答进行简单快速的审查。根据本专利技术的实施例的方法可以节省教师在学生作业产品上提供个性化的学生反馈的时间，而不是单独地审查来自每个学生的每个作业产品。尽管本
技术实现思路
涉及学术作品及其对教师的评价，但是本专利技术的实施例涉及用于评价对于任何类型的问题的响应的系统和方法。例如，可以执行要求产品的用户描述其用户体验的调查。用户提交的响应可以由审查者分析，并使用在此所述的方法进行聚类。这些方法可以简化审查者执行的分析过程。提供本
技术实现思路
从而以简化的形式介绍概念的选择，这在下面的详细描述中进一步描述。本
技术实现思路
不是旨在标识所要求保护的主题的主要特征或基本特征，也不旨在用于限制所要求保护的主题的范围。附图说明下面参考本段落之后列出的附图来描述实施例的非限制性示例。在多于一个附图中出现的相同结构、元件或部件通常在它们出现的所有附图中标记有相同的附图标记，并且附图中标记有表示给定特征的图标的标记可以用于参考给定的特征。出于呈现的方便和清楚来选择附图中示出的组件和特征的大小，而不必按比例显示。图1描绘了示出根据本专利技术实施例的用于评价学生作业产品的方法的框图；图2描绘了示出根据本专利技术的实施例的用于聚类和评价学生作业产品的方法的各方面的框图；图3描绘了根据本专利技术的实施例的聚类结果的显示器的线框；和图4描绘了根据本专利技术的实施例的聚类结果的显示器的线框。具体实施方式现在参考图1，其示出根据本专利技术的实施例的用于评价学生作业产品的方法10的框图。方法10包括块20，包括获得多个学生作业产品。作业产品可以提交给计算设备。根据本专利技术的实施例，计算设备可以是服务器、智能手机、桌上型计算机、膝上型计算机、平板手机、平板设备或智能手表。可选地，计算机设备或服务器可以是“分布式系统”，其在不同的物理上分立的位置中具有代码或硬件组件。计算设备可以是“云计算机”，或者可以是万维网或互联网的一部分。根据本专利技术的实施例，到达和来自计算设备的数据通信可以通过有线和/或无线通信、蜂窝数据传输、Wi-Fi网络、云计算、或者通过万维网或互联网。根据本专利技术的实施例，计算设备可以与学术机构的学习管理系统(LMS)相关联。LMS目前由许多学术机构设立。可用于实施本专利技术的实施例的示例性LMS包括“魔灯(Moodle)”和“黑板(Blackboard)”。根据本专利技术的实施例，计算设备包括处理器。处理器41可以包括本领域已知的任何处理和/或控制电路，并且可以通过示例的方式包括多于一个微处理器、专用电路(ASIC)、现场可编程阵列(FPGA)和/或芯片上的系统(SOC)中的任何一个或者任何组合。处理器可以执行基元库的生成，基元库的处理和聚类。根据本专利技术的实施例，计算设备包括存储器。存储器可以具有适合存储数据和/或计算机可执行指令的任何电子和/或光学电路，并且可以通过示例的方式包括多于一个闪存、随机存取存储器(RAM)、只读存储器(ROM)和/或可擦除可编程只读存储器(EPROM)中的任何一个或任何组合。学生作业可能存储在存储器中。基元数据和/或聚类数据可以存储在存储器中。根据本专利技术的实施例，学生作业产品可以例如由教师和/或学生提交到计算设备来获得。学生和/或教师可以使用基于网络的平台来提交学生作业产品。学生和/或教师可以在输入个人识别码或号码或其他标识符后进入网络平台。根据本专利技术的一个实施例，教师是在学业、学术、公共、私人或职业机构中的包括助教的教师。该机构可以亲自提供课程，例如在课堂上或在线教学。根据本专利技术的实施例，学生作业产品从包括任务的答案、报告、项目，家庭作业答案和测试答案的群组中选出。根据本专利技术的实施例，每个学生提交单个作业产品，例如单个任务。根据本专利技术的实施例，每个学生提交多个作业产品，例如具有多个不同答案的任务。根据本专利技术的实施例的方法可以在作业中独立于其他答案来聚类每个答案。方法10包括块30，其包括确定数据库中是否可获得与类似作业产品相关的评价。以前可能提交过类似的作业产品，例如上一学期的同一位老师，或由教授同一课程的另一位教师。数据库可以存储在计算设备的存储器中。根据本专利技术的实施例的计算设备可以将特定时间由特定教师给出的特定课程/课的学生作业自动匹配到不同课程/课的已存储作业，即使这两位老师不知道对方的课程。可以通过相对于存储在数据库中的作业产品的集合对于接收到的作业产品进行分类来执行匹配过程。如果相对于已存储的作业产品及其相关联的集群对于新作业产品进行分类的平均分数高于预定义的阈值或阈值公式，则可以定义匹配。如果未识别出与作业产品本文档来自技高网...

【技术保护点】
一种用于评价学生作业产品的方法，包括：经由计算设备从多个学生接收多个学生作业产品，使用计算设备来识别学生作业产品中存在的基元；基于学生作业产品中存在的基元，使用计算设备将作业产品聚类成集群；从教师接收与集群有关的评价；以及基于对于集群的评价，向学生提供对于学生作业产品的评价。

【技术特征摘要】
【国外来华专利技术】2015.02.06 US 62/112,6651.一种用于评价学生作业产品的方法，包括：经由计算设备从多个学生接收多个学生作业产品，使用计算设备来识别学生作业产品中存在的基元；基于学生作业产品中存在的基元，使用计算设备将作业产品聚类成集群；从教师接收与集群有关的评价；以及基于对于集群的评价，向学生提供对于学生作业产品的评价。2.根据权利要求1所述的方法，其中使用所接收的学生作业产品的序列比对来识别所述基元。3.根据权利要求1所述的方法，其中使用选自包括以下方法的群组的方法来执行聚类：邻位相连法、K均值、高斯混合模型、期望最大化、自组织映射、主成分分析、遗传算法和神经网络。4.根据权利要求1所述的方法，其中从超过50名学生接收作业产品。5.根据权利要求1所述的方法，其中作业产品聚类在5至20个集群之间。6.根据权利要求1所述的方法，其中在进行聚类之后，使用与每个集群相关联的作业产品的图形表示来显示所述作业产品。7.根据权利要求6所述的方法，其中在作业产品的每个图形表示内以图形显示基元。8.根据权利要求1所述的方法，还包括在进行聚类之后从教师接收与作业产品和集群的关联相关的输入。9.根据权利要求1所述的方法，还包括基于与作业产品和集群的关联相关的教师输入对于作业产品进行重新聚类。10.根据权利要求1所述的方法，其中识别学生作业产品中存在的基元包括基于先前接收过的学生作业产品使用先前接收的基元数据。11.根据权利要求1所述的方法，其中所述评价包括以下的一个或多个：作业产品的等级、关于学生作业产品的反馈、对于学生作品产品的作者的未来任务的建议和/或定向学习的建议。12.根据权利要求1所述的方法，还包括在识别基元之后，识别提供学生作业产品的增强覆盖的基元子集。13.根据...

【专利技术属性】
技术研发人员：罗内恩·塔尔博泽尔，
申请(专利权)人：意识教育以色列公司，
类型：发明
国别省市：以色列,IL