用于智能辅导的增强型视觉诊断系统技术方案

系统，方法，以及用于执行操作的计算机程序产品，所述操作包括：经由辅导应用程序的聊天界面接收文本输入；通过应用于所述文本输入的至少一个分类器识别文本输入中的概念；将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一者；基于第一机器学习(ML)模型生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句，以及执行所述第一程序代码语句以基于经由所述聊天界面接收的所述文本输入来修改所述辅导应用程序的可视化界面。

Enhanced visual diagnosis system for Intelligent Tutoring

【技术实现步骤摘要】
【国外来华专利技术】用于智能辅导的增强型视觉诊断系统
技术介绍
本专利技术涉及计算机软件，更具体地说，涉及为智能辅导提供增强的可视对话界面的计算机软件。智能辅导系统在不需要来自人类教师的干预的情况下向用户提供学习体验。一些智能辅导提供基于文本的通信接口，允许用户经由文本与智能辅导聊天(反之亦然)。然而，智能辅导系统的其他组件(诸如图形学习界面)与基于文本的用户通信隔离。类似地，当用户与系统的其他组件交互时，基于文本的通信界面与该交互隔离。
技术实现思路
在本专利技术的一个实施例中，方法包括通过辅导应用程序的聊天界面接收文本输入；通过应用于所述文本输入的至少一个分类器识别文本输入中的概念；将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；基于第一机器学习(ML)模型生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句，以及执行所述第一程序代码语句以基于经由所述聊天界面接收的所述文本输入来修改所述辅导应用程序的可视化界面。在本专利技术的另一个实施例中，系统包括处理器和存储指令的存储器；当由处理器执行时，执行操作，所述操作包括：经由辅导应用程序的聊天界面接收文本输入；通过应用于所述文本输入的至少一个分类器识别文本输入中的概念；将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；基于第一机器学习(ML)模型生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句，以及执行所述第一程序代码语句以基于经由所述聊天界面接收的所述文本输入来修改所述辅导应用程序的可视化界面。在本专利技术的另一个实施例中，计算机可读存储媒质中包含计算机可读程序代码；所述计算机可读程序代码可由处理器执行以执行操作，所述操作包括：经由辅导应用程序的聊天界面接收文本输入；通过应用于所述文本输入的至少一个分类器识别文本输入中的概念；将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；基于第一机器学习(ML)模型生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句，以及执行所述第一程序代码语句以基于经由所述聊天界面接收的所述文本输入来修改所述辅导应用程序的可视化界面。附图说明图1示出了根据本专利技术的一个实施例的提供增强的可视对话界面的智能辅导系统的示例组件；图2A-2D描绘了根据本专利技术的多个实施例的用于智能辅导的增强的视觉对话界面的实例；图3是示出根据本专利技术的一个实施例的为智能辅导提供增强的可视对话界面的示例方法的流程图；图4是示出根据本专利技术的一个实施例的训练分类器的示例方法的流程图；图5是示出根据本专利技术的一个实施例的用于翻译文本输入以生成修改可视化的语句的示例方法的流程图；图6是示出根据本专利技术的一个实施例的转换在可视化界面接收的用户输入以创建自然语言语句的示例方法的流程图；并且，图7是示出根据本专利技术的一个实施例的提供用于智能辅导的增强的可视对话界面的示范性系统的框图。具体实施方式在此披露的本专利技术的实施例提供了一种改进的用户和智能辅导的不同组件之间的通信的增强型智能辅导系统。例如，当用户经由智能辅导的基于文本的通信界面发出基于文本的语句时，本文公开的实施例动态地生成修改智能辅导的可视化界面的对应语句。类似地，如果用户修改可视化界面的图形元素，则在此公开的本专利技术的实施例生成被提供给智能辅导的基于文本的通信界面的自然语言语句。图1示出了提供增强的可视对话界面的智能辅导系统100的示例组件。通常，智能辅导是用于为用户提供虚拟学习环境的应用。如图所示，智能辅导系统100包括文本界面101、翻译组件102和可视化组件103。文本界面101提供用户与聊天引擎110之间的基于文本的通信信道。通常，聊天引擎110是经由文本、表情符号、图标等与用户对话的“机器人(bot)”。例如，聊天引擎110可向用户输出多个选择问题。用户然后可以提供指定回答的用户输入111。然后，聊天引擎110可验证用户输入111中提供的答案，并返回验证的结果(例如，用户的答案是正确的还是不正确的)。以这种方式，聊天引擎110和用户可在用户从智能辅导100接收学习指令的同时交谈。可视化组件103被配置为输出图形学习元素(诸如示例图形学习元素131-135)以供显示。示例图形学习元素包括任何类型的图形对象，诸如图表、图、示意图、可点击概念节点等。如图所示，用户可以经由用户输入136与图形学习元件131-135交互。例如，用户可改变图形学习元件131-135中的一个或多个的颜色以反映他们对与每个相应图形学习元件131-135相关联的主题的舒适度水平。翻译组件102一般被配置成增强文本界面101和可视化组件103。例如，如果文本界面101中的用户输入111指定“向我示出绿色圈”，则翻译组件102将生成程序代码语句，该程序代码语句在被可视化组件103处理时生成、渲染和输出所请求的绿色圈。作为另一个示例，如果用户输入136将图形学习元件131-135中的一个移动到新位置，则翻译组件102接收描述移动的程序代码语句，并且生成反映移动的自然语言语句(例如，“你已经移动对象”)，该自然语言语句然后经由文本界面101输出。如图所示，翻译组件102包括事件映射器120、一个或多个分类器121、实体至文本映射器122、分类数据模型123和可视命令124的数据存储。事件映射器120将由聊天引擎110输出的文本映射到事件和/或概念。一般而言，聊天引擎110与用户之间的会话可包括多个阶段(例如，问题、回答、搜索、建议、比较等)。事件映射器120将文本映射到这样的事件。例如，如果用户在文本界面中提供对问题的正确回答，则事件映射器将把来自聊天引擎110的响应映射到“正确回答”的示例概念。分类器121代表自然语言分类器、自然语言处理算法和语言解析器，诸如标识用户模仿(或命令)的解析器。通常，分类器121分析用户输入111的文本以对会话的文本进行分类并且识别会话的文本中的任何实体(例如，人、地方、事物、学习概念等)。分类器121随后将分类数据提供给分类数据模型123，分类数据模型123是基于分类数据生成可视命令124的机器学习模型。可视命令124是可由可视化组件103执行以相应地修改用户界面的代码语句。代码语句可以是针对视觉输出设计的任何类型的编程语言，诸如R(例如，ggplot2)、JavaScript、MATLAB或基于图形语法的任何其他语言。用于在图中生成散点图的示例代码语句是“ggplot(data,aes(x＝my_x,y＝my_y))+geom_point(shape＝1)”。因此，更一般地，针对这样的示例语句对分类器121进行训练以产生关于对开放式数量的输入查询的响应的分类。当用户输入136被可视化部件103接收时，生成可视命令124(例如，代码语句)来描述并实现用户输入136。例如，如果用户将圆131的形状改变为方形，则由可视化组件103生成可视命令124代码语句，该可视命令124代码语句在被执行时将圆131的形状改变为方形。这种代码本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n通过辅导应用程序的聊天界面接收文本输入；/n通过应用于所述文本输入的至少一个分类器来识别所述文本输入中的概念；/n将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；/n基于第一机器学习(ML)模型，生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句；以及/n基于经由所述聊天界面接收的所述文本输入，执行所述第一程序代码语句以修改所述辅导应用程序的可视化界面。/n

【技术特征摘要】
【国外来华专利技术】20170627 US 15/634,4511.一种方法，包括：
通过辅导应用程序的聊天界面接收文本输入；
通过应用于所述文本输入的至少一个分类器来识别所述文本输入中的概念；
将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；
基于第一机器学习(ML)模型，生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句；以及
基于经由所述聊天界面接收的所述文本输入，执行所述第一程序代码语句以修改所述辅导应用程序的可视化界面。


2.根据权利要求1的方法，其中该第一程序代码语句包括图形语句的语法，该方法进一步包括：
输出所述可视化界面以供显示，其中所述可视化界面包括包含所述第一视觉对象的多个视觉对象，其中所述程序代码语句修改所述多个视觉对象中的至少一个。


3.根据权利要求2的方法，进一步包括：
接收输入，所述输入修改经由所述可视化界面输出以供显示的所述多个对象中的第二视觉对象；
生成第二程序代码语句以修改所述第二视觉对象；
执行所述第二程序代码语句以修改所述第二视觉对象；
基于第二ML模型，生成与所述第二程序代码语句对应的实体；
基于所述实体与概念之间的映射生成自然语言语句；以及
通过所述聊天界面输出所述自然语言语句。


4.根据权利要求3的方法，进一步包括在接收该文本输入之前：训练所述至少一个分类器以基于训练数据生成所述第一和第二机器学习模型。


5.根据权利要求4的方法，其中该训练数据包括：(i)用于生成自然语言语句的多个标记的程序代码语句，以及(ii)用于生成程序代码语句的多个标记的自然语言语句。


6.根据权利要求1的方法，进一步包括：
由聊天引擎通过所述聊天界面输出第一消息；
由应用于所述第一消息的所述至少一个分类器对所述第一消息中的概念进行分类；
将所述第一消息中的所述概念映射到与所述第一消息中的所述概念相关联的事件；
生成对应于所述第一消息中的与所述概念相关联的所述事件的第二程序代码语句；以及
执行所述第二程序代码语句以基于由所述聊天引擎输出的所述第一消息来修改所述辅导应用程序的可视化界面。


7.根据权利要求1的方法，其中，文本输入包括对经由聊天界面输出的问题的响应。


8.一种计算机程序产品，包括：
计算机可读存储介质，具有随其体现的计算机可读程序代码，所述计算机可读程序代码可由处理器执行以执行操作，所述操作包括：
通过辅导应用程序的聊天界面接收文本输入；
通过应用于所述文本输入的至少一个分类器来识别所述文本输入中的概念；
将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一者；
基于第一机器学习(ML)模型，生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句；以及
基于经由所述聊天界面接收的所述文本输入，执行所述第一程序代码语句以修改所述辅导应用程序的可视化界面。


9.根据权利要求8的计算机程序产品，其中该第一程序代码语句包括图形语句的语法，该操作进一步包括：
输出所述可视化界面以供显示，其中所述可视化界面包括多个对象，其中所述程序代码语句修改所述多个对象中的至少一个对象。


10.根据权利要求9的计算机程序产品，进一步包括：
接收输入，所述输入修改经由所述可视化界面输出以供显示的所述多个对象中的至少一个对象；
生成第二程序代码语句以修改所述多个对象中的所述至少一个对象；
执行所述第二程序代码语句以修改所述多个对象中的所述至少一个对象；
基于第二...

【专利技术属性】
技术研发人员：P·沃森，JW·安，M·昌，S·C·桑德拉詹，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US