信息处理方法、信息处理系统、信息终端和计算机程序技术方案

提供了一种用于执行用于确定用户的学习水平或呈现所确定的学习水平的处理的信息处理方法。该信息处理方法包括：输入步骤，用于输入表示学习中的用户的动作或行为的时间序列媒体信息；第一确定步骤，用于基于时间序列媒体信息来确定用户的学习水平；以及输出步骤，用于基于在第一确定步骤中确定的用户的学习水平，输出时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分。行为与参考动作或行为不同的部分。行为与参考动作或行为不同的部分。

【技术实现步骤摘要】
【国外来华专利技术】信息处理方法、信息处理系统、信息终端和计算机程序


[0001]本说明书中公开的技术(在下文中，称为“本公开内容”)涉及用于执行辅助由用户执行的学习的处理的信息处理方法、信息处理系统、信息终端和计算机程序。

技术介绍

[0002]近年来，在语言学习、乐器学习、体育运动训练(高尔夫、棒球、足球等)等方面，信息技术更经常地用于辅助由用户执行的学习。例如，已经提出了在通过声音学习第二语言时使用的声音学习系统。在该声音学习系统中，由计算机执行的水平确定程序根据基于学习者的发声的声音数据来确定学习水平，并且调整第二语言语句的再现速度，使得再现速度与学习者的水平相匹配(参见专利文献1)。另外，已经提出了如下信息处理装置，该信息处理装置从使用附接至高尔夫球杆的传感器获得的传感器信息中获取表示与正在打高尔夫球的第一用户有关的信息的传感器信息，从第二用户的终端获取作为对基于该传感器信息的第一生成信息的反馈的反馈信息，并且将该反馈信息传送至第一用户的终端(参见专利文献2)。
[0003][引用文献列表][0004][专利文献][0005][专利文献1]日本专利特许公开第2021
‑
113904号
[0006][专利文献2]PCT专利公布第WO2018/220948号

技术实现思路

[0007][技术问题][0008]本公开内容的目的是提供用于执行辅助由用户执行的学习的处理的信息处理方法、信息处理系统、信息终端和计算机程序。
[0009][问题的解决方案][0010]本公开内容是鉴于上述问题而做出的，并且其第一方面是信息处理方法，该信息处理方法包括：输入步骤，该输入步骤为：输入表示学习中的用户的动作或行为的时间序列媒体信息；第一确定步骤，该第一确定步骤为：基于时间序列媒体信息来确定用户的学习水平；以及输出步骤，该输出步骤为：基于在第一确定步骤中确定的用户的学习水平，输出时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分。此处，在第一确定步骤中，在通过使用自训练的第一机器学习模型处理时间序列媒体信息之后，通过使用监督训练的第二机器学习模型来确定用户的学习水平。另外，在第一确定步骤中，通过使用包含在第二机器学习模型中的注意力机制，关于时间序列媒体信息来确定用于确定为用户的学习水平不充分或用于确定为用户需要进行学习的根据。
[0011]在输出步骤中，将时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分输出至呈现装置。此外，根据第一方面的信息处理方法还包括第一呈现步骤，该第一呈现步骤为：通过呈现装置将时间序列媒体信息中的用户的动作或行为与参考动作或行
为不同的部分呈现给用户。在第一呈现步骤中，以视觉方式呈现时间序列信息媒体中的用户的动作或行为与参考动作或行为不同的部分。
[0012]另外，根据第一方面的信息处理方法还包括第二确定步骤，该第二确定步骤为：确定表示用户的动作或行为与参考动作或行为之间的差异的距离信息；以及第二呈现步骤，该第二呈现步骤为：将第二确定步骤中的确定的结果输出至呈现装置，并且将结果呈现给用户。在第二呈现步骤中，将距离信息以视觉方式呈现在N维空间中，在所述N维空间中，参考动作或行为被布置在中央。
[0013]另外，本公开内容的第二方面是信息处理系统，该信息处理系统包括：输入部，其输入表示学习中的用户的动作或行为的时间序列媒体信息；第一确定部，其基于时间序列媒体信息来确定用户的学习水平；以及输出部，其基于由第一确定部确定的用户的学习水平，输出时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分。根据第二方面的信息处理系统还可以包括：传感器部，其检测学习中的用户的动作或行为，并且获取时间序列媒体信息；以及呈现装置，其由输出部使用以输出时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分。
[0014]应当注意，此处描述的“系统”意指作为多个装置(或实现特定功能的功能模块)的逻辑集合的对象，并且每个装置或功能模块是否在单个壳体中并不特别重要。也就是说，包括多个部件或功能模块的一个装置和多个装置的集合都等同于“系统”。
[0015]另外，本公开的内容第三方面是信息终端，该信息终端包括：传感器部，其检测学习中的用户动作或行为，并且获取时间序列媒体信息；通信部，其将时间序列媒体信息发送至外部装置，并且从外部装置接收关于用户的学习水平的确定结果以及时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分；以及呈现部，其呈现所接收的信息。
[0016]另外，本公开内容的第四方面是计算机程序，该计算机程序以计算机可读格式编写，使得计算机用作：输入部，其输入表示学习中的用户的动作或行为的时间序列媒体信息；第一确定部，其基于时间序列媒体信息来确定用户的学习水平；以及输出部，其基于由第一确定部确定的用户的学习水平，输出时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分。
[0017]根据本公开内容的第四方面的计算机程序定义了以计算机可读格式编写的计算机程序，使得在计算机上实现预定处理。换言之，通过将根据本公开内容的第四方面的计算机程序安装在计算机上，在计算机上表现出协同效果，并且可以获得与根据本公开内容的第一方面的信息处理方法的效果和优点类似的效果和优点。
[0018][专利技术的有益效果][0019]本公开内容可以提供用于执行用于确定用户的学习水平或呈现所确定的学习水平的处理的信息处理方法、信息处理系统、信息终端和计算机程序。
[0020]注意，本说明书中描述的优点仅作为示例示出，并且本公开内容提供的优点不限于此。另外，在一些情况下，本公开内容实现了除了上述优点之外的其他附加优点。
[0021]本公开内容的其他目的、特征和优点将从基于稍后描述的实施方式和附图的更详细的说明中变得明显。
附图说明
[0022][图1]图1是描绘辅助由用户执行的学习的信息处理系统100的基本配置的图。
[0023][图2]图2是描绘信息处理系统100的操作示例的流程图。
[0024][图3]图3是描绘信息处理系统100的另一操作示例的流程图。
[0025][图4]图4是描绘以视觉方式呈现确定结果的示例的图。
[0026][图5]图5是描绘以视觉方式呈现确定结果的示例的图。
[0027][图6]图6是描绘以视觉方式呈现确定结果的示例的图。
[0028][图7]图7是描绘系统配置示例的图。
[0029][图8]图8是描绘另一系统配置示例的图。
[0030][图9]图9是描绘又一系统配置示例的图。
[0031][图10]图10是描绘又一系统配置示例的图。
[0032][图11]图11是描绘在二维平面上呈现表示用户的动作或行为与参考动作或行为之间的差异的距离信息的示例的图。
[0033][图12]图12是描绘当距离信息随着学习的进展改变时它如何呈现的图。
[0034][图13]图13是描绘在三维空间上呈本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理方法，包括：输入步骤，所述输入步骤为：输入表示学习中的用户的动作或行为的时间序列媒体信息；第一确定步骤，所述第一确定步骤为：基于时间序列媒体信息来确定用户的学习水平；以及输出步骤，所述输出步骤为：基于在所述第一确定步骤中确定的用户的学习水平，输出时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分。2.根据权利要求1所述的信息处理方法，其中，在所述输出步骤中，将时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分输出至呈现装置，并且所述信息处理方法还包括第一呈现步骤，所述第一呈现步骤为：通过所述呈现装置将时间序列媒体信息中的用户的动作或行为与参考动作或行为不同的部分呈现给用户。3.根据权利要求2所述的信息处理方法，其中，在所述第一呈现步骤中，以视觉方式呈现时间序列信息媒体中的用户的动作或行为与参考动作或行为不同的部分。4.根据权利要求3所述的信息处理方法，其中，在所述第一呈现步骤中，以视觉方式呈现由用户说出的短语中的发音与参考发音(或者母语者的理想发音)不同的单词或字符部分。5.根据权利要求3所述的信息处理方法，其中，在所述第一呈现步骤中，以视觉方式呈现用户的表现出与参考身体动作(或者专业运动员或教练的理想身体动作)不同的身体动作的身体部位。6.根据权利要求1所述的信息处理方法，还包括：第二确定步骤，所述第二确定步骤为：确定表示用户的动作或行为与参考动作或行为之间的差异的距离信息；以及第二呈现步骤，所述第二呈现步骤为：将所述第二确定步骤中的确定的结果输出至呈现装置，并且将结果呈现给用户。7.根据权利要求6所述的信息处理方法，其中，在所述第二呈现步骤中，将距离信息以视觉方式呈现在N维空间中，在所述N维空间中，参考动作或行为被布置在中央。8.根据权利要求1所述的信息处理方法，其中，连续地执行所述输入步骤和所述第一确定步骤，直到用户的学习水平被确定为充分。9.根据权利要求1所述的信息处理方法，其中，在所述第一确定步骤中，通过使用经训练的机器学习模型来进行确定。10.根据权利要求9所述的信息处理方法，其中，在所述第一确定步骤中，在通过使用自训练的第一机器学习模型处理时间序列媒体信息之后，通过使用监督训练的第二机器学习模型来确定用户的学习水平。11.根据权利要求10所述的信息处理方法，其中，在所述第一确定步骤中，通过使用包含在所述第二机器学习模型中的注意力机制，关于时间序列媒体信息来确定用于...

【专利技术属性】
技术研发人员：河村和纪，历本纯一，柏康二郎，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：