模拟操控方法和便携式终端技术

公开了模拟操控方法和便携式终端。所述模拟操控方法，包括：接收来自用户的语音输入；识别所述语音输入，并获得相应的模拟操作类指令；基于所述指令，启动目标应用；生成一覆盖页面，以覆盖所述目标应用的至少部分显示界面；以及自动地执行用以实现所述指令的一系列操作。

【技术实现步骤摘要】
模拟操控方法和便携式终端
本专利技术涉及信息处理的
，更具体地说，涉及虚拟助手和模拟操控的

技术介绍
声控的移动虚拟助手(VirtualassistantsVAs)应用跨过技术裂缝进入大众市场，帮助用户通过语音命令进行搜索、拨打电话和发送短信等各种功能。模拟操控作为虚拟助手的一类新的操作模式，在近期的智能移动终端上开始展现。其实现原理为基于Android操作系统提供的无障碍功能，模拟页面的跳转和用户的触屏操作，最终形式表现为用户的语音指令所指示的操作流程。例如，如果用户想要给小明发五块钱的微信红包，那么一般而言，用户需要执行点击微信图标以打开微信应用、进入通讯录找到小明、点击小明头像进入对话框、然后点击红包并输入金额等一系列操作。然而，在应用模拟操控的情况下，用户仅需要输入“给小明发五块钱的微信红包”的语音指令，就可以自动地执行上述一系列操作而无需用户参与。也就是说，通过模拟操控，以自动执行的指令来模拟用户触摸点击进行的操作。然而，当前实现方案的问题在于，响应于用户的语音指令而自动执行的一系列操作过程无法在VA应用交互内完成，一般存在多次页面的跳转等，如从主界面跳转至微信启动界面，从微信启动界面跳转至通讯录界面，并从通讯录界面跳转至联系人对话框等。频繁、快速却又视觉可见的交互界面变化，容易造成眼花缭乱的感觉，严重影响用户的交互体验。另外，在模拟操控过程中，还可能存在由于用户误触屏幕而导致处理终止的情况。
技术实现思路
鉴于以上情形，期望提供一种新的适用于VA的模拟操控模式UI(UserInterface)交互模式，以解决多次页面跳转的复杂过程，优化用户的交互体验。根据本专利技术的一个方面，提供了一种模拟操控方法，包括：接收来自用户的语音输入；识别所述语音输入，并获得相应的模拟操作类指令；基于所述指令，启动目标应用；生成一覆盖页面，以覆盖所述目标应用的至少部分显示界面；以及自动地执行用以实现所述指令的一系列操作。根据本专利技术的另一方面，提供了一种便携式终端，包括：语音输入装置，用于接收来自用户的语音输入；识别装置，用于识别所述语音输入，并获得相应的模拟操作类指令；执行装置，用于基于所述指令，启动目标应用并自动地执行用以实现所述指令的一系列操作；以及覆盖页面生成装置，用于生成一覆盖页面，以覆盖所述目标应用的至少部分显示界面。在根据本专利技术的模拟操控方法和便携式终端中，通过将覆盖页面覆盖所述目标应用的至少部分显示界面，能够规范化、统一化模拟操作的UI界面，避免出现操控不同应用时的UI混乱不一的情况。另外，通过友好稳定的UI展示界面，完成模拟操控的过程，能够避免眼花缭乱的不适感，给用户提供更美观的视觉感受。并且，能够避免用户在模拟操作过程中误触屏幕所导致的处理终止。此外，通过将覆盖页面设置为部分透明或者在覆盖页面上显示进度状态和结果，能够使用户在模拟操控过程中，实时地了解到实际执行的进度状态和结果，避免用户对实时状态的盲目感以及对执行结果是否成功的盲目感。附图说明图1是图示根据本专利技术的第一实施例的模拟操控方法的过程的流程图；图2是图示根据本专利技术的第二实施例的模拟操控方法的过程的流程图；图3是图示根据本专利技术的第三实施例的模拟操控方法的过程的流程图；图4是图示根据本专利技术的第一实施例的便携式终端的配置的功能性框图；图5是图示根据本专利技术的第二实施例的便携式终端的配置的功能性框图；以及图6是图示根据本专利技术的第三实施例的便携式终端的配置的功能性框图。具体实施方式下面将参照附图对本专利技术的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本专利技术的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本专利技术的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。首先，将参照图1描述根据本专利技术的第一实施例的模拟操控方法。如图1所示，模拟操控方法包括以下步骤。首先，在步骤S101，接收来自用户的语音输入。然后，在步骤S102，识别所述语音输入，并获得相应的模拟操作类指令，例如，给小明发五块钱的微信红包。接下来，在步骤S103，基于所述指令，启动目标应用，例如微信应用。当然，用户的语音输入所对应的目标应用也可能存在不止一个的情况。然后，在步骤S104，生成一覆盖页面，以覆盖所述目标应用的至少部分显示界面。所述覆盖页面为覆盖在其他应用和界面之上的UI界面，该UI界面成为用户的可见界面。在模拟操控的过程中，该覆盖页面始终稳定地显示在其他跳转页面的上方。从而，通过根据本专利技术的第一实施例的模拟操控方法，可规范化、统一化模拟操控的覆盖页面，避免出现操控不同应用时的UI界面混乱不一的情况。通过友好稳定的覆盖页面，完成模拟操控的过程，避免眼花缭乱的不适感，给用户提供更美观的视觉感受。另外，由于用户不能通过点击覆盖页面来操作所覆盖的其他应用和界面，因此通过该覆盖页面，还可避免用户在模拟操控过程中误触屏幕所导致的处理终止。这里，所述覆盖页面可以是不透明的，从而能够将用户与频繁、快速却又视觉可见的UI变化完全隔绝开，避免不适感。或者，可替代地，所述覆盖页面也可以是部分透明的。这种部分透明的覆盖页面能够很大地缓解眼花缭乱的不适感，同时用户还能够直观地看到页面跳转的过程，从而了解到模拟操控过程的执行状态和进度。例如，覆盖页面可以是当前操作界面的截屏图像。这样做的目的在于，在避免视觉不适感和用户误触屏幕所导致的处理终止的同时，还能够使得用户了解当前模拟操控进程。当然，如果截屏频率较高，则用户的视觉不适感会增加，而只能实现避免误触的技术效果。因此，更优选地，可以将截屏频率设置得较低，从而能在一定程度上避免眼花缭乱，同时达到用户了解处理进程和避免误操作的效果。又如，覆盖页面可以只覆盖应用界面上的输入区域，以避免误操作。再如，也可以基于当前执行的不同的应用来自动适配不同的覆盖页面。并且，当执行不同的应用时，也可以调整覆盖页面的透明程度。或者，也可以在覆盖界面上显示不同的图像或文字信息，或者声音信息。然后，在步骤S105，自动地执行用以实现所述指令的一系列操作。例如，在与用户的语音指令对应的模拟操控涉及中间信息的输入的情况下，所述模拟操控方法将需要确定中间输入信息。因此，自动地执行用以实现所述指令的一系列操作的步骤S105还可以进一步包括：获取所述目标应用中的输入区域；分析所述接收到的语音输入，并判断其中是否包含输入信息。当所述语音输入中包含输入到对应输入区域的输入信息时，即当用户输入“给小明发五块钱的微信红包”的语音的指令时，提取其中包含的输入信息(五块钱)，并将提取出的输入信息输入到对应的输入区域，并执行后续操作。另一方面，当所述语音输入中不包含输入到对应输入区域的输入信息时，例如，当用户输入“给小明发微信红包”的语音指令时，输出语音信息，以提示用户当前流程需要进行中间输入。例如，在覆盖页面状态时，VA可以通过TTS(TextToSpeech)方式提示用户当前流程需要中间输入(请说红包金额)。在TTS提示用户后，自动启动ASR(AutomaticSpeechRecognition本文档来自技高网...

【技术保护点】
1.一种模拟操控方法，包括：接收来自用户的语音输入；识别所述语音输入，并获得相应的模拟操作类指令；基于所述指令，启动目标应用；生成一覆盖页面，以覆盖所述目标应用的至少部分显示界面；以及自动地执行用以实现所述指令的一系列操作。

【技术特征摘要】
1.一种模拟操控方法，包括：接收来自用户的语音输入；识别所述语音输入，并获得相应的模拟操作类指令；基于所述指令，启动目标应用；生成一覆盖页面，以覆盖所述目标应用的至少部分显示界面；以及自动地执行用以实现所述指令的一系列操作。2.根据权利要求1所述的模拟操控方法，进一步包括：确定所述一系列操作的实时状态；以及将所述实时状态显示在所述覆盖页面上。3.根据权利要求2所述的模拟操控方法，其中所述实时状态至少包括以下之一：当前操作的目标应用信息、当前实时操作进度、多轮交互中间输入流程状态和最终操作结果。4.根据权利要求1所述的模拟操控方法，其中自动地执行用以实现所述指令的一系列操作的步骤进一步包括：获取所述目标应用中的输入区域；分析所述接收到的语音输入，并提取其中包含的输入信息；以及将提取出的输入信息输入到对应的输入区域，并执行后续操作。5.根据权利要求4所述的模拟操控方法，其中自动地执行用以实现所述指令的一系列操作的步骤进一步包括：当所述语音输入中不包含输入到对应输入区域的输入信息时，输出语音信息，以提示用户当前流程需要进行中间输入。6.一种便携式终端，包括：语音输入装置，...

【专利技术属性】
技术研发人员：徐培来，陈实，张传良，汪俊杰，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京,11