备忘提醒方法、装置、终端及存储介质制造方法及图纸

本申请实施例公开了一种备忘提醒方法、装置、终端及存储介质，属于人机交互技术领域。该方法包括：在存在备忘记录需求的情况下，获取备忘内容；基于备忘内容对应的内容模态，对备忘内容进行信息抽取，得到关键信息；对备忘内容以及关键信息进行关联存储；在基于关键信息确定满足备忘提醒触发条件的情况下，基于备忘内容进行备忘提醒。用户所需记忆信息往往是多内容模态的，本方案针对不同内容模态进行信息抽取并存储关键信息，在丰富了备忘内容的同时，提高了备忘提醒的效率及质量，有助于提升用户的备忘提醒交互体验。用户的备忘提醒交互体验。用户的备忘提醒交互体验。

【技术实现步骤摘要】
备忘提醒方法、装置、终端及存储介质


[0001]本申请实施例涉及人机交互
，特别涉及一种备忘提醒方法、装置、终端及存储介质。

技术介绍

[0002]随着社会发展，人们的工作生活日益丰富，进而需要处理的信息日益增加，随之带来了沉重的记忆任务，基于数字科学同样发展迅速，人们日渐习惯于利用智能终端强大的存储功能辅助记忆，提升工作生活效率。
[0003]在相关技术中，终端对用户输入的文本或是图像等进行备忘，备忘内容局限于单一模态，限制了用户进行的备忘的灵活性，影响了人机交互效率。

技术实现思路

[0004]本申请实施例提供了一种备忘提醒方法、装置、终端及存储介质。所述技术方案如下：
[0005]一方面，本申请实施例提供了一种备忘提醒方法，所述方法包括：
[0006]在存在备忘记录需求的情况下，获取备忘内容；
[0007]基于所述备忘内容对应的内容模态，对所述备忘内容进行信息抽取，得到关键信息，其中，不同内容模态下进行信息抽取的方式不同；
[0008]对所述备忘内容以及所述关键信息进行关联存储；
[0009]在基于所述关键信息确定满足备忘提醒触发条件的情况下，基于所述备忘内容进行备忘提醒。
[0010]另一方面，本申请实施例提供了一种备忘提醒装置，所述装置包括：
[0011]获取模块，用于在存在备忘记录需求的情况下，获取备忘内容；
[0012]信息抽取模块，用于基于所述备忘内容对应的内容模态，对所述备忘内容进行信息抽取，得到关键信息，其中，不同内容模态下进行信息抽取的方式不同；
[0013]存储模块，用于对所述备忘内容以及所述关键信息进行关联存储；
[0014]备忘提醒模块，用于在基于所述关键信息确定满足备忘提醒触发条件的情况下，基于所述备忘内容进行备忘提醒。
[0015]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一段程序，所述至少一段程序用于被所述处理器执行以实现如上述方面所述的备忘提醒方法。
[0016]另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一段程序，所述至少一段程序用于被处理器执行以实现如上述方面所述的备忘提醒方法。
[0017]另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可
读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的备忘提醒方法。
[0018]本申请实施例中，基于用户输入的备忘记录语音指令，终端通过多种传感器获取文本、视觉、听觉、情景信息、时空信息等多模态多维度信息构成备忘内容，在兼容多模态数据的同时，提高了备忘内容的丰富度。在获取到备忘内容的基础上，本申请实施例通过信息抽取确定备忘内容的意图类型，进而自动判断备忘提醒的触发方式，并在满足备忘提醒触发条件的情况下进行备忘提醒；本申请实施例扩展支持多模态信息的输入与输出，改良了帮助用户记忆的方式，进而提高了人机交互的效率和质量。
附图说明
[0019]图1示出了本申请一个示例性实施例提供的终端的结构方框图；
[0020]图2示出了本申请一个示例性实施例提供的备忘提醒方法的流程图；
[0021]图3示出了本申请一个示例性实施例示出的备忘提醒方法的示意图；
[0022]图4示出了本申请一个示例性实施例提供的主动获取备忘内容的示意图；
[0023]图5示出了本申请一个示例性实施例提供的获取主动触发备忘的示意图；
[0024]图6示出了本申请一个示例性实施例提供的获取被动触发备忘的示意图；
[0025]图7是本申请一个示例性的视觉模态备忘内容；
[0026]图8示出了本申请一个示例性实施例提供的主动触发提醒的示意图；
[0027]图9示出了本申请一个示例性实施例提供的被动触发提醒的流程图；
[0028]图10示出了本申请一个示例性实施例提供的结合时空信息备忘的示意图；
[0029]图11示出了本申请一个示例性实施例提供的获取扩展内容的示意图；
[0030]图12示出了本申请一个实施例提供的备忘提醒装置的结构框图。
具体实施方式
[0031]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0032]在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0033]为了方便理解，下面首先对本申请实施例中涉及的名词进行解释说明。
[0034]自然语言处理(Natural Language Processing，NLP)：是计算机科学，人工智能，语言学关注计算机和人类语言之间的相互作用的领域。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。通过自然语言处理，人们可以用自己最习惯的语言来使用计算机，而无需再花大量的时间和精力去学习不很自然和习惯的各种计算机语言；人们也可通过它进一步了解人类的语言能力和智能的机制。
[0035]请参考图1，其示出了本申请一个示例性实施例提供的终端的结构方框图。终端100可以包括一个或多个如下部件：处理器110、存储器120、显示屏130、麦克风140。
[0036]处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个终端100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行计算机设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural
‑
network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种备忘提醒方法，其特征在于，所述方法包括：在存在备忘记录需求的情况下，获取备忘内容；基于所述备忘内容对应的内容模态，对所述备忘内容进行信息抽取，得到关键信息，其中，不同内容模态下进行信息抽取的方式不同；对所述备忘内容以及所述关键信息进行关联存储；在基于所述关键信息确定满足备忘提醒触发条件的情况下，基于所述备忘内容进行备忘提醒。2.根据权利要求1所述的方法，其特征在于，所述基于所述备忘内容对应的内容模态，对所述备忘内容进行信息抽取，得到关键信息，包括：在所述备忘内容对应的所述内容模态包括文本模态的情况下，对所述备忘内容进行自然语言处理，得到文本关键信息；在所述备忘内容对应的所述内容模态包括视觉模态的情况下，对所述备忘内容进行图像识别处理，得到图像关键信息；在所述备忘内容对应的所述内容模态包括听觉模态的情况下，对所述备忘内容进行音频识别处理，得到音频关键信息。3.根据权利要求2所述的方法，其特征在于，所述对所述备忘内容进行自然语言处理，得到文本关键信息，包括如下至少一种方式：对所述备忘内容进行命名实体识别，得到实体信息；对所述备忘内容进行实体关系抽取，得到实体关系信息；对所述备忘内容进行主题摘要抽取，得到主题信息；对所述备忘内容进行文本意图识别，得到意图类型，所述意图类型用于表征进行备忘记录的意图；对所述备忘内容进行因果推断分析，得到触发方式信息，其中，触发方式包括主动触发和被动触发，且在所述触发方式信息指示的触发方式为主动触发的情况下，所述触发方式信息中包含主动触发条件。4.根据权利要求3所述的方法，其特征在于，所述关键信息包含所述文本关键信息，且所述文本关键信息中包含所述触发方式信息；所述在基于所述关键信息确定满足备忘提醒触发条件的情况下，基于所述备忘内容进行备忘提醒，包括：在所述触发方式信息指示的触发方式为主动触发，且满足所述主动触发条件的情况下，基于所述备忘内容进行主动备忘提醒；在所述触发方式信息指示的触发方式为被动触发的情况下，在所述关键信息与提醒指令匹配的情况下，基于所述备忘内容进行被动备忘提醒。5.根据权利要求2所述的方法，其特征在于，所述对所述备忘内容进行图像识别处理，得到图像关键信息，包括：在所述备忘内容为图片的情况下，对图片进行光学字符识别，得到图片文本；和/或，对图片进行图像自然语言描述处理，得到图片描述文本；在所述备忘内容为视频的情况下，对视频进行视频理解，得到视频描述文本；所述方法还包括：
对所述图片文本、所述图片描述文本以及所述视频描述文本中的至少一种进行自然语言处理，得到所述文本关键信息。6.根据权利要求2所述的方法，其特征在于，所述对所述备忘内容进行音频识别提取，得到音频关键信息，包括：对所述备忘内容进行自动语音识别，得到音频文本；和/或，对所述备忘内容进行音频特征提取，得到音频指纹；所述方法还包括：对所述音频文本进行自然语言处理，得到所述文本关键信息。7.根据权利要求1所述的方法，其特征在于，所述获取备忘内容之后，所述方法还包括：获取所述备忘内容对应的扩展内容；所述对所述备忘内容以及所述关键信息进行关联存储，包括：对所述备忘内容、所述关键信息以及所述扩展内容进行关联存储。8.根据权利要求7所述的方法，其特征在于，所述获取所述备忘内容对应的扩展内容，包括：在所述备忘内容的所述内容模态为文本模态，且所述关键信息的信息量小于信息量阈值的情况下，获取听觉扩展内容或视觉扩展内容中的至少一种；所述在基于所述关键信息确定满足备忘提醒触发条件的情况下，基于所述备忘内容进行备忘提醒，包括：在基于所述关键信息确定满足备忘提醒触发条件的情况下，基于所述备忘内容以及所述扩展内容进行备忘提醒。9.根据权利要求7所述的方法，其特征在于，所述获取所述备忘内容对应的扩展内...

【专利技术属性】
技术研发人员：曾理，王立中，米岚，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：