触摸屏上显示的可操作内容制造技术

一些实施方式可以在触摸屏显示器上呈现包括视频的媒体文件。可以检测在触摸屏显示器上执行的用户手势。该用户手势可以包括下面中的一种：点击手势、滑动手势、或者“点击并按住以及在按住同时进行拖动”的手势。可以确定由用户手势所选定的文本。可以至少部分地基于由用户手势所选定的文本自动地执行一个或多个后续动作。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】触摸屏上显示的可操作内容
技术介绍
当用户观看诸如视频文件、流视频、文档、网页等等之类的媒体文件时，用户可能 期望获得关于该媒体文件所显示的文本的信息。例如，正在观看对技术主题的呈现 (presentation)的用户，可能期望获得与该呈现的作者之一或者与该技术主题相关联的信 息。用户可W暂停对该媒体文件的观看，打开网络浏览器，导航到捜索引擎，使用作者的名 字或者该技术主题中的关键词来执行捜索，查看结果，并选择在结果中显示的一个或多个 链接W获得更多的信息。在用户获得该信息之后，用户可W继续观看该媒体文件。每当用户 期望获得关于由媒体文件所显示的文本的信息时，用户都可W反复地暂停对该媒体文件的 观看。但是，每当用户期望获得关于媒体文件所显示的文本的信息时都反复地暂停对该媒 体文件的观看可能是耗时的，并且/或者可能中断经由该媒体文件所呈现的材料的流。
技术实现思路
提供本概要部分W便用简化的形式介绍将在W下的详细描述中进一步描述的概 念选择。本概要部分并不是旨在标识本专利技术的关键特征或本质特征，也不是要用来确定或 者限制所要求保护的主题的范围。 -些实施方式可W在触摸屏显示器上呈现包括视频的媒体文件。可W检测在触摸 屏显示器上执行的用户手势。该用户手势可W包括下面中的一种：点击（tap)手势、滑动 (swipe)手势、或者点击并按住化old) W及在按住同时进行拖动的手势。可W确定由用户手 势所选定的文本。可W至少部分地基于由用户手势所选定的文本，自动地执行一个或多个 后续动作。【附图说明】 参照附图描述了【具体实施方式】。在运些附图中，附图标记的最左数位标识该附图 识别第一次出现时的附图。不同附图中的相同附图标记指示相似或相同的项。 图1是根据一些实施方式，包括后续动作模块的示例性架构。 图2是根据一些实施方式，具有用于示出接收点击手势的触摸屏显示器用户界面 的示例性计算设备。 图3是根据一些实施方式，具有用于示出接收滑动手势的触摸屏显示器用户界面 的示例性计算设备。[000引图4是根据一些实施方式，具有用于示出接收"点击并按住"手势的触摸屏显示器 用户界面的示例性计算设备。图5是根据一些实施方式，包括检测点击手势或者滑动手势的示例性过程的流程 图。图6是根据一些实施方式，包括检测"点击并按化'手势的示例性过程的流程图。图7是根据一些实施方式的示例性计算设备和环境的框图。【具体实施方式】 如上文所讨论的，每当用户期望获得关于媒体文件所显示的文本的信息时都反复 地暂停对该媒体文件的观看，可能是耗时的，并且/或者可能中断经由该媒体文件所呈现的 材料的流。本文所描述的系统和技术可W使得能够：响应于在对包括文本的媒体进行显示 的触摸屏上检测到用户手势，自动地执行不同的动作。用户手势可W使用诸如下面的手势 来选择由媒体所显示的文本：点击触摸屏的一部分(其中显示有词语）；滑动触摸屏的一部 分(其中显示有两个或更多词语）；或者点击并按住触摸屏的第一部分，随后在触摸屏的第 二部分上拖动（同时按住）。后一手势还可W称为：点击并按住，W及在按住的同时进行拖 动。可W使用各种技术来执行本文所描述的手势，所述各种技术包括:使用用户的肢体的至 少一部分(例如，指尖），使用选择工具(例如，手写笔），使用多触摸(例如，指尖和拇指，或者 两个指尖)手势、非触摸手势(例如，诸如Microsoft的Kinec備之类的相机所识别的手势）、 触摸加语音命令(例如，触摸一个词语，随后说"捜索"或"翻译"）、另一种类型的输入机制、 或者上述技术的任意组合。 用户可W在具有触摸屏显示器的计算设备上观看媒体文件。例如，该计算设备可 W包括台式计算机、膝上计算机、平板计算机、移动电话、游戏设备、媒体回放设备或者其它 类型的计算设备。该媒体文件可W是视频(例如，视频文件或者流视频）、音频文件(其使得 显示文本(例如，与该音频文件相关联的信息，比如标题、艺术家信息、歌词等等）、文档、图 像文件(例如，图片、照片或者计算机生成的图像）、网络浏览器显示的页面、另一种类型的 媒体文件或者其任意组合。用户可W在与触摸屏上的一个位置(其中文本被媒体文件显示 在该位置)近似对应的位置，在该触摸屏上执行用户手势。 点击手势指的是向触摸屏的一部分施加一段预定时间的压力（例如，在200和800 毫秒之间）。滑动手势指的是从触摸屏的起始位置到结束位置施加压力。"点击并按住W及 在按住同时进行拖动"的手势，指的是在起始位置处施加一段预定时间的压力，同时继续施 加压力，将压力的位置移动到触摸屏的结束位置。对于显示多个帖或页面的媒体文件来说， "点击并按住W及在按住同时进行拖动"的手势可覆盖多个帖或页面。例如，在起始位置点 击并按住，可造成视频回放被暂停。在继续施加压力的同时（例如，在按住的同时），将压力 的位置拖动(例如，移动)到结束位置可造成暂停的媒体前进(例如，视频可前进到一个或多 个接下来的帖，或者文档可前进到一个或多个接下来的页面）。W此方式，"点击并按住W及 在按住同时进行拖动"的手势可W从可使用多个视频帖、多个文档页等等被显示的媒体文 件中选择文本。当正在显示包括文本的视频时，"点击并按住W及在按住同时进行拖动"的 手势可跨越（span)视频的一个W上的帖，W从一个W上的视频帖中选择文本。当正在显示 具有多个文本页面的文档时，"点击并按住W及在按住同时进行拖动"的手势可跨越文档的 一个W上的页面，W从该文档的一个W上的页面中选择文本。 响应于检测到用户手势(例如，点击、滑动或者点击并按住从及在按住同时进行拖 动），可W对一个或多个屏幕进行捕获，W在执行该手势时捕获在触摸屏上显示的媒体文件 的一部分。例如，当显示文档时，在执行用户手势时所显示的文本可W被捕获到。再举一个 例子，当显示视频时，可W使用帖抓取器来捕获该视频的一个或多个帖。 可W确定与用户手势相关联的位置信息。例如，对于点击手势而言，可W确定触摸 屏上的与点击手势相关联的坐标(例如，X和y坐标）。对于滑动手势而言，可W确定与滑动手 势相关联的起始坐标和结束坐标。对于"点击并按住W及在按住同时进行拖动"的手势而 言，可W确定对于每一个帖、页面或者其它类型的显示单元的起始坐标和结束坐标。如果在 执行用户手势时，正在显示包括时间信息的视频文件、音频文件或其它类型的文件，则除了 位置信息之外还可W确定与该用户手势相关联的时间信息(例如，时间戳或时间码）。例如， 当在触摸屏显示器上显示视频文件时，执行了点击手势或者滑动手势，则可W确定与该用 户手势相关联的位置信息和时间信息。为了说明，该时间信息可W包括与用户手势相关联 的起始时间（例如，第一时间码，标识发起该用户手势的时间）、与用户手势相关联的结束时 间（例如，第二时间码，标识结束该用户手势的时间）、与用户手势相关联的另一种类型的时 间信息、或者上述各项的任意组合。 可W通过使用高效的用户意图引导文本提取算法，基于与用户手势相关联的位置 信息，来从(一个或多个)屏幕捕获中提取文本图像补下。所提取的文本图像可W使用光学 字符识别(OCR)或者类似的文本提取技术来确定所选定的文本。例如，响应于点击手势，可 W从屏幕捕获中提取词语。所提取的词语可本文档来自技高网...

【技术保护点】
一种方法，包括：在配置有指令的一个或多个处理器的控制下执行行动，所述指令可由所述一个或多个处理器执行，所述行动包括：发起媒体文件在触摸屏显示器上的呈现，所述媒体文件包括视频；检测在所述触摸屏显示器上执行的用户手势；确定由所述用户手势所选定的文本；以及至少部分地基于由所述用户手势所选定的文本，自动地执行一个或多个后续动作。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：白鹏，J·杜，霍强，L·孙，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US