从视频中提取结构化数据制造技术

基于web的物品列表平台提供用户可以创建或搜索的物品列表。可以使用在捕获物品的物品列表视频时提取的结构化信息来生成物品列表。在物品列表视频的创建期间，向用户提供输入提示，其使得移动设备提供输入请求，例如拍摄物品的特定特征的图像或提供一些其他物品描述信息。在物品列表视频期间，也可以采用图像识别模型来确定其他物品描述信息，例如颜色、品牌等。可以通过填充与物品描述类型相关联的结构化数据元素集合来从物品列表视频中生成物品列表。每个结构化数据元素被填充有对应于相关联的物品描述类型的物品描述信息。关联的物品描述类型的物品描述信息。关联的物品描述类型的物品描述信息。

【技术实现步骤摘要】
从视频中提取结构化数据


[0001]本申请涉及计算机
，具体涉及从视频中提取结构化数据。

技术介绍

[0002]一些网站允许用户上载可以由其他web用户搜索和识别的内容。例如，电子商务市场允许用户上载用于销售的物品，而流传输平台允许用户上载可以由其他web用户流传输或下载的内容(包括视频)。社交媒体平台允许用户上载供其他web用户查看的内容。
[0003]用户通过将内容上载到网站上所获得的部分益处是其允许其他用户找到他们的内容。为了帮助识别web上的内容，许多网站试图标准化与上载内容相关联的数据。在没有标准数据的情况下，上载内容可能将包括丢失或不正确的信息，从而使其他web用户可能无法找到或识别该内容。因此，结构化数据可以是允许用户通过提供用户能够用来识别上载内容的机制而有效地使用网站的重要工具。

技术实现思路

[0004]在高层面上，本技术涉及使用视频来提取结构化数据。具体地，用户希望将诸如物品之类的内容上载到网站，使得其他web用户可以识别所上载的物品。
[0005]因此，网站提供了一种使用移动设备的相机来提取与物品相关的结构化数据并且根据已经提取的结构化数据生成物品列表的物品列表过程。
[0006]该物品列表过程使用移动设备的相机捕获物品的物品列表视频。基于该物品，可以选择结构化数据元素集合。相机被激活以开始拍摄物品的物品列表视频。当相机活动时，向移动设备提供输入提示，移动设备显示或发出有声的对应于结构化数据元素之一的输入请求。基于该输入请求，从移动设备接收输入。例如，输入请求可以包括将物品定向在特定方向上的指令，例如定向物品以使得相机看到物品的正面。一旦定向在正确的方向上，相机就拍摄物品的静止图像。
[0007]在对移动设备进行输入(例如，拍摄静止图像的命令)之后，该输入被用于填充结构化数据元素以及生成物品列表。可以在移动设备处提供各种类型的输入请求(包括视频请求、对在移动设备处进行有声输入的音频请求以及激活移动设备的三维扫描仪来确定物品大小的尺寸请求)，并且可以使用移动设备作为响应而接收的输入来填充物品列表。以这种方式，结构化数据元素集合被填充以生成物品列表。这可以帮助使其他用户能够找到网站上的物品。
[0008]本
技术实现思路
旨在以简化的形式介绍在本公开的具体实施方式部分中进一步描述的概念的选择。本
技术实现思路
不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。本技术的其他目的、优点和新颖特征将部分地在随后的描述中阐述，并且部分地对于本领域技术人员而言在检查本公开或通过实践本技术而获知时将变得显而易见。
附图说明
[0009]下面参考附图详细地描述本技术，其中：
[0010]图1是根据本文描述的一个方面的适合于采用本技术的示例操作环境的框图；
[0011]图2是根据本文描述的一个方面的示例视频提取和物品列表引擎的框图；
[0012]图3是根据本文描述的一个方面的包括结构化数据元素的示例物品列表；
[0013]图4A
‑
D示出了根据本文描述的方面的适合于生成物品列表的一系列输入请求和输入；
[0014]图5是根据本文描述的一个方面的包括填充后的结构化数据元素的示例物品列表；
[0015]图6
‑
8是根据本文描述的方面的可以使用图2的视频提取和物品列表引擎来执行的示例方法的框图；以及
[0016]图9是根据本文描述的一个方面的适合于实现所描述的技术的方面的示例计算设备。
具体实施方式
[0017]当试图在线识别诸如物品之类的内容时，如果物品没有以某种结构化格式描述，则识别该物品可能是有挑战性的，并且有时是不可能的。此外，对于网站，当物品没有使用结构化信息描述时，存储和检索物品并且将这些物品提供给用户是有挑战性的。一般而言，虽然人类可能能够理解搜索请求并且识别以非结构化格式描述的物品，但是计算机通常不能没有专门的上下文搜索算法。即使如此，信息的检索在上下文中仍然是受限的。相反，当以结构化格式描述物品时，计算机可以在接收到对该信息的搜索请求时容易地识别、检索并且向用户提供该信息。
[0018]然而，很多时候，当网站允许用户上载物品时，用户所提供的信息不是以标准化格式接收的。为了解决这个问题，许多网站将向用户呈现用于上载其物品的工作流。这些工作流并不总是对该问题的完美解决方案。例如，不知道某些信息的用户可能无法继续该处理并且上载其物品。用户也可能会做出不正确的响应，并且因此，计算机索引错误的信息，使得可能在具有特定数据参数的搜索中找不到物品。此外，该处理需要用户的多个输入来收集正确格式的所有信息，使得该处理低效且繁琐。
[0019]本公开所描述的技术通过将使用视频提取结构化数据作为生成物品的物品列表的物品列表处理的一部分来减少或消除许多这样的问题。一般而言，相机可以用于提取结构化数据，例如物品的特定定向的图像、物品颜色、物品状况等。机器学习可以用于识别这些描述类型并且从物品的视频中确定这样的物品信息。这减少了用户所需的输入的数量并且增加了响应的准确性。
[0020]此外，为了增强设备捕获与物品相关的结构化数据的能力，可以向用户提供输入提示以将用户的活动导向包括所需结构化信息的特定输入响应。这使得系统更有可能在非视频工作流期间相对于向用户请求结构化信息而捕获正确信息。进而，该信息可能被适当地索引并且可用于调用，从而使其他用户能够找到和查看该物品。此外，可以在视频期间提供所有提示，这也减少了物品列表所需的用户输入量。
[0021]实现这些益处的一种合适的方法开始于启动视频捕获过程以激活移动设备的相
机。该视频捕获过程可以包括移动设备的代码，其启动相机应用并且允许用户查看或采用由相机捕获的图像。相机可以用于捕获物品列表视频。物品列表视频可以是由相机拍摄的用户希望在可能包括来自第三方用户的多个物品列表的基于web的物品列表平台上列出的物品的实况或保存的图像。相机可以被激活作为该平台可以提供的物品列表过程的一部分，使得用户可以通过简单的视频处理容易地创建物品列表。
[0022]基于web的物品列表平台可以定义结构化数据元素集合。这可能会针对每个物品、每个物品类别或针对所有物品来完成。以这种方式，可能会对该结构化数据元素集合进行定制以收集物品的最相关信息，因为不同的物品可能对于用户具有不同的相关信息。该结构化数据元素集合可以是与物品描述类型相关联的可填充字段集合。例如，一个结构化数据元素可以与物品描述类型“标题”相关联。另一个结构化数据元素可能会与物品描述类型“品牌”等相关联。以相同的方式，可以对物品列表进行索引，使得可以基于诸如品牌和标题之类的物品描述类型来调用物品列表。其中，一些另外的示例物品描述类型包括大小、销售方式、价格、状况、颜色和装运位置。
[0023]为了在物品列表视频期间收集最相关的信息(例如，由物品的物品描述类型所表示的信息)，可以提示用户进行特定的输入，例如物品在特定定向处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于使用视频来提取结构化数据的计算机实现的方法，所述方法包括：启动视频捕获过程以激活移动设备的相机来捕获物品的物品列表视频，所述视频捕获过程作为用于在基于web的物品列表平台处列出所述物品的物品列表过程的一部分而被启动，其中，所述物品通过所述物品列表平台的物品列表使用结构化数据元素集合来描述，每个结构化数据元素与物品描述类型相关联；通过采用图像识别模型来识别所述物品的物品特征，所述图像识别模型被配置为根据所述物品列表视频输出所述物品特征；以及通过使用从所述图像识别模型中识别的物品特征填充所述结构化数据元素集合中的结构化数据元素来生成用于所述物品列表平台的所述物品列表。2.根据权利要求1所述的方法，还包括：在所述移动设备的所述相机活动时提供视频输入提示，所述视频输入提示包括对应于所述结构化数据元素集合中的结构化数据元素并且请求所述物品相对于所述相机的特定物品定向的视频输入请求，所述视频输入提示基于所述图像识别模型识别特定物品特征而被启动。3.根据权利要求2所述的方法，还包括：检测所述物品的物品定向对应于所述视频输入请求的特定物品定向；以及响应于检测到所述物品的所述物品定向对应于所述视频输入请求的所述特定物品定向，启动图像捕获过程以捕获所述特定物品特征的静止图像，其中，所述静止图像用于在生成所述物品列表时填充所述结构化数据元素。4.根据权利要求1所述的方法，还包括：提供与请求特定物品特征的音频输入请求相关联的音频输入提示。5.根据权利要求4所述的方法，还包括：响应于所述音频输入请求检测包括所述特定物品特征的音频响应，其中，所述音频响应用于在生成所述物品列表时使用所述特定物品特征填充另一结构化数据元素。6.根据权利要求1所述的方法，还包括：作为所述视频捕获过程的一部分，启动所述移动设备的三维扫描仪；以及根据所述三维扫描仪的输出，确定所述物品的尺寸，其中，使用所述物品的尺寸填充另一结构化数据元素。7.根据权利要求1所述的方法，还包括：基于使用所述图像识别模型识别所述物品来选择所述结构化数据元素集合。8.一种用于使用视频来提取结构化数据的系统，所述系统包括：至少一个处理器；以及存储计算机可执行指令的计算机存储介质，所述计算机可执行指令当被执行时使所述至少一个处理器执行包括以下步骤的方法：启动视频捕获过程以激活移动设备的相机来捕获物品的物品列表视频，其中，所述物品通过基于web的物品列表平台的物品列表使用结构化数据元素集合来描述，每个结构化数据元素与物品描述类型相关联；通过采用图像识别模型来识别所述物品的物品特征，所述图像识别模型被配置为根据所述物品列表视频输出所述物品特征；以及通过使用由所述图像识别模型识别的物品特征填充所述结构化数据元素集合中的结
构化数据元素来生成用于所述物品列表平台的所述物品列表，所述物品特征对应于与所述结构化数据元素相关联的物品描述类型。9.根据权利要求8所述的系统，还包括：使用所...

【专利技术属性】
技术研发人员：瓦列里，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：