用于合并异步数据源的系统和方法技术方案

计算系统识别比赛的广播视频数据。所述计算系统使用计算机视觉技术从所述广播视频数据生成比赛的跟踪数据。所述跟踪数据包括比赛期间球员的坐标。所述计算系统通过将一个或更多个光学字符识别技术应用于多个帧中的每一个帧来从所述广播视频数据生成比赛的光学字符识别数据，以从每一个帧中显示的记分板提取分数和时间信息。所述计算系统通过将一个或更多个机器学习技术应用于跟踪数据来检测比赛中发生的多个事件。所述计算系统接收比赛的实况报道数据。所述计算系统生成丰富跟踪数据。所述生成包括将所述实况报道数据与所述跟踪数据、所述光学字符识别数据和多个事件中的一个或更多个合并。个或更多个合并。个或更多个合并。

【技术实现步骤摘要】
【国外来华专利技术】用于合并异步数据源的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年10月1日提交的美国临时申请序列号63/086,377的优先权，其全部内容通过引用合并于此。


[0003]本申请通常涉及一种用于合并异步数据源以生成丰富跟踪数据的系统和方法。

技术介绍

[0004]随着数据的激增，运动队、评论员和粉丝们都对识别和分类整个比赛或跨越赛季发生的事件更感兴趣。虽然公司开发的模型被配置为生成各种预测和指标，但那些预测和指标的准确性取决于训练模型所依据的数据的准确性。虽然计算机视觉技术为生成这样的数据提供了足够的第一步，但仅靠计算机视觉技术不足以实现获得高度优化的模型和结果所需的准确性。

技术实现思路

[0005]在一些实施例中，本文公开了一种方法。一种计算系统识别比赛的广播视频数据。该广播视频数据包括多个帧。计算系统使用一个或更多个计算机视觉技术从广播视频数据生成比赛的跟踪数据。该跟踪数据包括比赛期间球员的坐标。计算系统通过将一个或更多个光学字符识别(optical character recognition，OCR)技术应用于多个帧中的每一个帧来从广播视频数据生成比赛的光学字符识别数据，以从显示在每一个帧中的记分板提取分数和时间信息。计算系统通过将一个或更多个机器学习技术应用于跟踪数据来检测比赛中发生的多个事件。计算系统接收该比赛的实况报道数据。该实况报道数据具有与广播视频数据不同的源类型。计算系统生成丰富跟踪数据。该生成包括将实况报道数据与跟踪数据、光学字符识别数据和多个事件中的一个或更多个合并。
[0006]在一些实施例中，本文公开了一种非暂时性计算机可读介质。非暂时性计算机可读介质包括一个或更多个指令序列，当一个或更多个指令序列由处理器执行时，使计算系统执行操作。该操作包括由计算系统识别比赛的广播视频数据。该广播视频数据包括多个帧。该操作还包括由计算系统使用一个或更多个计算机视觉技术从广播视频数据生成比赛的跟踪数据。该跟踪数据包括比赛期间球员的坐标。该操作还包括由计算系统通过将一个或更多个光学字符识别技术应用于多个帧中的每一个帧来从广播视频数据生成比赛的光学字符识别数据，以从显示在每一个帧中的记分板提取分数和时间信息。该操作还包括由计算系统通过将一个或更多个机器学习技术应用于跟踪数据来检测比赛中发生的多个事件。该操作进一步包括由计算系统接收比赛的实况报道数据。该实况报道数据具有与广播视频数据不同的源类型。该操作进一步包括由计算系统生成丰富跟踪数据。该生成包括将实况报道数据与跟踪数据、光学字符识别数据和多个事件中的一个或更多个合并。
[0007]在一些实施例中，本文公开了一种系统。该系统包括处理器和存储器。存储器具有
存储在其上的编程指令，当编程指令由处理器执行时，使系统执行操作。该操作包括识别比赛的广播视频数据。该广播视频数据包括多个帧。该操作还包括使用一个或更多个计算机视觉技术从广播视频数据生成比赛的跟踪数据。该跟踪数据包括比赛期间球员的坐标。该操作还包括通过将一个或更多个光学字符识别技术应用于多个帧中的每一个帧来从广播视频数据生成比赛的光学字符识别数据，以从显示在每一个帧中的记分板提取分数和时间信息。该操作还包括通过将一个或更多个机器学习技术应用于跟踪数据来检测比赛中发生的多个事件。该操作进一步包括接收比赛的实况报道数据。该实况报道数据具有与广播视频数据不同的源类型。该操作进一步包括生成丰富跟踪数据。该生成包括将实况报道数据与跟踪数据、光学字符识别数据和多个事件中的一个或更多个合并。
附图说明
[0008]为了能够详细理解本公开的上述特征，可以参照实施例对以上简要概述的本公开进行更具体的描述，其中一些实施例在附图中示出。然而，要注意的是，附图仅示出了本公开的典型实施例，因此不应被认为是对本公开范围的限制，因为本公开可以允许其他同等有效的实施例。
[0009]图1是示出根据示例实施例的计算环境的框图。
[0010]图2是示出根据示例实施例的图1的计算系统的跟踪数据系统的框图。
[0011]图3是示出根据示例实施例的合并异步数据源的方法的流程图。
[0012]图4A是示出根据示例实施例的计算设备的框图。
[0013]图4B是示出根据示例实施例的计算设备的框图。
[0014]为了便于理解，在可能的情况下，使用了相同的附图标记来表示附图中常见的相同元件。可以设想，在一个实施例中公开的元件可以有益地用于其他实施例，而无需具体说明。
具体实施方式
[0015]几乎在每一项运动中，裁判员/裁判都是成功的事件结果的最终决策者。例如，在篮球比赛中，由裁判确定投篮是两分投篮还是三分投篮(或者是有效的—确实发生了走步或防守/进攻犯规)。在足球比赛中，是否允许进球(即，球是否过了线，或者在预备赛中是否没有发生犯规以及是否需要由视频助理裁判(Video Assistant Referee,VAR)修改)也由裁判员决定。因此，为了捕获这些数据点，人们通常必须手动注释这些点，因为他们必须等待裁判员/裁判的最终裁定。尽管这个过程是必要的，但就捕获事件发生的精确时刻(即，帧级)而言，捕获这些事件的帧级精度的准确性是极不准确的。例如，在大学篮球比赛中，捕获事件精确时刻的精度通常是几秒钟(有时由于人为错误而是几分钟)，这对于数据的任何下游分析来说都是次优的。
[0016]最近，随着计算机视觉技术的出现，已经能够实现获得事件的帧级精确计时。尽管如此，还是需要人工生成的事件结果，但为了最小化与“人工干预”相关联的噪声，例如美国职业篮球联赛(National Basketball Association,NBA)等联盟对人工生成的注释有非常严格的要求，以便能够易于与计算机视觉数据合并。为了便于实现这一点，计算机视觉系统通常连接到现场记分板(具有时钟信息)，并且生成内容的人在场地内并将数据输入到记分
板中。
[0017]然而，对于从广播流捕获跟踪数据和时钟数据以及生成人为事件的人是远程的并且经由另一广播流输入数据(并且经常在事件定时和结果两方面生成不精确的数据)的情况，合并和生成帧级精确的事件数据是非常具有挑战性的。本文提供的一个或更多个技术通过提供一种用于合并异步数据源的方法来改进传统系统。
[0018]图1是示出根据示例实施例的计算环境100的框图。计算环境100可以包括跟踪系统102、组织计算系统104以及经由网络105进行通信的一个或更多个客户端设备108。
[0019]网络105可以是任何合适的类型，包括经由因特网(例如蜂窝或Wi
‑
Fi网络)的单独连接。在一些实施例中，网络105可以使用诸如射频识别(radio frequency identification，RFID)、近场通信(near
‑
field communication，NFC)、蓝牙
TM
、低能耗蓝牙
TM
(BLE)、Wi
‑...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由计算系统识别比赛的广播视频数据，其中，所述广播视频数据包括多个帧；由所述计算系统使用一个或更多个计算机视觉技术从所述广播视频数据生成所述比赛的跟踪数据，其中，所述跟踪数据包括所述比赛期间球员的坐标；由所述计算系统通过将一个或更多个光学字符识别技术应用于所述多个帧中的每一个帧来从所述广播视频数据生成所述比赛的光学字符识别数据，以从在每一个帧中显示的记分板提取分数和时间信息；由所述计算系统通过将一个或更多个机器学习技术应用于所述跟踪数据来检测在所述比赛中发生的多个事件；由所述计算系统接收所述比赛的实况报道数据，其中，所述实况报道数据具有与所述广播视频数据不同的源类型；以及由所述计算系统生成丰富跟踪数据，所述生成包括将所述实况报道数据与所述跟踪数据、所述光学字符识别数据和所述多个事件中的一个或更多个合并。2.根据权利要求1所述的方法，进一步包括：在生成所述跟踪数据之前，将所述实况报道数据与所述广播视频数据合并。3.根据权利要求1所述的方法，其中，所述由所述计算系统生成所述丰富跟踪数据包括：基于所述实况报道数据中的信息来校正所述跟踪数据或所述多个事件中的错误输出。4.根据权利要求1所述的方法，其中，所述由所述计算系统生成所述丰富跟踪数据包括：将所述跟踪数据分割成多个回合；以及基于所述跟踪数据和所述多个事件中的至少一个，将所述实况报道数据的部分与所述多个回合相匹配。5.根据权利要求1所述的方法，其中，所述由所述计算系统生成所述丰富跟踪数据包括：细化相应广播视频的每一个帧中的球员精度和球精度。6.根据权利要求1所述的方法，其中，所述由所述计算系统生成所述丰富跟踪数据包括：经由神经网络自动检测相应广播视频的每一个帧中的事件。7.根据权利要求6所述的方法，进一步包括：利用背景信息增强所检测到的事件，所述背景信息包括防守对位信息。8.根据权利要求7所述的方法，进一步包括：针对每一个防守对位生成影响分数，其中，所述影响分数捕获防守者对相应防守对位的影响。9.一种非暂时性计算机可读介质，包括一个或更多个指令序列，所述一个或更多个指令序列在由处理器执行时使计算系统执行操作，所述操作包括：由所述计算系统识别比赛的广播视频数据，其中，所述广播视频数据包括多个帧；由所述计算系统使用一个或更多个计算机视觉技术从所述广播视频数据生成所述比赛的跟踪数据，其中，所述跟踪数据包括所述比赛期间球员的坐标；
由所述计算系统通过将一个或更多个光学字符识别技术应用于所述多个帧中的每一个帧来从所述广播视频数据生成所述比赛的光学字符识别数据，以从在每一个帧中显示的记分板提取分数和时间信息；由所述计算系统通过将一个或更多个机器学习技术应用于所述跟踪数据来检测在所述比赛中发生的多个事件；由所述计算系统接收所述比赛的实况报道数据，其中，所述实况报道数据具有与所述广播视频数据不同的源类型；以及由所述计算系统生成丰富跟踪数...

【专利技术属性】
技术研发人员：亚历克斯，
申请(专利权)人：斯塔特斯公司，
类型：发明
国别省市：