用于可扩展的异步计算架构的系统和方法技术方案

描述用于分布式数据处理方法的系统和方法，该分布式数据处理方法包含但不限于：由后端装置接收源数据；由后端装置将源数据分区为多个数据线程；由后端装置向多个用户装置中的每者发送多个数据线程中的至少一者；并由后端装置基于多个数据线程结果来确定源数据的工作成果，多个数据线程结果中的每者由多个用户装置中的一者基于多个数据线程中的至少一者来确定。

System and method for scalable asynchronous computing architecture

Describes a system and method for distributed data processing method, the distributed data processing methods including but not limited to: the back-end device receives the source data; by the back-end device will source data partition for multiple data thread; at least one of the back-end device to send multiple user devices in each of a plurality of data in a thread; and by the back-end device based on multiple data source data to determine the outcome of thread work, each of the plurality of data results in a thread of a plurality of user devices based on at least one of a plurality of data to determine the thread.

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求在2014年3月12日提交的美国临时专利申请No.61/952，055；以及在2014年11月10日提交的美国专利申请No.14/537,768的优先权，上述每个专利申请的全部内容通过引用并入本文。专利技术背景1.专利
各实施例大体涉及大规模的分布式计算架构，并且更具体地，涉及使用网络内可用的空闲核的可扩展异步计算架构。2.背景各种分布式计算架构已被开发出用以执行某些复杂(大规模的)的计算任务。此类分布式计算架构利用大量内核的处理能力来处理复杂的计算任务，它可能要求极大量的处理能力。具体地，复杂的计算任务可以被分布到多个内核以进行处理。虽然分布式计算架构已被用于某些复杂的计算任务，但是在计算任务极其复杂时，分布式计算架构可能遇到容量问题。在数据处理中心(例如，谷歌大脑)可包括有限数量的内核(例如，16,000个内核)的情况下，分布式计算架构的总处理能力受由数据处理中心支持的内核的数量的限制。公开概述本文所述的实施例涉及使用分布式计算架构的分布式数据处理。分布式计算架构可包含后端装置(例如，中心服务器)，其被提供用于将计算任务分区为多个块(例如，更小的具体任务)。后端装置可经由网络将每个块分布到一组用户装置中的一者。后端装置可基于与每个用户装置相关联的处理能力和网络状况来分布各块。分布式计算架构可被实施以解决需要极大量处理能力的很多计算任务。在非限制性实施例中，分布式计算架构可被实施用于3维空间成像、处理和显示过程。具体地，目标(3维)空间被分区为包含多个顶点。关于目标空间的数据(例如，图像数据、视频数据和/或类似物)由源装置(例如，照相机)采集。每个图像或视频帧可包含多个像素，每个像素可与多个顶点中的一者相关联。数据线程(它们中的一或多者可形成块)可由后端装置生成用于分布在各种用户装置之中，其中，每个数据线程可对应于关于顶点的数据(例如，像素数据)。每个用户装置可计算被分配给用户装置的数据线程的数据结果(例如，加权值)并将该数据结果回送至后端装置。后端装置可基于从用户装置接收到的多个数据结果来确定工作成果。接着后端装置可以存储工作成果，用于在用户装置上将来或实时显示(在工作成果对应于处理图像/视频时)。在一些实施例中，后端装置可能不能显示数据。后端装置可保持处理调度和数据位置。此类数据可被本地存储在后端装置或存储在远程数据存储中(例如，在网络内的另一节点中)。在一些实施例中，后端装置可向至少一些用户装置发送工作成果用于消费。在其它实施例中，工作成果可不被发送给用户装置。与后端装置或第三方相关联的实体可消费工作成果。在这些情况下，用户装置(或网络内的其它节点)可不接收局部或完整的工作成果。在具体实施例中，用户装置可基于与颜色、纹理、频率变换、小波变换、平均值、顶点的标准偏差相关的工作成果显示目标空间的3维投影(采用视频的形式)。在一些实施例中，处理源数据所需的用户装置的计数和数据处理可为动态的(例如，随着时间改变)。因此，在更多的用户装置变为可用时，分布式计算架构可增加规模，反之亦然。在各种实施例中，在阈值最少数量的用户装置未能实现以用于实时处理给定计算任务时，专用的用户装置可被添加以用于对抗计算任务。用于处理数据的方法，该方法包括但不限于：由后端装置接收源数据；由后端装置将源数据分区为多个数据线程；由后端装置向多个用户装置中的每者发送多个数据线程中的至少一者；并由后端装置基于多个数据线程结果来确定源数据的工作成果，多个数据线程结果中的每者由多个用户装置中的一者基于多个数据线程中的至少一者来确定。在一些实施例中，源数据为视频数据；以及数据工作包含视频数据帧的图像处理。根据一些实施例，将源数据分区为多个数据线程包含，基于与帧和多个区域相关联的元数据将帧分区为多个区域，多个区域中的每个区域对应于多个数据线程中的一者。在一些实施例中，将源数据分区为多个数据线程包含基于源数据的像素来分区源数据。根据各种实施例，帧为目标空间的图像。在一些实施例中，目标空间包含多个顶点；并且多个顶点中的每者对应于目标空间的3维部分。在一些实施例中，多个数据线程中的每者与多个顶点中的至少一者相关联；并且多个数据线程中的每者对应于帧的区域。在一些实施例中，数据线程结果中的每者通过确定与至少一种显示特性相关联的加权值来确定，至少一种显示特性与帧的区域相关联。在一些实施例中，显示特性至少包含与帧的区域相关联的颜色。在多个实施例中，帧采集多个顶点中的至少一些顶点。在各种实施例中，用户装置基于工作成果显示目标空间的3维投影。根据一些实施例，确定工作成果包含：由后端装置从多个用户装置接收多个数据线程结果；并基于所接收到的多个数据线程结果来确定数据工作的工作成果。在一些实施例中，发送多个数据线程中的至少一者包含：确定多个用户装置中的每者的至少一个处理能力和网络状况；并基于处理能力和网络状况中的至少一个来向多个用户装置中的每者来分配多个数据线程中的至少一者。在一些实施例中，权利要求的方法另外包括将源数据格式化为图形处理单元(GPU)兼容的格式，其中，多个数据线程结果中的每者由与多个用户装置中的每者相关联的至少一个GPU确定。在一些实施例中，GPU兼容的格式与着色器语言相关联。在各种实施例中，源数据被格式化为下列元素中的至少一者：几何形状、顶点、纹理、法线和用于着色器语言的代码。在一些实施例中，数据线程结果通过向用户装置的显示屏再现数据线程结果；并复制向显示屏再现的数据线程结果来确定。根据一些实施例，该方法另外包括，在已向与每个用户装置相关联的显示屏再现多个数据线程结果之后，由后端装置接收多个数据线程结果。用于处理数据的设备相对于各种实施例来描述，该设备包含但不限于：后端装置，该后端装置被配置成：接收源数据；将源数据分区为多个数据线程；向多个用户装置中的每者发送多个数据线程中的至少一者；基于多个数据线程结果来确定源数据的工作成果，多个数据线程结果中的每者由多个用户装置中的一者基于多个数据线程中的至少一者来确定；并向多个用户装置中的至少一者发送工作成果。各种实施例涉及存储程序指令的非暂态计算机可读存储介质，在该程序指令被执行时，促使处理器：接收源数据；将源数据分区为多个数据线程；向多个用户装置中的每者发送多个数据线程中的至少一者；基于多个数据线程结果来确定源数据的工作成果，多个数据线程结果中的每者由多个用户装置中的一者基于多个数据线程中的至少一者来确定；并向多个用户装置中的至少一者发送工作成果。附图简述图1为示出根据各种实施例的分布式计算架构的示例的示意性框图。图2为示出根据各种实施例的分布式数据处理方法的示例的处理流程图。图3A为示出根据各种实施例的目标空间的透视图的示意性框图。图3B为示出根据各种实施例的目标空间的前视图的示意性框图。图4A为示出根据各种实施例的数据线程的示例的示意性框图。图4B为示出根据各种实施例的线程结果的示例的示意性框图。图5为示出根据各种实施例的数据线程分配方法的示例的处理流程图。图6为示出根据各种实施例的数据线程分配和再分配图的示例的示意性框图。图7为示出在一些实施例中的管理界面的示例的屏幕。图8为示出根据各种实施例的数据处理方法的示例的处理流程图。图9为示出根据各种实施例本文档来自技高网...

【技术保护点】
一种用于处理数据的方法，所述方法包括：由后端装置接收源数据；由所述后端装置将所述源数据分区为多个数据线程；由所述后端装置向多个用户装置中的每者发送所述多个数据线程中的至少一者；并且由所述后端装置基于多个数据线程结果来确定所述源数据的工作成果，所述多个数据线程结果中的每者由所述多个用户装置中的一者基于所述多个数据线程中的所述至少一者确定。

【技术特征摘要】
【国外来华专利技术】2014.03.12 US 61/952,055;2014.11.10 US 14/537,7681.一种用于处理数据的方法，所述方法包括：由后端装置接收源数据；由所述后端装置将所述源数据分区为多个数据线程；由所述后端装置向多个用户装置中的每者发送所述多个数据线程中的至少一者；并且由所述后端装置基于多个数据线程结果来确定所述源数据的工作成果，所述多个数据线程结果中的每者由所述多个用户装置中的一者基于所述多个数据线程中的所述至少一者确定。2.根据权利要求1所述的方法，其中：所述源数据为视频数据；并且所述数据工作包括用于所述视频数据的帧的图像处理。3.根据权利要求2所述的方法，其中：将所述源数据分区为所述多个数据线程包括：基于与所述帧和多个区域相关联的元数据将所述帧分区为所述多个区域，所述多个区域中的每个区域对应于所述多个数据线程中的一者。4.根据权利要求2所述的方法，其中，将所述源数据分区为所述多个数据线程包括基于所述源数据的像素来分区所述源数据。5.根据权利要求2所述的方法，其中，所述帧为目标空间的图像。6.根据权利要求5所述的方法，其中：所述目标空间由多个顶点组成；并且所述多个顶点中的每者对应于所述目标空间的3维部分。7.根据权利要求6所述的方法，其中：所述多个数据线程中的每者与所述多个顶点中的至少一者相关联；并且所述多个数据线程中的每者对应于所述帧的区域。8.根据权利要求7所述的方法，其中，所述数据线程结果中的每者通过确定与至少一种显示特性相关联的加权值来确定，所述至少一种显示特性与所述帧的所述区域相关联。9.根据权利要求8所述的方法，其中，所述显示特性至少包括与所述帧的所述区域相关联的颜色。10.根据权利要求6所述的方法，其中，所述帧采集所述多个顶点中的至少一些顶点。11.根据权利要求6所述的方法，其中，所述用户装置基于所述工作成果显示所述目标空间的3维投影。12.根据权利要求1所述的方法，其中，确定所述工作成果包括：由所述后端装置从所述多个用户装置接收所...

【专利技术属性】
技术研发人员：罗翰·马洛里·科夫马尔·阿伦，
申请(专利权)人：利弗环球有限责任公司，
类型：发明
国别省市：美国;US