一种基于多源谓词下推的融合计算装置和计算方法制造方法及图纸

本发明专利技术提供一种基于多源谓词下推的融合计算装置和计算方法，通过载体识别

【技术实现步骤摘要】
一种基于多源谓词下推的融合计算装置和计算方法


[0001]本专利技术涉及人工智能，算法，自然语言处理，具体涉及一种基于多源谓词下推的融合计算装置和计算方法
。

技术介绍

[0002]当进行数据的融合计算时，我们面临的场景往往是不同来源且数据量巨大的场景，每秒钟常常需要处理几万甚至几十万
、
上百万的不同载体数据，现有的融合计算方法是将这些不同来源和不同载体的数据经过格式转换后加载到内存中进行统一的筛选
、
排序，分组，加工计算等数据处理，但这种方法有三类问题：
[0003]第一
、
受限于内存的容量，节点能够一次进行融合计算的数据量有限，很多场景下无法满足海量的要求
。
[0004]第二
、
由于需要统一加载后才能进行筛选
、
排序
、
分组等处理，大大降低了数据处理的速度和吞吐量
。
[0005]第三
、
当融合计算需要多次加载时，融合计算和数据来源的
IO
交互成本非常昂贵，大大拖慢了计算的速度
。
[0006]这三类问题的存在，使得融合计算的能力受限，原本很多可以利用融合计算轻松解决的数据场景，由于这三类问题，往往无法发挥有效价值，极大的阻碍了这一先进的计算框架的应用
。

技术实现思路

[0007]为了解决现有技术所存在的问题，本专利技术提供一种基于多源谓词下推的融合计算装置，包括：数据接收处理器<br/>、
下层处理模块
、
表处理器和计算输出模块；
[0008]所述数据接收处理器用于：对原始数据进行识别确定所述原始数据对应的原始协议和格式，并将所述原始数据对应的原始协议和格式下推至下层处理模块；还用于根据所述表处理器的通知接收处理后的数据发送至表处理器；
[0009]所述下层处理模块用于：根据所述原始数据对应的协议和格式进行处理得到对应的数据条件
、
处理要求和工作任务发送至表处理器；
[0010]所述表处理器用于：根据下层处理模块对应的数据条件
、
处理要求和工作任务对数据进行语义转换得到谓词，并将所述谓词下推至对应的下层处理模块进行处理，同时通知数据接收处理器；还用于根据所述数据接收处理器上传的下层处理模块处理后的数据输出至计算输出模块；
[0011]所述计算输出模块用于根据融合计算的业务需要，执行融合计算并根据所需的协议和格式将所述计算结果进行输出
。
[0012]优选的，所述下层处理模块包括：包括：筛选处理器
、
函数处理器和关联处理器；
[0013]所述筛选处理器用于：根据筛选算子的条件和要求，构造处理要求实例以提取数据中满足条件的内容
、
舍弃不符合条件的部分，将处理要求推送给表处理器；
[0014]所述函数处理器用于：按用户需求从函数库中选取相应的函数构造处理要求实例，根据语义选取数据中相应部分作为函数输入进行运算，将处理要求推送给表处理器；
[0015]所述关联处理器用于：按用户要求从关联关系库中选取相应的关联算子构造关联处理实例，根据语义选取数据中相应部分作为关联参数输入进行运算，将管理处理实例推送给表处理器；
[0016]优选的，所述表处理器还用于：对所述原始数据载体进行识别，确定所述原始数据对应的数据源时单一数据源还是多数据源；
[0017]当为多数据源时，根据不同原始数据的载体对原始数据进行数据处理语义转换，并根据下层处理模块对应的数据条件
、
处理要求和工作任务判断是否可以处理语义转换后的谓词，若可以处理则将转换后的谓词下推至对应的下层处理模块进行处理
。
[0018]优选的，当为多数据源时，所述数据接收处理器还用根据所述表处理器的通知接收处理后的数据，并根据原始数据的协议和消息格式进行融合计算所需的统一转换，将转换后的谓词发送至表处理器
。
[0019]优选的，所述计算输出模块包括：查询处理器和输出处理器；
[0020]所述查询处理器用于根据融合计算的业务需要，对表处理器提供的数据执行融合计算，并将计算的结果数据集发送至输出处理器；
[0021]所述输出处理器用于识别和对接融合计算任务所需输出的协议和格式，根据所需的协议和格式将统一数据进行转换，绑定协议进行输出
。
[0022]优选的，所述装置还包括数据存储模块；所述表处理器还用于：当启用融合计算
IO
卸峰后，将下层处理模块处理后的数据发送至数据存储模块；并根据计算输出模块的请求调用所述数据存储模块存储的数据
。
[0023]优选的，所述数据存储模块包括：内存表实体和缓存表实体；转换后的谓词与其对应的原始数据是一对一的关系
[0024]所述内存表实体用于一对一的存储所述表处理器发送的数据；还用于根据缓存策略建立一对一的缓存表实体；
[0025]所述缓存表实体绑定缓存有效期和
/
或缓存策略，所述缓存有效期的执行优先于缓存策略；且所述缓存有效期根据业务需求绑定
。
[0026]基于同一种专利技术构思，本专利技术还提供一种基于多源谓词下推的融合计算方法，包括：
[0027]利用数据接收处理器对原始数据进行识别确定所述原始数据对应的原始协议和格式，并将所述原始数据对应的原始协议和格式下推至下层处理模块；
[0028]利用下层处理模块基于所述原始数据对应的协议和格式进行处理得到对应的数据条件
、
处理要求和工作任务并发送至表处理器；
[0029]利用表处理器将数据进行处理得到谓词，并将所述谓词下推至对应的下层处理模块进行处理，同时通知数据接收处理器；
[0030]利用数据接收处理器接收下层处理模块处理后的数据并发送至表处理器；
[0031]利用表处理将下层处理模块处理后的数据输出至计算输出模块；
[0032]利用计算输出模块基于根据融合计算的业务需要，执行融合计算并根据所需的协议和格式将所述计算结果进行输出
。
[0033]优选的，所述对原始数据进行识别确定所述原始数据对应的原始协议和格式，并将所述原始数据对应的原始协议和格式下推至下层处理模块包括：
[0034]对所述原始数据载体进行识别，确定所述原始数据对应的数据源时单一数据源还是多数据源；
[0035]当为多数据源时，根据不同原始数据的载体对原始数据进行数据处理语义转换，并根据下层处理模块对应的数据条件
、
处理要求和工作任务判断是否可以处理语义转换后的谓词，若可以处理则将转换后的谓词下推至对应的下层处理模块进行处理
。
[0036]优选的，当为多数据源时，所述接收下层处理模块处理后的数据并发送至表处理器包括：
[0037]接收下层处理模块处理后的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多源谓词下推的融合计算装置，其特征在于，包括：数据接收处理器
、
下层处理模块
、
表处理器和计算输出模块；所述数据接收处理器用于：对原始数据进行识别确定所述原始数据对应的原始协议和格式，并将所述原始数据对应的原始协议和格式下推至下层处理模块；还用于根据所述表处理器的通知接收处理后的数据发送至表处理器；所述下层处理模块用于：根据所述原始数据对应的协议和格式进行处理得到对应的数据条件
、
处理要求和工作任务发送至表处理器；所述表处理器用于：根据下层处理模块对应的数据条件
、
处理要求和工作任务对数据进行语义转换得到谓词，并将所述谓词下推至对应的下层处理模块进行处理，同时通知数据接收处理器；还用于根据所述数据接收处理器上传的下层处理模块处理后的数据输出至计算输出模块；所述计算输出模块用于根据融合计算的业务需要，执行融合计算并根据所需的协议和格式将所述计算结果进行输出
。2.
如权利要求1所述的装置，其特征在于，所述下层处理模块包括：筛选处理器
、
函数处理器和关联处理器；所述筛选处理器用于：根据筛选算子的条件和要求，构造处理要求实例以提取数据中满足条件的内容
、
舍弃不符合条件的部分，将处理要求推送给表处理器；所述函数处理器用于：按用户需求从函数库中选取相应的函数构造处理要求实例，根据语义选取数据中相应部分作为函数输入进行运算，将处理要求推送给表处理器；所述关联处理器用于：按用户要求从关联关系库中选取相应的关联算子构造关联处理实例，根据语义选取数据中相应部分作为关联参数输入进行运算，将管理处理实例推送给表处理器
。3.
如权利要求1所述的装置，其特征在于，所述表处理器还用于：对所述原始数据载体进行识别，确定所述原始数据对应的数据源时单一数据源还是多数据源；当为多数据源时，根据不同原始数据的载体对原始数据进行数据处理语义转换，并根据下层处理模块对应的数据条件
、
处理要求和工作任务判断是否可以处理语义转换后的谓词，若可以处理则将转换后的谓词下推至对应的下层处理模块进行处理
。4.
如权利要求2所述的装置，其特征在于，当为多数据源时，所述数据接收处理器还用根据所述表处理器的通知接收处理后的数据，并根据原始数据的协议和消息格式进行融合计算所需的统一转换，将转换后的谓词发送至表处理器
。5.
如权利要求1所述的装置，其特征在于，所述计算输出模块包括：查询处理器和输出处理器；所述查询处理器用于根据融合计算的业务需要，对表处理器提供的数据执行融合计算，并将计算的结果数据集发送至输出处理器；所述输出处理器用于识别和对接融合计算任务所需输出的协议和格式，根据所需的协议和格式将统一数据进行转换，绑定协议进行输出
。6.
如权利要求1所述的装置，其特征在于，所述装置还包括数据存储模块；所述表处理器还用于：当启用融合计算
IO
卸峰后，将下层处理模块处理后的数据发送至数据存储模块；并根据计算输出模块的请求调用所述数据存储...

【专利技术属性】
技术研发人员：何慧虹，尚舵，刘晓舟，宋紫嫣，
申请(专利权)人：中国工业互联网研究院，
类型：发明
国别省市：