一种数据处理的方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理的方法及装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据请求，所述数据请求指示了用于处理用户行为数据的计算脚本、以及所述用户行为数据所属数据表的数据维度；根据所述数据请求实时调用计算脚本，以利用所述计算脚本根据所述数据维度从数据表中提取所述用户行为数据，并实时处理所述用户行为数据；输出所述用户行为数据的处理结果。该实施方式缩短数据请求的反馈周期，满足数据实时交付的场景。

【技术实现步骤摘要】
一种数据处理的方法及装置
本专利技术涉及计算机
，尤其涉及一种数据处理的方法及装置。
技术介绍
随着计算机技术的发展，大数据加工与提取的场景越来也多，例如对用户行为数据进行加工与提取，在这些大数据加工与提取的场景中，一般通过配置定时任务完成数据交付。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：定时任务在当前触发时刻被触发后，处理已存在数据请求，并在处理完已存在的数据请求后即停止。若在定时任务执行完成之后以及下一触发时刻之前，接收到新的数据请求，则定时任务需在下一触发时刻才能处理新的数据请求，这导致数据请求的反馈周期较长，难以满足实时的数据加工和提取场景。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据处理的方法及装置，能够在接收到数据请求后，实时调用计算脚本，以利用计算脚本对用户行为数据进行实时处理，并输出相应的用户行为数据的处理结果，从而缩短数据请求的反馈周期，满足数据实时交付的场景。并且可根据用户行为数据的处理结果，及时确定用户画像和/或物品画像，从而有利于提高用户粘度，提升用户体验。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理的方法。本专利技术实施例的一种数据处理的方法包括：获取数据请求，所述数据请求指示了用于处理用户行为数据的计算脚本、以及所述用户行为数据所属数据表的数据维度；根据所述数据请求实时调用计算脚本，以利用所述计算脚本根据所述数据维度从数据表中提取所述用户行为数据，并实时处理所述用户行为数据；输出所述用户行为数据的处理结果。可选地，所述数据请求还指示了用于处理所述用户行为数据的多个计算脚本的调用顺序；所述根据所述数据请求实时调用计算脚本，以利用所述计算脚本实时处理所述数据，包括：根据所述调用顺序调用所述计算脚本，以根据所述调用顺序处理所述用户行为数据。可选地，所述根据所述调用顺序调用所述计算脚本，包括：分别生成用于实时处理所述用户行为数据的多个计算脚本所对应的线程，并根据所述调用顺序，串行和/或并行执行各个所述线程，以调用所述计算脚本。可选地，所述串行执行各个所述线程，包括：根据所述调用顺序，确定多个所述计算脚本之间的父子依赖关系，串行执行具有所述父子依赖关系的计算脚本所对应的线程。可选地，所述数据请求还指示了所请求的任务类型；所述根据所述数据请求调用计算脚本，包括：根据所述任务类型确定所述数据请求的处理时限，并根据所述处理时限调用所述计算脚本。可选地，当接收到多个所述数据请求时，根据所述数据请求指示的所述任务类型确定所述多个数据请求的执行优先级，并根据所述执行优先级调用计算脚本。可选地，该方法还包括：根据所述用户行为数据的处理结果，确定所述用户行为数据所对应的用户画像和/或物品画像。可选地，该方法还包括：监控被调用的所述计算脚本的执行状态，当被调用的所述计算脚本的执行时长大于第一阈值、和/或被调用的所述计算脚本所占内存资源大于第二阈值时，停止执行被调用的所述计算脚本。可选地，所述数据请求还指示了输入所述数据请求的来源系统的来源标识；当监控到被调用的所述计算脚本执行失败时，根据所述来源标识，向所述来源系统反馈所述计算脚本执行失败的结果。可选地，所述数据请求还指示了数据的存储地址；所述输出用户行为数据的处理结果，包括：将所述用户行为数据的处理结果存储至与所述存储地址相对应的存储空间。为实现上述目的，根据本专利技术实施例的又一方面，提供了一种数据处理的装置。本专利技术实施例的一种数据处理的装置包括：请求获取模块、脚本调用模块和处理模块；其中，所述请求获取模块，用于获取数据请求，所述数据请求指示了用于处理用户行为数据的计算脚本、以及所述用户行为数据所属数据表的数据维度；所述脚本调用模块，用于根据所述数据请求实时调用计算脚本，以利用所述计算脚本根据所述数据维度从数据表中提取所述用户行为数据，并实时处理所述用户行为数据；所述处理模块，用于输出所述用户行为数据的处理结果。为实现上述目的，根据本专利技术实施例的又一方面，提供了一种数据处理的电子设备。本专利技术实施例的一种数据处理的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例的一种数据处理的方法。为实现上述目的，根据本专利技术实施例的再一方面，提供了一种计算机可读存储介质。本专利技术实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例的一种数据处理的方法。上述专利技术中的一个实施例具有如下优点或有益效果：在接收到数据请求后，实时调用计算脚本，以利用计算脚本对用户行为数据进行实时处理，并输出相应的用户行为数据的处理结果，从而缩短数据请求的反馈周期，满足数据实时交付的场景。并且可根据用户行为数据的处理结果，及时确定用户画像和/或物品画像，从而有利于提高用户粘度，提升用户体验。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是根据本专利技术实施例的一种数据处理的方法的主要步骤的示意图；图2是根据本专利技术实施例的另一种数据处理的方法的主要步骤的示意图；图3是根据本专利技术实施例的又一种数据处理的方法的主要步骤的示意图；图4是根据本专利技术实施例的再一种数据处理的方法的主要步骤的示意图；图5是根据本专利技术实施例的还一种数据处理的方法的主要步骤的示意图；图6是根据本专利技术实施例的一种数据处理的装置的主要模块的示意图；图7是本专利技术实施例可以应用于其中的示例性系统架构图；图8是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要指出的是，在不冲突的情况下，本专利技术的实施例以及实施例中的技术特征可以相互结合。图1是根据本专利技术实施例的数据处理的方法的主要步骤的示意图。如图1所示，本专利技术实施例的数据处理的方法主要包括以下步骤S101至步骤S103：步骤S101：获取数据请求，所述数据请求指示了用于处理用户行为数据的计算脚本、以及所述用户行为数据所属数据表的数据维度。本专利技术实施例提供的数据处理方法可基于含有驱动执行引擎的数据处理装置实现，该驱动执行引擎可实现数据脚本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，包括：/n获取数据请求，所述数据请求指示了用于处理用户行为数据的计算脚本、以及所述用户行为数据所属数据表的数据维度；/n根据所述数据请求实时调用计算脚本，以利用所述计算脚本根据所述数据维度从数据表中提取所述用户行为数据，并实时处理所述用户行为数据；/n输出所述用户行为数据的处理结果。/n

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：
获取数据请求，所述数据请求指示了用于处理用户行为数据的计算脚本、以及所述用户行为数据所属数据表的数据维度；
根据所述数据请求实时调用计算脚本，以利用所述计算脚本根据所述数据维度从数据表中提取所述用户行为数据，并实时处理所述用户行为数据；
输出所述用户行为数据的处理结果。


2.根据权利要求1所述的方法，其特征在于，所述数据请求还指示了用于处理所述用户行为数据的多个计算脚本的调用顺序；
所述根据所述数据请求实时调用计算脚本，以利用所述计算脚本实时处理所述数据，包括：
根据所述调用顺序调用所述计算脚本，以根据所述调用顺序处理所述用户行为数据。


3.根据权利要求2所述的方法，其特征在于，所述根据所述调用顺序调用所述计算脚本，包括：
分别生成用于实时处理所述用户行为数据的多个计算脚本所对应的线程，并根据所述调用顺序，串行和/或并行执行各个所述线程，以调用所述计算脚本。


4.根据权利要求3所述的方法，其特征在于，所述串行执行各个所述线程，包括：
根据所述调用顺序，确定多个所述计算脚本之间的父子依赖关系，串行执行具有所述父子依赖关系的计算脚本所对应的线程。


5.根据权利要求1所述的方法，其特征在于，所述数据请求还指示了所请求的任务类型；
所述根据所述数据请求调用计算脚本，包括：
根据所述任务类型确定所述数据请求的处理时限，并根据所述处理时限调用所述计算脚本。


6.根据权利要求5所述的方法，其特征在于，
当接收到多个所述数据请求时，根据所述数据请求指示的所述任务类型确定所述多个数据请求的执行优先级，并根据所述执行优先级调用计算脚本。


7.根据权利要求1所述的方法，其特征在于，还包括：根据所述用户行为数...

【专利技术属性】
技术研发人员：刘博，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：北京;11