System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于数据处理的方法、装置、系统、设备和存储介质制造方法及图纸_技高网

用于数据处理的方法、装置、系统、设备和存储介质制造方法及图纸

技术编号:43207711 阅读:5 留言:0更新日期:2024-11-01 20:25
根据本公开的实施例,提供了用于数据处理的方法、装置、系统、设备和存储介质。该方法包括:在特征存储服务处,从特征生产服务接收特征数据,特征生产服务被配置为从数据源获得特征数据;存储特征数据;以及将特征数据发送至特征构建服务,使得特征构建服务将特征数据分别适配于不同的索引系统。由此,可以通过同一条数据链路为不同的索引系统提供所需的特征数据,从而节省计算资源、存储资源和人力资源等。

【技术实现步骤摘要】

本公开的示例实施例总体涉及计算机领域,特别地涉及用于数据处理的方法、装置、系统、设备和计算机可读存储介质。


技术介绍

1、随着业务场景的不断拓展,索引系统的类型也越来越多。不同的索引系统所需要的特征数据在很大程度上具有交集。但是,不同索引系统的特征计算、索引构建是独立进行地。因此,导致部分特征重复计算、数据流重复搭建,从而造成计算资源、存储资源和人力资源等的浪费。


技术实现思路

1、在本公开的第一方面,提供了一种用于数据处理的方法。该方法包括:在特征存储服务处,从特征生产服务接收特征数据,特征生产服务被配置为从数据源获得特征数据;存储特征数据;以及将特征数据发送至特征构建服务,使得特征构建服务将特征数据分别适配于不同的索引系统。

2、在本公开的第二方面,提供了一种用于数据处理的方法。该方法包括:在特征生产服务处,从数据源获得特征数据;以及将所述特征数据发送至特征存储服务,使得所述特征数据分别适配于不同的索引系统。

3、在本公开的第三方面,提供了一种用于数据处理的方法。该方法包括:在特征构建服务处,接收特征存储服务发送的特征数据,所述特征存储服务被配置为从特征生产服务接收所述特征数据,所述特征生产服务被配置为从数据源获得所述特征数据;以及将所述特征数据分别适配于不同的索引系统。

4、在本公开的第四方面,提供了一种用于数据处理的装置。该装置包括:第一接收模块,被配置为从特征生产服务接收特征数据,所述特征生产服务被配置为从数据源获得所述特征数据;特征存储模块,被配置为存储所述特征数据;以及第一发送模块,被配置为将所述特征数据发送至特征构建服务,使得所述特征构建服务将所述特征数据分别适配于不同的索引系统。

5、在本公开的第五方面,提供了一种用于数据处理的装置。该装置包括:特征获得模块,被配置为从数据源获得特征数据;以及第二发送模块,被配置为将所述特征数据发送至特征存储服务,使得所述特征数据分别适配于不同的索引系统。

6、在本公开的第六方面,提供了一种用于数据处理的装置。该装置包括:第二接收模块,被配置为接收特征存储服务发送的特征数据,所述特征存储服务被配置为从特征生产服务接收所述特征数据,所述特征生产服务被配置为从数据源获得所述特征数据;特征适配模块,被配置为将所述特征数据分别适配于不同的索引系统。

7、在本公开的第七方面,提供了一种用于数据处理的系统。该系统包括特征存储服务,被配置为执行第一方面的方法;特征生产服务,被配置为执行第二方面的方法;以及特征构建服务,被配置为执行第三方面的方法。

8、在本公开的第八方面,提供了一种终端设备。该设备包括至少一个处理单元;以及至少一个存储器,至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面、第二方面或第三方面的方法。

9、在本公开的第九方面,提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序,计算机程序可由处理器执行以实现第一方面、第二方面或第三方面的方法。

10、应当理解,本内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种用于数据处理的方法,包括:

2.根据权利要求1所述的方法,其中所述特征数据包括以下至少一项:

3.根据权利要求2所述的方法,其中将所述特征数据发送至特征构建服务包括:

4.根据权利要求2所述的方法,其中将所述特征数据发送至特征构建服务包括:

5.根据权利要求2所述的方法,其中所述实时特征的发送优先级高于所述离线特征的发送优先级,所述发送优先级指示所述特征数据从所述特征存储服务发送至所述特征构建服务的优先级。

6.根据权利要求2所述的方法,其中所述实时特征的数据格式满足第一目标数据格式,所述第一目标数据格式至少包括特征发送时间。

7.根据权利要求2所述的方法,其中所述离线特征的数据格式满足第二目标数据格,所述第二目标数据格式至少包括关键字段。

8.根据权利要求7所述的方法,其中将所述特征数据发送至特征构建服务包括:

9.根据权利要求7所述的方法,其中将所述特征数据发送至特征构建服务包括:

10.一种用于数据处理的方法,包括:

11.根据权利要求10所述的方法,其中所述特征数据包括以下至少一项:

12.根据权利要求11所述的方法,其中将所述特征数据发送至特征存储服务包括:

13.根据权利要求12所述的方法,其中将所述实时特征以流式发送模式发送至所述特征存储服务包括:

14.根据权利要求11所述的方法,其中将所述特征数据发送至特征存储服务包括:

15.根据权利要求11所述的方法,其中将所述特征数据发送至特征存储服务包括:

16.根据权利要求15所述的方法,其中基于所述离线特征中相关联的部分特征的时序关系,将所述离线特征中相关联的部分特征以流式发送模式发送至所述特征存储服务包括:

17.根据权利要求10所述的方法,还包括:

18.一种用于数据处理的方法,包括:

19.一种用于数据处理的装置,包括:

20.一种用于数据处理的装置,包括:

21.一种用于数据处理的装置,包括:

22.一种用于数据处理的系统,包括:

23.一种终端设备,包括:

24.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可由处理器执行以实现根据权利要求1至9中任一项所述的方法,或者执行根据权利要求10至17中任一项所述的方法,或者执行根据权利要求18所述的方法。

...

【技术特征摘要】

1.一种用于数据处理的方法,包括:

2.根据权利要求1所述的方法,其中所述特征数据包括以下至少一项:

3.根据权利要求2所述的方法,其中将所述特征数据发送至特征构建服务包括:

4.根据权利要求2所述的方法,其中将所述特征数据发送至特征构建服务包括:

5.根据权利要求2所述的方法,其中所述实时特征的发送优先级高于所述离线特征的发送优先级,所述发送优先级指示所述特征数据从所述特征存储服务发送至所述特征构建服务的优先级。

6.根据权利要求2所述的方法,其中所述实时特征的数据格式满足第一目标数据格式,所述第一目标数据格式至少包括特征发送时间。

7.根据权利要求2所述的方法,其中所述离线特征的数据格式满足第二目标数据格,所述第二目标数据格式至少包括关键字段。

8.根据权利要求7所述的方法,其中将所述特征数据发送至特征构建服务包括:

9.根据权利要求7所述的方法,其中将所述特征数据发送至特征构建服务包括:

10.一种用于数据处理的方法,包括:

11.根据权利要求10所述的方法,其中所述特征数据包括以下至少一项:

12.根据权利要求11所述的方...

【专利技术属性】
技术研发人员:杨书鉴
申请(专利权)人:北京有竹居网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1