System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据处理方法以及相关设备技术_技高网

一种数据处理方法以及相关设备技术

技术编号:41855069 阅读:4 留言:0更新日期:2024-06-27 18:30
本申请公开了一种数据处理方法,该方法中,第一设备在检测到对第一文件系统中的第一数据的第一访问操作之后,获得第一数据的第一目标信息,第一目标信息包括第一数据的元数据,第一文件系统挂载至第一设备;第一设备输出第一目标信息。可以由第一设备对第一设备中诸如第一文件系统等任一文件系统的数据访问操作进行检测,从而通过第一设备,方便地感知第一设备的文件系统中的数据的元数据的变化,以获取相应文件系统的数据的元数据并输出,通用性较好,不需要通过与第一设备连接的存储设备的提供商来分别采集各个存储设备的数据的元数据并输出,避免了不同的存储设备提供商的元数据检测机制不同且数据接口无法通用而导致的通用性问题。

【技术实现步骤摘要】

本申请涉及元数据处理,具体涉及一种数据处理方法以及相关设备


技术介绍

1、随着应用的种类和数量不断发展,各种应用产生的数据的规模也快速增长。而目前,可以通过采集数据的元数据来实现对设备中的各种应用的数据的管理。

2、其中一种传统的元数据采集方式是在用户的各种应用的数据存储至存储设备之后,通过存储设备感知元数据的变化,并采集元数据,再由存储设备发送给诸如元数据存储服务器等设备中,以进行全局地元数据管理。然而,由于不同的存储设备提供商所采用的元数据检测机制不同,所提供的数据接口也无法通用,因此,存储元数据的元数据存储服务器等设备常常需要设置多种接口,实现多种通信协议,以能够从各个存储设备提供商获取元数据。

3、可见,目前,各种数据的元数据采集方式的通用性较差,难以适应多种场景的需要。


技术实现思路

1、本申请提供一种数据处理方法,以解决目前各种数据的元数据获取方式的通用性较差的问题。本申请还提供了相应的装置、设备、计算机可读存储介质和计算机程序产品等。

2、本申请第一方面提供一种数据处理方法,该方法包括:第一设备在检测到对第一文件系统中的第一数据的第一访问操作之后,获得第一数据的第一目标信息,第一目标信息包括第一数据的元数据,第一文件系统挂载至第一设备;第一设备输出第一目标信息。

3、在第一方面中,可以由第一设备对第一设备中诸如第一文件系统等任一文件系统的数据访问操作进行检测,从而可以通过第一设备,方便地感知第一设备的文件系统中的数据的元数据的变化,以获取相应文件系统的数据的元数据并方便地输出,通用性较好,不需要通过与第一设备连接的存储设备的提供商来分别采集各个存储设备的数据的元数据并输出,避免了不同的存储设备提供商所采用的元数据检测机制不同,所提供的数据接口也无法通用而导致的通用性问题。

4、并且,在第一方面中,通过第一设备感知每个文件系统中的数据的访问操作,以获取相应数据的目标信息并输出,可以避免通过中心化的网关来采集元数据所带来的限制,保证数据访问效率。

5、在第一方面的一种可能的实现方式中,该方法还包括:第一设备基于第一文件系统在第一设备中对应的第一目录,检测对第一文件系统中的第一数据的第一访问操作。

6、该种可能的实现方式中,第一目录可以是第一文件系统挂载至第一设备时的挂载点,也可以是与该挂载点关联的其他目录;或者,第一目录可以是第一文件系统挂载至第一设备时的挂载点下的某一目录,也可以是与该目录关联的其他目录。

7、在第一方面的一种可能的实现方式中,该方法还包括:第一设备将第一文件系统挂载至第一设备中的第二目录;第一设备将第二目录挂载至第一目录,以能够通过第一目录检测对第二目录中的第一数据的第一访问操作。

8、该种可能的实现方式中,可以通过第一目录来检测对第一文件系统中的第一数据的第一访问操作,但挂载至第二目录的第一文件系统的传统功能可以保持不变,这样,可以在对现有的文件系统的功能保持不变的情况下,实现本方案。

9、在第一方面的一种可能的实现方式中,第一设备中的第一应用通过第一文件系统访问第一应用的数据,第一应用的数据包括第一数据;第一目标信息还包括第一应用的应用标签。

10、该种可能的实现方式中,通过第一目标信息,不仅可以获得第一数据的元数据,还可以确定与该第一数据相关联的第一应用,从而可以在元数据管理过程中进一步标识相应数据的归属应用,便于在后续对该第一应用所涉及的数据执行查询、管理和其他应用操作。

11、在第一方面的一种可能的实现方式中,第一设备输出第一目标信息,包括:第一设备向第二设备发送第一目标信息,以使得第二设备存储第一数据的元数据与应用标签的对应关系。

12、该种可能的实现方式中,在一种示例中,第二设备可以为全局元数据服务器,该全局元数据服务器与多个第一设备连接,从而接收各个第一设备发送的相应数据的目标信息(例如某一第一设备中的第一数据的第一目标信息)并进行存储,从而可以获得全局的元数据信息,以进行后续的全局元数据管理等操作。

13、其中,由于每个数据的目标信息中,包括相应数据的元数据以及与相应数据相关联的应用的应用标签,因此,该全局元数据服务器中,可以在应用维度上,对各个元数据信息进行管理和应用。

14、在第一方面的一种可能的实现方式中,第一应用通过第一文件系统对应的第一目录访问第一应用的数据,第一设备中的第二应用通过第一文件系统对应的第三目录访问第二应用的数据,第二应用的数据包括第二数据;该方法还包括:第一设备基于第一文件系统对应的第三目录,检测对第一文件系统中的第二数据的第二访问操作;第一设备在检测到第二访问操作之后,获取第二数据的第二目标信息,第二目标信息包括第一文件系统的标识、第二应用的应用标签和第二数据的元数据;第一设备输出第二目标信息。

15、该种可能的实现方式中,可以通过第一设备中不同的应用所访问的不同目录,检测不同的应用的相关访问操作,从而感知相应应用的数据的元数据的变化,并方便地对不同的应用所访问的数据的元数据分别添加各自的应用标签,从而在输出元数据的同时,还可以标识相应元数据所关联的应用的应用标签,为后续的元数据管理和数据分析等操作提供了较好的数据基础。

16、在第一方面的一种可能的实现方式中,该方法还包括:第一设备统计第一应用对第一文件系统中第一应用的数据的访问次数;第一设备根据访问次数,确定第一应用对第一文件系统的访问策略。

17、该种可能的实现方式中,由于第一应用是通过第一文件系统(具体可以是第一文件系统中的第一目录)来访问第一应用的数据,因此,可以通过监控该第一目录,方便地监控第一应用对第一文件系统中第一应用的数据的访问次数。在统计得到该访问次数之后,可以根据该访问次数,知晓第一应用对第一文件系统的访问性能要求,并结合第一文件系统的性能,确定第一文件系统的数据访问压力,从而可以确定出第一应用对第一文件系统的合理的访问策略。

18、在第一方面的一种可能的实现方式中,第一数据的第一目标信息还包括第一文件系统的标识;第一设备输出第一目标信息,包括:第一设备向第二设备发送第一目标信息,以使得第二设备存储第一数据的元数据与第一文件系统的标识的对应关系。

19、该种可能的实现方式中,第一数据的第一目标信息中还可以包括第一文件系统的标识。这样,当第二设备接收到第一目标信息之后,可以存储第一数据的元数据与第一文件系统的标识的对应关系,从而可以标识该第一数据为第一文件系统中的数据,便于第二设备在文件系统维度上,对各个数据的元数据进行分类存储和管理。

20、在第一方面的一种可能的实现方式中,第一目标信息还包括第一数据在第一文件系统中的标识;第一设备输出第一目标信息,包括:第一设备向第二设备发送第一目标信息,以使得第二设备基于第一文件系统的标识以及第一数据在第一文件系统中的标识,确定第二设备中第一数据对应的元数据信息,并根据第一数据本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述第一设备中的第一应用通过所述第一文件系统访问所述第一应用的数据,所述第一应用的数据包括所述第一数据;

5.根据权利要求4所述的方法,其特征在于,所述第一设备输出所述第一目标信息,包括:

6.根据权利要求4或5所述的方法,其特征在于,所述第一应用通过所述第一文件系统对应的第一目录访问所述第一应用的数据,所述第一设备中的第二应用通过所述第一文件系统对应的第三目录访问所述第二应用的数据,所述第二应用的数据包括第二数据;

7.根据权利要求4-6任一项所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1-7任一项所述的方法,其特征在于,所述第一数据的第一目标信息还包括所述第一文件系统的标识;

9.根据权利要求8所述的方法,其特征在于,所述第一目标信息还包括所述第一数据在所述第一文件系统中的标识;

10.一种数据处理装置,其特征在于,包括:

11.根据权利要求10所述的装置,其特征在于,

12.根据权利要求11所述的装置,其特征在于,

13.根据权利要求10-12任一项所述的装置,其特征在于,所述第一设备中的第一应用通过所述第一文件系统访问所述第一应用的数据,所述第一应用的数据包括所述第一数据;

14.根据权利要求13所述的装置,其特征在于,

15.根据权利要求13或14所述的装置,其特征在于,所述第一应用通过所述第一文件系统对应的第一目录访问所述第一应用的数据,所述第一设备中的第二应用通过所述第一文件系统对应的第三目录访问所述第二应用的数据,所述第二应用的数据包括第二数据;

16.根据权利要求13-15任一项所述的装置,其特征在于,

17.根据权利要求10-16任一项所述的装置,其特征在于,所述第一数据的第一目标信息还包括所述第一文件系统的标识;

18.根据权利要求17所述的装置,其特征在于,所述第一目标信息还包括所述第一数据在所述第一文件系统中的标识;

19.一种电子设备,其特征在于,所述电子设备包括至少一个处理器、存储器及存储在所述存储器上并可被所述至少一个处理器执行的指令,所述至少一个处理器执行所述指令,以实现权利要求1-9任一项所述的方法的步骤。

20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-9任一项所述的方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述第一设备中的第一应用通过所述第一文件系统访问所述第一应用的数据,所述第一应用的数据包括所述第一数据;

5.根据权利要求4所述的方法,其特征在于,所述第一设备输出所述第一目标信息,包括:

6.根据权利要求4或5所述的方法,其特征在于,所述第一应用通过所述第一文件系统对应的第一目录访问所述第一应用的数据,所述第一设备中的第二应用通过所述第一文件系统对应的第三目录访问所述第二应用的数据,所述第二应用的数据包括第二数据;

7.根据权利要求4-6任一项所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1-7任一项所述的方法,其特征在于,所述第一数据的第一目标信息还包括所述第一文件系统的标识;

9.根据权利要求8所述的方法,其特征在于,所述第一目标信息还包括所述第一数据在所述第一文件系统中的标识;

10.一种数据处理装置,其特征在于,包括:

11.根据权利要求10所述的装置,其特征在于,

12.根据权利要求11所述的装...

【专利技术属性】
技术研发人员:刘继朋许林陈晓丽
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1