分布式文件系统及其数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种分布式文件系统数据处理方法，所述分布式文件系统数据处理方法通过接收分布式文件系统客户端发送的数据；根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象；对所接收到的数据进行处理；将处理后的数据存储到相应的目标存储节点。本发明专利技术还公开了一种分布式文件系统数据处理装置以及分布式文件系统。通过将客户端发送的数据采用分布式文件系统的处理方式进行存储，可以便捷、高效且稳定的存储数据资源。

Distributed file system and data processing method and device thereof

The invention discloses a distributed file system, data processing method, data processing method of the distributed file system, distributed file system by receiving the data sent by the client; according to the received data to determine the distributed file system client to access the target object; processing the received data will be processed; the data storage node corresponding to the target storage. The invention also discloses a distributed file system, a data processing device and a distributed file system. By storing the data sent by clients in a distributed file system, the data resources can be conveniently, efficiently and stably stored.

【技术实现步骤摘要】
分布式文件系统及其数据处理方法和装置
本专利技术涉及数据存储领域，尤其涉及一种分布式文件系统及其数据处理方法和装置。
技术介绍
分布式文件系统是实现存储系统扩展性和高可靠的重要技术手段。分布式文件系统包含多个节点(例如，计算机)，其中，任意一个或多个节点出现故障时，文件系统仍然可以正常工作。所谓的分布式是指文件系统的重要控制信息是分布在多个节点上，从而提高了文件系统的整体的可靠性。现有的流媒体视频系统的后端存储大多使用集中式架构，若遇到故障则无法保证服务的可靠性。
技术实现思路
本专利技术的主要目的在于提供一种分布式文件系统及其数据处理方法和装置，旨在提高存储数据资源的稳定性和效率。为实现上述目的，本专利技术提供的分布式文件系统数据处理方法，所述分布式文件系统数据处理方法包括以下步骤：接收分布式文件系统客户端发送的数据资源；根据所接收的数据资源判断所述分布式文件系统客户端所要访问的处理单元；对所接收到的的数据资源进行处理；将处理后的数据资源存储到相应存储区域。优选地，所述数据资源为流媒体数据资源。优选地，所述接收分布式文件系统客户端发送的数据资源的步骤包括：接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息。优选地，所述将处理后的数据资源存储到相应存储节点的步骤之前包括：将处理后的数据先缓存至预存储设备；将预存储设备中存储的数据存储到相应存储区域。此外，为实现上述目的，本专利技术还提供一种分布式文件系统数据处理装置，所述分布式文件数据处理装置包括：接收模块，用于接收分布式文件系统客户端发送的数据资源；判断模块，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；处理模块，用于对所接收到的的数据资源进行处理；存储模块，用于将处理后的数据资源存储到相应的目标存储区域。优选地，所述接收模块包括：接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息。优选地，所述存储模块包括：缓存单元，用于将处理后的数据先缓存至预存储设备；存储单元，用于将预存储设备中存储的数据存储到相应存储区域。此外，为实现上述目的，本专利技术还提供一种分布式文件系统，所述分布式文件系统包括：分布式文件系统客户端，用于传送数据资源至所述分布式文件系统节点；分布式文件系统节点，用于处理所述分布式文件系统客户端传送的数据资源，且所述分布式文件系统节点还包括RTSP网关；所述分布式文件系统客户端与所述分布式文件系统节点信号连接；所述分布式文件系统节点包括如权上所述的分布式文件系统数据处理装置。优选地，设置至少一个所述分布式文件系统节点以及至少一个RTSP网关，且各个所述分布式文件系统节点之间能够相互通信，各个所述RTSP网关之间同样能相互通信。优选地，所述RTSP网关与至少一个分布式文件系统客户端相连，并且所述RTSP网关能同时接收至少一个分布式文件系统客户端发送的数据资源。本专利技术实施例的分布式文件系统数据处理方法通过接收分布式文件系统客户端发送的数据；根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象；对所接收到的的数据进行处理；将处理后的数据存储到相应的目标存储节点。通过将客户端发送的数据采用分布式文件系统的处理方式进行存储，可以便捷、高效且稳定的存储数据资源。附图说明图1为本专利技术分布式文件系统数据处理方法第一实施例的流程示意图；图2为本专利技术分布式文件系统数据处理方法第二实施例的流程示意图；图3为本专利技术分布式文件系统数据处理装置第一实施例的功能模块示意图；图4为本专利技术分布式文件系统数据处理装置第二实施例中的存储模块的细化功能模块示意图；图5为本专利技术实施例中分布式文件系统示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种分布式文件系统数据处理方法，参照图1，在一实施例中，该分布式文件系统数据处理方法包括：步骤S10，接收分布式文件系统客户端发送的数据资源；具体地，本实施例中的所述分布式文件系统客户端包括能够提供RTSP数据的设备，包括但不限于高清摄像头、计算机、机顶盒等等。所述分布式文件系统客户端发送需要处理的数据资源至分布式文件系统，所述分布式文件系统包括RTSP网关以及分布式文件系统节点，所述数据资源通过RTSP、RTP协议传送至所述RTSP网关。其中，所述RTSP协议为实时流传输协议，是TCP/IP协议体系中的一个应用层协议，是用来控制声音或影像的多媒体串流协议，在监控、视频直播、点播中应用广泛。需要说明的是，所述数据资源为流媒体数据资源。现有的流媒体视频系统的后端存储大多使用集中式架构，若遇到故障无法保证服务的可靠性。本实施例能够将分布式存储资源与流媒体数据资源进行整合，便捷、高效地存储媒体数据资源，体现出较大的实际应用价值。优选地，本实施例中，要求所述分布式文件系统客户端不只发送要存储的数据资源到数据节点，还要同时发送数据资源对应的数据块ID等信息。客户端可通过预先设置的分布式文件系统中数据存储策略来确定要存储的数据的数据块ID及相应的命名空间信息。同时需要存储所述数据资源及所述数据块ID和命名空间信息。优选地，所述分布式文件系统接收到所述分布式文件系统客户端所发送的数据资源，可以预先判断所接收到的数据资源的大小。如果数据资源的大小小于预设值，则可以将数据资源存储至云端服务器；如果数据资源大于预设值，则可以将数据资源切分为多个自数据，并存储至本地文件系统。具体可根据需要进行设置，在此不做限制。步骤S20，根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象；对所接收的数据资源进行分析，判断所接收到的数据资源所要访问的目标对象，即所接收到的数据资源是否有确定的保存地址，若根据接收到的数据资源的分析可明确得知该数据资源需要保存的地址，则直接将数据资源处理后保存至相应的地址。步骤S30，对所接收到的的数据资源进行处理；步骤S40，将处理后的数据资源存储到相应的目标存储区域。具体地，所述RTSP网关可以理解成是所述分布式文件系统节点的一部分，具体用于处理所述分布式文件系统客户端发送的数据。所述数据资源通过RTSP、RTP协议传送至所述RTSP网关后，所述RTSP网关对所接收到的数据进行处理，处理后将该数据资源进一步发送至分布式文件系统相应的目标存储区域。本实施例的分布式文件系统数据处理方法通过接收分布式文件系统客户端发送的数据；根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象单元；对所接收到的的数据进行处理，并将处理后的数据存储到相应的目标存储节点。通过将客户端发送的数据采用分布式文件系统的处理方式进行存储，可以便捷、高效的存储数据资源。进一步地，参照图2，基于本专利技术分布式文件系统数据处理方法第一实施例，在本专利技术分布式文件系统数据处理方法第二实施例中，上述步骤S40包括：步骤S41，将处理后的数据资源先缓存至预存储设备；步骤S42，将预存储设备中存储的数据资源存储到相应的目标存储区域。本实施例中，将经过RTSP网关处理过的数据资源存储至相应的存储节点之前，还可以先使用固态硬盘作为预存储设备，先将处理过的数据缓存至预存储设备，然后将数据存储本文档来自技高网...

【技术保护点】
一种分布式文件系统数据处理方法，其特征在于，所述分布式文件系统数据处理方法包括以下步骤：接收分布式文件系统客户端发送的数据资源；根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；对所接收到的的数据资源进行处理；将处理后的数据资源存储到相应的目标存储区域。

【技术特征摘要】
1.一种分布式文件系统数据处理方法，其特征在于，所述分布式文件系统数据处理方法包括以下步骤：接收分布式文件系统客户端发送的数据资源；根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；对所接收到的的数据资源进行处理；将处理后的数据资源存储到相应的目标存储区域。2.如权利要求1所述的分布式文件系统数据处理方法，其特征在于，所述数据资源为流媒体数据资源。3.如权利要求1所述的分布式文件系统数据处理方法，其特征在于，所述接收分布式文件系统客户端发送的数据资源的步骤包括：接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息。4.如权利要求1所述的分布式文件系统数据处理方法，其特征在于，所述将处理后的数据资源存储到相应的目标存储区域的步骤之前包括：将处理后的数据资源先缓存至预存储设备；将预存储设备中存储的数据资源存储到相应的目标存储区域。5.一种分布式文件系统数据处理装置，其特征在于，所述分布式文件数据处理装置包括：接收模块，用于接收分布式文件系统客户端发送的数据资源；判断模块，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；处理模块，用于对所接收到的的数据资源进行处理；存储模块，用于将处理后的数据资源存储到相应的目标存储区域。6.如权利要...

【专利技术属性】
技术研发人员：李发明，张勤，
申请(专利权)人：深圳市中博睿存科技有限公司，
类型：发明
国别省市：广东,44