分布式计算平台及其文件管理方法技术

本发明专利技术涉及一种分布式计算平台及其文件管理方法，应用服务器接收根据AGW协议传输的协议数据包，发送协议标识和解密后的协议数据包至网关服务器。网关服务器在协议标识表征数据上传请求时，对接收的解密后的协议数据包进行提取得到文件信息并发送至节点服务器进行存储；网关服务器在协议标识表征文件操作请求时，对接收的解密后的协议数据包进行提取得到操作信息，将操作信息发送至节点服务器，控制节点服务器反向连接到应用服务器进行文件数据传输。建立应用服务器、网关服务器和节点服务器之间的AGW协议通信，使得分布式计算平台不受语言限制，架构简单，降低了实现复杂度和用户应用设计复杂度，从而降低了平台的后期维护成本。

【技术实现步骤摘要】
分布式计算平台及其文件管理方法
本专利技术涉及计算机
，特别是涉及一种分布式计算平台及其文件管理方法。
技术介绍
计算和存储是信息产业发展的两大主题，分布式计算平台用于整合计算和存储资源，如何平衡计算的灵活性和数据分析的高效性一直是学术界和产业界的研究热点。大数据概念出现后以数据为中心的分布式系统研究越来越得到人们的关注，设计出具有灵活高效的面向数据的分布式系统成为了当前系统架构研究的重要课题。分布式文件系统是高性能计算和大数据平台系统的根基，是系统在高并发请求、数据量暴增和大数据传输环境下稳定进行数据传输的保障。目前的分布式计算平台主要包含Hadoop和MPI(MessagePassingInterface，信息传递接口)两大分支，其中Hadoop采用HDFS文件系统，只适合对大文件进行处理，无法高效存储大量小文件，且是重量级文件系统，设计与使用较为复杂；MPI由于没有分布式文件系统，支持无法有效地对大数据应用进行处理。由于应用开发语言的多样性和应用领域的多元化，传统的分布式计算平台为不同语言开发定制接口并为不同的应用领域定制功能，导致系统架构复杂，增加实现复杂度，增加用户应用设计复杂度，增加系统的后期维护成本。传统的分布式计算平台存在维护成本高的缺点。
技术实现思路
基于此，有必要针对上述问题，提供一种可降低后期维护成本的分布式计算平台及其文件管理方法。一种分布式计算平台，包括应用服务器、网关服务器和节点服务器，所述应用服务器与所述网关服务器通过AGW协议通信连接，所述网关服务器和所述节点服务器通过AGW协议通信连接，所述节点服务器和所述应用服务器通过AGW协议通信连接；所述应用服务器用于接收根据所述AGW协议传输的协议数据包，对所述协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至所述网关服务器，所述协议标识表征协议的请求目的；以及接收所述节点服务器传输的文件数据并输出；所述网关服务器用于在接收的协议标识表征数据上传请求时，对接收的解密后的协议数据包进行提取得到文件信息并发送至所述节点服务器进行存储；在接收的协议标识表征文件操作请求时，对接收的解密后的协议数据包进行提取得到操作信息，将所述操作信息发送至所述节点服务器，并控制所述节点服务器根据所述操作信息反向连接到所述应用服务器进行文件数据传输。一种分布式计算平台的文件管理方法，包括以下步骤：应用服务器接收根据AGW协议传输的协议数据包，对所述协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至网关服务器；所述网关服务器在接收的协议标识表征数据上传请求时，对接收的解密后的协议数据包进行提取得到文件信息并发送至所述节点服务器进行存储；所述网关服务器在接收的协议标识表征文件操作请求时，对接收的解密后的协议数据包进行提取得到操作信息，将所述操作信息发送至节点服务器；所述网关服务器控制所述节点服务器根据所述操作信息反向连接到所述应用服务器进行文件数据传输；所述应用服务器接收所述节点服务器传输的文件数据并输出。上述分布式计算平台及其文件管理方法，应用服务器接收根据AGW协议传输的协议数据包，对协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至网关服务器。网关服务器在接收的协议标识表征数据上传请求时，对接收的解密后的协议数据包进行提取得到文件信息并发送至节点服务器进行存储；网关服务器在接收的协议标识表征文件操作请求时，对接收的解密后的协议数据包进行提取得到操作信息，将操作信息发送至节点服务器。网关服务器控制节点服务器根据操作信息反向连接到应用服务器进行文件数据传输，应用服务器接收节点服务器传输的文件数据并输出。建立应用服务器、网关服务器和节点服务器之间的AGW协议通信，使得分布式计算平台不受语言限制，只需按照AGW协议的标准即可进行文件数据的操作，架构简单，降低了实现复杂度和用户应用设计复杂度，从而降低了平台的后期维护成本。附图说明图1为一实施例中分布式计算平台的结构图；图2为一实施例中分布式计算平台的文件管理原理图；图3为一实施例中分布式计算平台的文件管理方法的流程图；图4为另一实施例中分布式计算平台的文件管理方法的流程图。具体实施方式在一个实施例中，一种分布式计算平台，如图1所示，包括应用服务器110、网关服务器120和节点服务器130，应用服务器110与网关服务器120通过AGW(AppGateWork，应用网关节点)协议通信连接，网关服务器120和节点服务器130通过AGW协议通信连接，节点服务器130和应用服务器110通过AGW协议通信连接。应用服务器110、网关服务器120和节点服务器130的数量均可以使一个或多个，当应用服务器110、网关服务器120和节点服务器130的均为多个时，可根据实际需求调整应用服务器110与网关服务器120之间，网关服务器120与节点服务器130之间，以及节点服务器130与应用服务器110之间的通信映射关系。AGW协议是该平台文件系统的数据进行流转的标准，通过该协议保证数据传输的正确性和完整性，AGW协议适用于支持Socket通信的语言接入。具体地，把用户接入应用服务器110的协议称为AGW协议中的对外协议，把应用服务器110、网关服务器120、节点服务器130之间使用的协议称为AGW协议中的对内协议。AGW协议的格式由协议长度、协议标识、加密后的协议内容这三部分组成。其中，用4个字节的空间来存储整条协议的长度，用于在接收到该协议数据时，按这个长度取出数据包，随后用2个字节的空间来存协议标识。协议标识表示该协议的请求目的，具体类型并不唯一。例如，一条登录协议的标识代号是10001，当解析出该协议的标识代号后，系统会根据代号来执行登录操作，协议标识的后面为加密的协议内容，包含用户名、密码等。本实施例中，协议标识可表征数据上传请求和文件操作请求两种，其中，文件操作请求包括文件访问请求和文件更新请求。应用服务器110用于接收根据AGW协议传输的协议数据包，对协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至网关服务器120；以及接收节点服务器130传输的文件数据并输出。应用服务商可通过驻留的应用服务器110向分布式计算平台发送请求以进行文件存储、访问和更新等操作。以AGW协议的规范来传输数据，使平台不受语言限制。协议数据包的具体类型也不唯一，本实施例中协议数据包为二进制数据包，便于进行数据提取操作。具体地，用户通过应用程序传输数据的主要步骤为：根据AGW协议的规则进行拼装，拼装之后的数据再根据加密规则进行加密。把加密之后的数据加上协议长度和协议标识，根据AGW协议进行序列化，形成二进制数据包。将二进制数据包发送给接收节点，接收节点收到二进制数据包后对其反序列化和解密，然后把解密出来的数据按照AGW协议逐一取出对应的数据进行逻辑操作。在一个实施例中，应用服务器110对协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至网关服务器120，包括：对协议数据包进行反序列化，得到协议长度、协议标识和加密后的协议数据包；根据协议长度对加密后的协议数据包进行解密得到解密后的协议数据包，将协议标识和解密后的协议数据包并发送至网关服务器本文档来自技高网...

【技术保护点】
一种分布式计算平台，其特征在于，包括应用服务器、网关服务器和节点服务器，所述应用服务器与所述网关服务器通过AGW协议通信连接，所述网关服务器和所述节点服务器通过AGW协议通信连接，所述节点服务器和所述应用服务器通过AGW协议通信连接；所述应用服务器用于接收根据所述AGW协议传输的协议数据包，对所述协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至所述网关服务器，所述协议标识表征协议的请求目的；以及接收所述节点服务器传输的文件数据并输出；所述网关服务器用于在接收的协议标识表征数据上传请求时，对接收的解密后的协议数据包进行提取得到文件信息并发送至所述节点服务器进行存储；在接收的协议标识表征文件操作请求时，对接收的解密后的协议数据包进行提取得到操作信息，将所述操作信息发送至所述节点服务器，并控制所述节点服务器根据所述操作信息反向连接到所述应用服务器进行文件数据传输。

【技术特征摘要】
1.一种分布式计算平台，其特征在于，包括应用服务器、网关服务器和节点服务器，所述应用服务器与所述网关服务器通过AGW协议通信连接，所述网关服务器和所述节点服务器通过AGW协议通信连接，所述节点服务器和所述应用服务器通过AGW协议通信连接；所述应用服务器用于接收根据所述AGW协议传输的协议数据包，对所述协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至所述网关服务器，所述协议标识表征协议的请求目的；以及接收所述节点服务器传输的文件数据并输出；所述网关服务器用于在接收的协议标识表征数据上传请求时，对接收的解密后的协议数据包进行提取得到文件信息并发送至所述节点服务器进行存储；在接收的协议标识表征文件操作请求时，对接收的解密后的协议数据包进行提取得到操作信息，将所述操作信息发送至所述节点服务器，并控制所述节点服务器根据所述操作信息反向连接到所述应用服务器进行文件数据传输。2.根据权利要求1所述的分布式计算平台，其特征在于，所述应用服务器对所述协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至所述网关服务器，包括：对所述协议数据包进行反序列化，得到协议长度、协议标识和加密后的协议数据包；根据所述协议长度对所述加密后的协议数据包进行解密得到解密后的协议数据包，将所述协议标识和所述解密后的协议数据包并发送至所述网关服务器。3.根据权利要求2所述的分布式计算平台，其特征在于，所述应用服务器得到协议长度、协议标识和加密后的协议数据包后，根据所述协议长度对所述加密后的协议数据包进行解密得到解密后的协议数据包之前，还用于根据所述协议标识对所述协议数据包进行合法性验证。4.根据权利要求1所述的分布式计算平台，其特征在于，所述节点服务器的数量为多个，所述网关服务器将文件信息发送至所述节点服务器进行存储，包括：将文件信息存储至各节点服务器的相同物理路径。5.根据权利要求4所述的分布式计算平台，其特征在于，所述网关服务器控制所述节点服务器根据所述操作信息反向连接到所述进行文件数据传输，包括：监测各所述节点服务器的数据传输状态，并根据所述数据传输状态选取最优节点服务器；将所述操作信息发送至最优节点服务器，并控制最优节点服务器根据所述操作信息反向连接到所述应用服务器进行文...

【专利技术属性】
技术研发人员：王鹏，黄焱，赵莉，
申请(专利权)人：广州五舟科技股份有限公司，
类型：发明
国别省市：广东,44