大数据平台的处理终端、读数据和写数据的方法技术

本发明专利技术提供了大数据平台的处理终端、读数据和写数据的方法，该处理终端，包括：内存、Bcache、硬盘和数据处理模块；数据处理模块，用于执行：当接收到写操作的命令时，判断待写入的数据是否属于热数据，如果是，则按照内存、Bcache、硬盘的顺序，执行写操作的命令；当接收到读操作的命令时，判断待读取的数据是否属于热数据，如果是，则按照内存、Bcache、硬盘的顺序，执行读操作的命令。本发明专利技术提供了大数据平台的处理终端、读数据和写数据的方法，能够提高大数据平台处理数据的速度。

【技术实现步骤摘要】
大数据平台的处理终端、读数据和写数据的方法
本专利技术涉及大数据
，特别涉及大数据平台的处理终端、读数据和写数据的方法。
技术介绍
随着大数据技术的快速发展，用户对大数据平台处理数据的速度的要求越来越高。在现有数据中，大数据平台在处理数据时，按照先内存后硬盘的顺序。但是，由于内存的容量较小，大量的数据仍然需要在硬盘中读写。而在硬盘中读写数据的速度较慢。
技术实现思路
本专利技术实施例提供了大数据平台的处理终端、读数据和写数据的方法，能够提高大数据平台处理数据的速度。第一方面，本专利技术实施例提供了一种大数据平台的处理终端，包括：内存、Bcache、硬盘和数据处理模块；所述数据处理模块，用于执行：当接收到写操作的命令时，判断待写入的数据是否属于热数据，如果是，则执行A1；A1：判断所述内存中是否具有存储所述待写入的数据的空间，如果是，则执行A2；否则，执行A3；A2：将所述待写入的数据写入到所述内存中；A3：判断所述Bcache中是否具有存储所述待写入的数据的空间，如果是，则执行A4，否则，执行A5；A4：将所述待写入的数据写入到所述Bcache中；A5：将所述待写入的数据写入到所述硬盘中；所述数据处理模块，用于执行：当接收到读操作的命令时，判断待读取的数据是否属于热数据，如果是，则执行B1；B1：判断所述内存中是否存在所述待读取的数据，如果是，则执行B2，否则，执行B3；B2：从所述内存中读取所述待读取的数据；B3：判断所述Bcache中是否存在所述待读取的数据，如果是，则执行B4，否则，执行B5；B4：从所述Bcache中读取所述待读取的数据；B5：从所述硬盘中读取所述待读取的数据。优选地，所述数据处理模块，进一步用于执行：在判断出所述待写入的数据不属于热数据的情况下，执行C1；C1：判断所述内存中是否具有存储所述待写入的数据的空间，如果是，则执行C2，否则，执行C3；C2：将所述待写入的数据写入到所述内存中；C3：将所述待写入的数据写入到所述硬盘中。优选地，所述数据处理模块，进一步用于执行：在判断出所述待读取的数据不属于热数据的情况下，执行：D1：判断所述内存中是否存在所述待读取的数据，如果是，则执行D2，否则，执行D3；D2：从所述内存中读取所述待读取的数据；D3：从所述硬盘中读取所述待读取的数据。优选地，所述数据处理模块，在执行所述判断待写入的数据是否属于热数据时，用于：判断所述待写入的数据是否属于预设的至少一种数据类型中的一种，如果是，则确定所述待写入的数据属于热数据，否则，确定所述待写入的数据不属于热数据；所述数据处理模块，在执行所述判断待读取的数据是否属于热数据时，用于：判断所述待读取的数据是否属于预设的至少一种数据类型中的一种，如果是，则确定所述待读取的数据属于热数据，否则，确定所述待读取的数据不属于热数据。第二方面，本专利技术实施例提供了一种基于第一方面中任一所述的大数据平台的处理终端的大数据平台的写数据的方法，包括：数据处理模块当接收到写操作的命令时，判断待写入的数据是否属于热数据，如果是，则执行A1；A1：所述数据处理模块判断内存中是否具有存储所述待写入的数据的空间，如果是，则执行A2；否则，执行A3；A2：所述数据处理模块将所述待写入的数据写入到所述内存中；A3：所述数据处理模块判断Bcache中是否具有存储所述待写入的数据的空间，如果是，则执行A4，否则，执行A5；A4：所述数据处理模块将所述待写入的数据写入到所述Bcache中；A5：所述数据处理模块将所述待写入的数据写入到硬盘中。优选地，该写数据的方法，进一步包括：在判断出所述待写入的数据不属于热数据的情况下，执行C1；C1：所述数据处理模块判断所述内存中是否具有存储所述待写入的数据的空间，如果是，则执行C2，否则，执行C3；C2：所述数据处理模块将所述待写入的数据写入到所述内存中；C3：所述数据处理模块将所述待写入的数据写入到所述硬盘中。优选地，所述判断待写入的数据是否属于热数据，包括：判断所述待写入的数据是否属于预设的至少一种数据类型中的一种，如果是，则确定所述待写入的数据属于热数据，否则，确定所述待写入的数据不属于热数据。第三方面，本专利技术实施例提供了一种基于第一方面中任一所述的大数据平台的处理终端的大数据平台的读数据的方法，包括：数据处理模块当接收到读操作的命令时，判断待读取的数据是否属于热数据，如果是，则执行B1；B1：所述数据处理模块判断所述内存中是否存在所述待读取的数据，如果是，则执行B2，否则，执行B3；B2：所述数据处理模块从所述内存中读取所述待读取的数据；B3：所述数据处理模块判断所述Bcache中是否存在所述待读取的数据，如果是，则执行B4，否则，执行B5；B4：所述数据处理模块从所述Bcache中读取所述待读取的数据；B5：所述数据处理模块从所述硬盘中读取所述待读取的数据。优选地，该读数据的方法，进一步包括：在判断出所述待读取的数据不属于热数据的情况下，执行：D1：所述数据处理模块判断所述内存中是否存在所述待读取的数据，如果是，则执行D2，否则，执行D3；D2：所述数据处理模块从所述内存中读取所述待读取的数据；D3：所述数据处理模块从所述硬盘中读取所述待读取的数据。优选地，所述判断待读取的数据是否属于热数据，包括：判断所述待读取的数据是否属于预设的至少一种数据类型中的一种，如果是，则确定所述待读取的数据属于热数据，否则，确定所述待读取的数据不属于热数据。在本专利技术实施例中，在内存和硬盘之间添加了Bcache，当待写入的数据属于热数据时，按照内存、Bcache、硬盘的顺序，确定待写入的数据能够写入的位置，优先写入内存和Bcache，当待读取的数据属于热数据时，按照内存、Bcache、硬盘的顺序，查找待读取的数据存储的位置，优先从内存和Bcache读取，这样，能够实现尽量在内存和Bcache中读写热数据，大大减少了对硬盘的操作次数，进而提高了大数据平台处理数据的速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种大数据平台的处理终端的示意图；图2是本专利技术一实施例提供的一种大数据平台的写数据的方法的流程图；图3是本专利技术一实施例提供的一种大数据平台的读数据的方法的流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例提供了一种大数据平台的处理终端，包括：内存101、Bcache102、硬盘103和数据处理模块104；所述数据处理模块104，用于执行：当接收到写操作的命令时，判断待写入的数据是否属于热数据，如果是，则执行A1；A1：判断所述内存101中是否具有存储所述待写入的数据的空本文档来自技高网...

【技术保护点】
1.一种大数据平台的处理终端，其特征在于，包括：内存、Bcache、硬盘和数据处理模块；所述数据处理模块，用于执行：当接收到写操作的命令时，判断待写入的数据是否属于热数据，如果是，则执行A1；A1：判断所述内存中是否具有存储所述待写入的数据的空间，如果是，则执行A2；否则，执行A3；A2：将所述待写入的数据写入到所述内存中；A3：判断所述Bcache中是否具有存储所述待写入的数据的空间，如果是，则执行A4，否则，执行A5；A4：将所述待写入的数据写入到所述Bcache中；A5：将所述待写入的数据写入到所述硬盘中；所述数据处理模块，用于执行：当接收到读操作的命令时，判断待读取的数据是否属于热数据，如果是，则执行B1；B1：判断所述内存中是否存在所述待读取的数据，如果是，则执行B2，否则，执行B3；B2：从所述内存中读取所述待读取的数据；B3：判断所述Bcache中是否存在所述待读取的数据，如果是，则执行B4，否则，执行B5；B4：从所述Bcache中读取所述待读取的数据；B5：从所述硬盘中读取所述待读取的数据。

【技术特征摘要】
1.一种大数据平台的处理终端，其特征在于，包括：内存、Bcache、硬盘和数据处理模块；所述数据处理模块，用于执行：当接收到写操作的命令时，判断待写入的数据是否属于热数据，如果是，则执行A1；A1：判断所述内存中是否具有存储所述待写入的数据的空间，如果是，则执行A2；否则，执行A3；A2：将所述待写入的数据写入到所述内存中；A3：判断所述Bcache中是否具有存储所述待写入的数据的空间，如果是，则执行A4，否则，执行A5；A4：将所述待写入的数据写入到所述Bcache中；A5：将所述待写入的数据写入到所述硬盘中；所述数据处理模块，用于执行：当接收到读操作的命令时，判断待读取的数据是否属于热数据，如果是，则执行B1；B1：判断所述内存中是否存在所述待读取的数据，如果是，则执行B2，否则，执行B3；B2：从所述内存中读取所述待读取的数据；B3：判断所述Bcache中是否存在所述待读取的数据，如果是，则执行B4，否则，执行B5；B4：从所述Bcache中读取所述待读取的数据；B5：从所述硬盘中读取所述待读取的数据。2.根据权利要求1所述的大数据平台的处理终端，其特征在于，所述数据处理模块，进一步用于执行：在判断出所述待写入的数据不属于热数据的情况下，执行C1；C1：判断所述内存中是否具有存储所述待写入的数据的空间，如果是，则执行C2，否则，执行C3；C2：将所述待写入的数据写入到所述内存中；C3：将所述待写入的数据写入到所述硬盘中。3.根据权利要求1所述的大数据平台的处理终端，其特征在于，所述数据处理模块，进一步用于执行：在判断出所述待读取的数据不属于热数据的情况下，执行：D1：判断所述内存中是否存在所述待读取的数据，如果是，则执行D2，否则，执行D3；D2：从所述内存中读取所述待读取的数据；D3：从所述硬盘中读取所述待读取的数据。4.根据权利要求1-3中任一所述的大数据平台的处理终端，其特征在于，所述数据处理模块，在执行所述判断待写入的数据是否属于热数据时，用于：判断所述待写入的数据是否属于预设的至少一种数据类型中的一种，如果是，则确定所述待写入的数据属于热数据，否则，确定所述待写入的数据不属于热数据；所述数据处理模块，在执行所述判断待读取的数据是否属于热数据时，用于：判断所述待读取的数据是否属于预设的至少一种数据类型中的一种，如果是，则确定所述待读取的数据属于热数据，否则，确定所述待读取的数据不属于热数据。5.一种基于权利要求1-4中任一所述的大数据平台的处理终端的大数据平台的写数据的方法，其特征在于，包括：数据处理模块当接收到写操作的命令时，判断待写入...

【专利技术属性】
技术研发人员：顾飞飞，
申请(专利权)人：山东浪潮云投信息科技有限公司，
类型：发明
国别省市：山东,37