本发明专利技术提供一种数据加载方法、装置、电子设备及存储介质，所述方法包括：获取处理单元的数据加载请求，并基于所述数据加载请求确定待加载数据的数据量；在所述待加载数据的数据量大于内存的当前可用存储空间大小的情况下，确定所述待加载数据的目标加载位置为目标磁盘空间；在所述目标磁盘空间内确定目标目录，以使得所述处理单元对所述目标目录进行锁操作，并基于所述锁操作，在同一时刻内以独占所述目标目录的方式，将所述待加载数据写入所述目标目录中的文件。本发明专利技术提供的数据加载方法、装置、电子设备及存储介质，实现了对数据加载位置的合理规划，同时保证了数据加载过程的稳定运行。稳定运行。稳定运行。
【技术实现步骤摘要】
数据加载方法、装置、电子设备及存储介质
[0001]本专利技术涉及数据处理
，尤其涉及一种数据加载方法、装置、电子设备及存储介质。
技术介绍
[0002]计算机的存储资源大致可以分为两种：内存和磁盘。在存储空间上，磁盘的可使用空间大小远大于内存；而在计算机访问速度上，对于内存的访问速度是对于磁盘访问速度的近似10万倍；即：内存的访问速度快但存储空间小，磁盘的访问速度慢但存储空间大。
[0003]一台计算机上会同时存在多个独立的处理单元，不同的处理单元对于数据的处理和计算，绝大多数是写入内存中进行处理，完成加载过程；但是内存资源是有限的，随着计算机处理单元和处理数据量的增加，内存资源也就变得紧张，此时就需要使用磁盘资源来进行加载。如何针对具体的待处理数据选择合适的加载位置，现有技术中尚未存在完整的技术方案。
技术实现思路
[0004]本专利技术的目的是提供一种数据加载方法、装置、电子设备及存储介质，用于解决现有技术中存在的技术问题。
[0005]本专利技术提供一种数据加载方法，包括：
[0006]获取处理单元的数据加载请求，并基于所述数据加载请求确定待加载数据的数据量；
[0007]在所述待加载数据的数据量大于内存的当前可用存储空间大小的情况下，确定所述待加载数据的目标加载位置为目标磁盘空间；其中，所述内存的当前可用存储空间大小是通过对内存的使用情况进行实时统计得到的；
[0008]在所述目标磁盘空间内确定目标目录，以使得所述处理单元对所述目标目录进行锁操作，并基于所述锁操作，在同一时刻内以独占所述目标目录的方式，将所述待加载数据写入所述目标目录中的文件。
[0009]根据本专利技术提供的数据加载方法，所述在所述目标磁盘空间内确定目标目录，包括：
[0010]根据待加载数据的数据量以及所述目标磁盘空间中的各个候选目录的逻辑存储空间上限值，从所述各个候选目录中确定目标目录；其中，所述目标磁盘空间至少有一个候选目录。
[0011]根据本专利技术提供的数据加载方法，方法还包括：
[0012]在所述待加载数据的数据量小于或等于内存的当前可用存储空间大小的情况下，确定所述待加载数据的目标加载位置为内存。
[0013]本专利技术还提供一种数据加载方法，包括：
[0014]根据待加载数据的数据量生成数据加载请求并发送，以使得操作系统在所述待加
载数据的数据量大于内存的当前可用存储空间大小的情况下，确定所述待加载数据的目标加载位置为目标磁盘空间，并在所述目标磁盘空间内确定目标目录；其中，所述内存的当前可用存储空间大小是通过对内存的使用情况进行实时统计得到的；
[0015]接收目标目录的信息，对所述目标目录进行锁操作，并基于所述锁操作，在同一时刻内以独占所述目标目录的方式，将所述待加载数据写入所述目标目录中的文件。
[0016]根据本专利技术提供的数据加载方法，所述对所述目标目录进行锁操作，并基于所述锁操作，在同一时刻内以独占所述目标目录的方式，将所述待加载数据写入所述目标目录中的文件，包括：
[0017]对所述目标目录进行第一锁操作，基于所述第一锁操作，获得对所述目标目录的唯一的控制权；
[0018]在所述目标目录内创建目标数据文件，将所述待加载数据写入所述目标数据文件；
[0019]对所述目标目录进行第一解锁操作，并对所述目标数据文件进行第二锁操作，基于所述第二锁操作，获得对所述目标数据文件的唯一的控制权；
[0020]在完成对所述目标数据文件的处理后，对所述目标数据文件进行第二解锁操作，并删除所述目标数据文件。
[0021]根据本专利技术提供的数据加载方法，在所述对所述目标目录进行第一锁操作之后，还包括：
[0022]对所述目标目录中已有的数据文件进行第二锁操作；
[0023]在所述已有的数据文件能够被执行所述第二锁操作的情况下，删除所述能够被执行所述第二锁操作的已有的数据文件。
[0024]本专利技术还提供一种数据加载装置，包括：
[0025]获取模块，用于获取处理单元的数据加载请求，并基于所述数据加载请求确定待加载数据的数据量；
[0026]选择模块，用于在所述待加载数据的数据量大于内存的当前可用存储空间大小的情况下，确定所述待加载数据的目标加载位置为目标磁盘空间；其中，所述内存的当前可用存储空间大小是通过对内存的使用情况进行实时统计得到的；
[0027]加载模块，用于在所述目标磁盘空间内确定目标目录，以使得所述处理单元对所述目标目录进行锁操作，并基于所述锁操作，在同一时刻内以独占所述目标目录的方式，将所述待加载数据写入所述目标目录中的文件。
[0028]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于TLS协议的通信握手方法的步骤。
[0029]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据加载方法的步骤。
[0030]本专利技术还提供一种计算机程序产品，所计算机程序产品包括有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据加载方法的步骤。
[0031]本专利技术提供的数据加载方法、装置、电子设备及存储介质，通过以待加载数据的数据量大小作为数据加载位置的选择依据，具体选定数据加载位置为内存还是磁盘，基于此
实现了对于数据加载位置选择的第一步规划；当选择磁盘作为数据加载的位置时，通过对磁盘目录执行锁操作实现单一磁盘目录下数据加载过程的唯一性，基于此实现了对于数据加载位置选择的第二步规划；基于以上规划过程，实现了数据加载过程的合理规划，有利于确保数据加载过程的稳定运行，避免出现数据加载过程中断或者磁盘崩溃的问题。
附图说明
[0032]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术提供的数据加载方法的流程示意图之一；
[0034]图2是本专利技术提供的数据加载方法的流程示意图之二；
[0035]图3是本专利技术提供的计算机存储资源结构关系图；
[0036]图4是本专利技术提供的数据加载方法结构示意图；
[0037]图5是本专利技术提供的从网络中获取数据的结构示意图；
[0038]图6是本专利技术提供的从磁盘文件目录中获取数据的结构示意图；
[0039]图7是本专利技术提供的多处理单元同时访问单一磁盘目录的结构示意图；
[0040]图8是本专利技术提供的多处理单元互斥访问单一磁盘目录的结构示意图；
[0041]图9是本专利技术提供的多处理单元并行访问多磁盘目录的结构示意图；
[0042]图1本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据加载方法，其特征在于，包括：获取处理单元的数据加载请求，并基于所述数据加载请求确定待加载数据的数据量；在所述待加载数据的数据量大于内存的当前可用存储空间大小的情况下，确定所述待加载数据的目标加载位置为目标磁盘空间；其中，所述内存的当前可用存储空间大小是通过对内存的使用情况进行实时统计得到的；在所述目标磁盘空间内确定目标目录，以使得所述处理单元对所述目标目录进行锁操作，并基于所述锁操作，在同一时刻内以独占所述目标目录的方式，将所述待加载数据写入所述目标目录中的文件。2.根据权利要求1所述的数据加载方法，其特征在于，所述在所述目标磁盘空间内确定目标目录，包括：根据待加载数据的数据量以及所述目标磁盘空间中的各个候选目录的逻辑存储空间上限值，从所述各个候选目录中确定目标目录；其中，所述目标磁盘空间至少有一个候选目录。3.根据权利要求1或2所述的数据加载方法，其特征在于，方法还包括：在所述待加载数据的数据量小于或等于内存的当前可用存储空间大小的情况下，确定所述待加载数据的目标加载位置为内存。4.一种数据加载方法，其特征在于，包括：根据待加载数据的数据量生成数据加载请求并发送，以使得操作系统在所述待加载数据的数据量大于内存的当前可用存储空间大小的情况下，确定所述待加载数据的目标加载位置为目标磁盘空间，并在所述目标磁盘空间内确定目标目录；其中，所述内存的当前可用存储空间大小是通过对内存的使用情况进行实时统计得到的；接收目标目录的信息，对所述目标目录进行锁操作，并基于所述锁操作，在同一时刻内以独占所述目标目录的方式，将所述待加载数据写入所述目标目录中的文件。5.根据权利要求4所述的数据加载方法，其特征在于，所述对所述目标目录进行锁操作，并基于所述锁操作，在同一时刻内以独占所述目标目录的方式，将所述待加载数据写入所述目标目录中的文件，包括：对所述目标目录进行第一锁操作，基于所述第一锁...
【专利技术属性】
技术研发人员：胡康宁，袁瑞峰，吴健雄，
申请(专利权)人：奇安信网神信息技术北京股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。