一种数据存储结构和遥感卫星数据存储系统技术方案

一种数据存储结构和遥感卫星数据存储系统，数据存储结构包括地址模块和数据模块；其中数据模块包括N2个数据子模块；地址模块包括N1个地址子模块，每个地址子模块包括M1个地址单元，其中前(M1‑1)个地址单元中每个地址单元分别存储一个数据子模块的首物理地址，第M1个地址单元存储下一个地址子模块的首物理地址；数据存储系统包括数据接收单元、数据上传单元和用户接口单元；利用该数据存储结构和数据存储系统，可实现海量遥感卫星数据的实时记录与访问处理，极大地提高了地面系统的数据处理与记录的时效性。

【技术实现步骤摘要】

本专利技术涉及航天遥感数据存储领域，具体涉及一种遥感数据存储结构和数据存储系统，特别是一种用于实现遥感卫星高速海量内存访问的数据存储结构和数据存储系统。
技术介绍
现有的遥感卫星数据存储系统采用TCP/IP(Transmission Control Protocol/Internet Protocol，传送控制协议/网络之间互联协议)协议进行数据传输，并将接收数据存储在操作系统的内存上，然后再对该数据进行后端处理。该方案存在处理流程延迟长、实时性差等缺陷，具体如下：1)由于TCP/IP协议架构层次复杂(包括物理层、链路层、网络层、传输层、会话层、表示层、应用层)，因此采用该协议进行数据传输会存在不确定延时；此外，该协议架构中应用层需要软件支持(如传输控制协议TCP)，因而会对处理器造成一定的开销；TCP/IP协议不支持硬件的纠错重传；2)由于现有方案是将接收数据存储到操作系统的内存上，而该内存是基于实际物理介质的虚拟地址，虚拟地址与物理地址的映射管理关系需要由操作系统进行维护管理，因此当内存使用达到一定大小后会对处理器造成一定的开销；另外，由于服务器采用的操作系统为非实时操作系统，存在着用户层与内核层的分层关系，因此将接收数据存放到物理介质上需要处理器的参与，会造成一定的计算开销和存储延时。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供了一种数据存储结构和遥感卫星数据存储系统，采用数据与地址分离的数据存储结构，实现数据的快速读取，进而可以实现遥感卫星海量数据的实时记录和访问处理，满足了遥感卫星海量数据实时处理和记录的需求。本专利技术的技术解决方案是：一种数据存储结构，包括地址模块和数据模块；所述数据模块用于存储数据，包括N2个数据子模块；所述地址模块用于存储数据的地址信息，包括N1个地址子模块，每个地址子模块包括M1个地址单元，其中前(M1-1)个地址单元中每个地址单元分别存储一个数据子模块的首物理地址，第M1个地址单元存储下一个地址子模块的首物理地址。所述数据子模块为彼此不相关的离散数据子模块，每个数据子模块内部具有连续物理地址。所述地址子模块为彼此不相关的离散地址子模块，每个地址子模块内部具有连续地址。所述第N1个地址子模块的第M1个地址单元存储第1个地址子模块的首物理地址。一种遥感卫星数据存储系统，包括数据接收单元、数据上传单元和用户接口单元；所述数据接收单元用于接收来自前端传输的数据；所述数据上传单元用于接收来自数据接收单元的输出数据，并将数据上传至用户指定内存，所述用户接口单元在遥感卫星上位机中开辟数据存储结构，实现对数据上传单元上传数据的管理，所述数据存储结构为上述所述的数据存储结构。所述数据接收单元为RapidIO数据接收单元，所述RapidIO数据接收单元用于接收来自前端采用Rapidio协议进行传输的数据。所述数据上传单元为PCIE数据上传单元，所述PCIE数据上传单元接收来自数据接收单元的输出数据，并将数据打包成PCIE协议格式上传至用户指定内存。所述数据上传单元采用实时DMA技术(Direct Memory Access，直接存储器存取)将数据上传至用户指定内存。所述PCIE数据上传单元采用实时DMA技术将数据上传至用户指定内存。本专利技术与现有技术相比的有益效果是：本专利技术设置包括数据模块和地址模块的数据存储结构，地址模块中形成地址链表实现对数据模块的访问，进而可以实现遥感卫星海量数据的实时记录和访问处理，满足了遥感卫星海量数据实时处理和记录的需求。附图说明图1为数据存储结构示意图；图2为本专利技术中遥感卫星数据存储系统结构示意图；图3为RapidIO数据接收单元流程示意图；图4为PCIE数据上传单元流程示意图；图5为用户接口单元流程示意图。具体实施方式为了使本专利技术所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如图1所示为本专利技术中数据存储结构示意图，从图1可知，本专利技术提出的一种数据存储结构，包括地址模块和数据模块；所述数据模块用于存储数据，包括N2个数据子模块；所述地址模块用于存储数据的地址信息，包括N1个地址子模块，每个地址子模块包括M1个地址单元，其中前(M1-1)个地址单元中每个地址单元分别存储一个数据子模块的首物理地址，第M1个地址单元存储下一个地址子模块的首物理地址。进一步地，为了更好的实现对数据的访问，防止数据或地址重叠对数据存储、访问和处理的干扰，在实际应用中，需要保证N2个数据子模块为彼此不相关的离散数据子模块，每个数据子模块内部具有连续地址。N1个地址子模块为彼此不相关的离散数据子模块，每个地址子模块内部具有连续地址。以上所述离散指各个数据子模块以及各个地址子模块之间没有重叠或连续的地址。进一步地，所述第N1个地址子模块的第M1个地址单元存储第1个地址子模块的首物理地址，这样可以形成一个数据链表，从而可以实现从任意一个地址子模块开始进行数据读取，到最终读取完所有地址模块的地址信息。以上所述数据子模块的个数N2由实际需要进行存储或处理的数据量以及每个数据子模块的存储量决定，需要保证数据子模块的个数N2与每个数据子模块的存储量的乘积大于等于实际需要进行存储或处理的数据量。基于上述的数据存储结构，本专利技术进一步提出一种遥感卫星数据存储系统，系统框图如图2所示，从图2可知，本专利技术中的遥感卫星数据存储系统包括数据接收单元、数据上传单元和用户接口单元；其中数据接收单元用于接收来自前端传输的数据；在实际应用中，上述的数据接收单元优选为RapidIO数据接收单元，所述RapidIO数据接收单元用于接收来自前端采用Rapidio协议进行传输的数据，由于RapidIO协议架构层次更为简单(包括物理层、传输层、逻辑层)，因此相较于采用TCP/IP协议，采用RapidIO协议时数据传输延时非常低可忽略不计；并且该协议简单、流控机制及软件复杂度低，使得纠错重传机制乃至整个协议栈易于采用硬件实现，不会对处理器带来开销；此外，采用该协议还存在以下优点：高效率、低系统成本，支持点对点或是点对多点的通信，支持DMA操作，支持消息传递模式交换数据，支持分散处理和多主控系统，支持多种拓朴结构。数据上传单元用于接收来自数据接收单元的输出数据，并将数据上传至用户指定内存；进一步地，上述数据上传单元优选为PCIE数据上传单元，所述PCIE数据上传单元接收来自数据接收单元的输出数据，并将数据打包成PCIE协议格式上传至用户指定内存。由于采用PCIE协议，使得接收数据存储到内存时无需处理器的干预，并且利用PCIE协议传输数据是使用实际物理地址，因此传输延时非常低。另外，PCIE协议本身具有许多优点：协议架构简单、易于硬件实现、打包效率高、传输延时低等。进一步地，为了进一步提高数据读取的速度，数据上传单元采用实时DMA技术将数据上传至用户指定内存。用户接口单元在遥感卫星上位机中开辟数据存储结构，实现对数据上传单元上传数据的管理，所述数据存储结构为任一上述的数据存储结构。具体实施例在上位机开辟两种离散内存模块，分别用于存储数据模块和地址模块。数据模块中有N2个大小为4本文档来自技高网...

【技术保护点】
一种数据存储结构，其特征在于：包括地址模块和数据模块；所述数据模块用于存储数据，包括N2个数据子模块；所述地址模块用于存储数据的地址信息，包括N1个地址子模块，每个地址子模块包括M1个地址单元，其中前(M1‑1)个地址单元中每个地址单元分别存储一个数据子模块的首物理地址，第M1个地址单元存储下一个地址子模块的首物理地址。

【技术特征摘要】
1.一种数据存储结构，其特征在于：包括地址模块和数据模块；所述数据模块用于存储数据，包括N2个数据子模块；所述地址模块用于存储数据的地址信息，包括N1个地址子模块，每个地址子模块包括M1个地址单元，其中前(M1-1)个地址单元中每个地址单元分别存储一个数据子模块的首物理地址，第M1个地址单元存储下一个地址子模块的首物理地址。2.根据权利要求1所述的一种数据存储结构，其特征在于：所述数据子模块为彼此不相关的离散数据子模块，每个数据子模块内部具有连续物理地址。3.根据权利要求1所述的一种数据存储结构，其特征在于：所述地址子模块为彼此不相关的离散地址子模块，每个地址子模块内部具有连续地址。4.根据权利要求1所述的一种数据存储结构，其特征在于：所述第N1个地址子模块的第M1个地址单元存储第1个地址子模块的首物理地址。5.一种遥感卫星数据存储系统，其特征在于：包括数据接收单元、数据上传单元和用户接口单元；所述数据接收单元用于接收来自前端传输的数据；所述数据上传...

【专利技术属性】
技术研发人员：类成普，
申请(专利权)人：北京京坤倍益科技发展有限公司，
类型：发明
国别省市：北京;11