本发明专利技术涉及一种基于云平台的分布式医学影像数据存储方法,所述方法包括以下步骤:设计云存储架构,并生成“本地‑云端”两级存储模式;根据“本地‑云端”两级存储模式,构建分布式医疗影像存储架构;构建ProxmoxVE虚拟资源环境,并针对海量医学影像文件的访问特性,在云端FastDFS上搭建Ngi nx;对云端FastDFS存储进行优化,并生成医学影像数据及元数据的存储。本发明专利技术通过“本地‑云端”两级存储模式,提供了一个大规模分布式医疗影像存储架构,实现了医学影像云存储服务针对医学影像的特殊格式D I COM及应用场景,解决了集群中存储节点同步延迟的问题,提高了缓存命中率和医学影像的存取速率。
【技术实现步骤摘要】
一种基于云平台的分布式医学影像数据存储方法
本专利技术涉及大数据
,尤其涉及一种基于云平台的分布式医学影像数据存储方法。
技术介绍
随着信息技术以及互联网技术的普及,人们已经步入了大数据时代,大数据是指数据的量和维度均很大,数据形式丰富,种类广泛,例如文本、图像、声音、数字等等。在医疗行业引入信息技术的同时,也是医疗行业的信息化、自动化程度不断提高,医疗数据则呈现TB甚至PB级别的增长。根据现有数据统计分析,预计2020年,医疗数据将急剧增长到35ZB(1ZB=230TB),相当于2009年数据量的44倍,于中国卫计委权威发布,截至2015年5月底,全国医疗卫生机构数达98.7万个,其中:医院2.6万个,基层医疗卫生机构92.2万个,专业公共卫生机构3.5万个,其他机构0.3万个,如何合理的管理和存储这些海量的医疗数据和繁琐的数据类型给医疗行业带来了巨大的压力。目前医疗数据中医学影像数据占比超过90%,是医学数据非常重要的组成部分,它具有文件格式特殊(国际统一的DICOM格式)、大多都是小文件(2KB~1MB之间)、数据量大、增长速度快、保存时间长等特点,并且医学影像技术在进十多年来取得了突飞猛进的发展,新技术、新设备不断涌现,医学影像信息被数字化、数据化后呈现了丰富多样、存储量庞大的医学大数据。根据调研,医院放射科每天的影像压缩后也有40多GB,1年约10TB,并且医学影像一般要求能存储15年,一般国内的医院都采用的是“在线-近线-离线”三级存储模式,以商用集中式存储为核心的磁盘阵列和磁带机(或光盘库)的存储模式以及采用NAS、DAS、SAN三种存储架构,属于专用网络的集中式文件系统,其固然存在高速和隔离性好的优点,但随着日时间推移,数据量的增大,在扩展上性能较差,硬件设备的成本也非常高,也很难达到医院内部甚至是区域上的共享,灵活性很差。云计算技术的出现和兴起为处理海量医学数据提供了一条新的有效途径,其具有资源整合、高可用、高性能、易扩展等显著优势外,为数据存储、检索、加工和分析提供了新的方法非常适用于医学影像数据的长期存储和快速有效的访问。
技术实现思路
为了现有技术存在的上述技术缺陷,本专利技术提供了一种基于云平台的分布式医学影像数据存储方法,可以有效解决
技术介绍
中的问题。为了解决上述技术问题,本专利技术提供的技术方案具体如下:本专利技术实施例公开了一种基于云平台的分布式医学影像数据存储方法,其特征在于:所述方法包括以下步骤:设计云存储架构,并生成“本地-云端”两级存储模式;根据“本地-云端”两级存储模式,构建分布式医疗影像存储架构;构建ProxmoxVE虚拟资源环境,并针对海量医学影像文件的访问特性,在云端FastDFS上搭建Nginx;对云端FastDFS存储进行优化,并生成医学影像数据及元数据的存储。在上述任一方案中优选的是,所述云存储架构包括应用层、存储层和平台层,所述应用层包括HIS系统和PACS系统的客户端;所述存储层为本地端和云端的两级存储模式,所述本地端包括HISserver和PACSserver,所述云端为FastDFS大规模分布式集群构建;所述平台层为通过虚拟化技术实现的构建在基础设施之上的虚拟平台。在上述任一方案中优选的是,基于内存的key-value数据库系统Redis作为缓存系统搭建在Orthanc之上,Orthanc的服务端作为本地存储医学影像的服务器,用于存储近期的文件,并根据系统所定的时间阀值定期的向云端FastDFS进行数据传输。在上述任一方案中优选的是,GNUHealth包含12个模块。在上述任一方案中优选的是,FastDFS集群由9个节点组成,并在每个节点上都搭建了主流的web服务器Nignx,其中一个TrackerServer为其他8个StorageServer的协调节点,每两个存储节点作为一组,共4组,组内相互备份。在上述任一方案中优选的是,当有下载的请求时,FastDFS下载流程如下:首先解析路径,获取到组号和文件ID;根据文件ID获取元数据信息,包括:源storageip、文件路径、名称、大小;通过调用trunk_file_stat_ex1判断文件是否存在,存在则输出文件;当文件不存在时,则进行有效性检查,检查项A:源storage是本机或者当前时间与文件创建时间的差距已经超过阈值,报错;检查项B:若是redirect后的场景,同样报错。在上述任一方案中优选的是,通过对Docker容器进行虚拟化,每个容器内运行一个应用,不同的容器互相隔离,容器间也可建立通信机制。在上述任一方案中优选的是,将Redis数据库设计为5个字典,字典(0)存放原文件的元信息,字典(1)存放缓存图像序列化的数据,字典(2)存放预测集列表,字典(3)存放病人对应的文件信息,字典(4)存放LRU列表,用于缓存替换。在上述任一方案中优选的是,医学影像文件下载流程如下:用户向系统发送文件下载请求;系统根据ID遍历缓存数据索引,根据文件ID判断缓冲区是否命中该文件,若命中,则从缓冲区读取HashMap的Value,反序列化后返回给用户,对应的数据被访问次数加1,若没有命中,则执行下一步;遍历预测集,若文件ID在预测集中,并且缓存未满,则向FastDFS的管理节点trackerserver发送文件请求,得到文件后返回给用户,并将文件序列化后存储在Redis中,对应的数据被访问次数加1,若缓存已经满,则将数据中最少访问的N个数据删除,若文件ID不在预测集中,则进入下一步;向FastDFS的管理节点trackerserver发送文件下载请求。得到文件后返回给用户,对应的数据被访问次数加1;查询是否达到预测集更新时间,若时间到,则通过访问日志根据时间是否在m年内和访问次数重新生成新的预测集;关闭连接,文件下载结束。在上述任一方案中优选的是,医学影像文件上传流程如下:用户向系统发送文件上传请求;系统根据ID遍历缓存数据索引,若存在重复ID,则返回False,否则,进入下一步;根据ID遍历元数据索引,若存在重复ID,则返回False,否则,进入下一步;向FastDFS的管理节点trackerserver发送文件上传请求,server返回false,则系统向用户返回false,否则将数据的元信息存入元数据,向用户返回true;关闭连接,文件上传结束。与现有技术相比,本专利技术的有益效果:本专利技术通过“本地-云端”两级存储模式,集成了开源HIS系统GNUHealth、开源WebPACS系统Orthanc、开源分布式文件系统FastDFS,提供了一个大规模分布式医疗影像存储架构,实现了医学影像云存储服务针对医学影像的特殊格式DICOM及应用场景,并针对海量医学影像文件的访问特性,通过在FastDFS上搭建Nginx解决集群中存储节点同步延迟的问题;针对两级本文档来自技高网...
【技术保护点】
1.一种基于云平台的分布式医学影像数据存储方法,其特征在于:所述方法包括以下步骤:/n设计云存储架构,并生成“本地-云端”两级存储模式;/n根据“本地-云端”两级存储模式,构建分布式医疗影像存储架构;/n构建ProxmoxVE虚拟资源环境,并针对海量医学影像文件的访问特性,在云端FastDFS上搭建Nginx;/n对云端FastDFS存储进行优化,并生成医学影像数据及元数据的存储。/n
【技术特征摘要】
1.一种基于云平台的分布式医学影像数据存储方法,其特征在于:所述方法包括以下步骤:
设计云存储架构,并生成“本地-云端”两级存储模式;
根据“本地-云端”两级存储模式,构建分布式医疗影像存储架构;
构建ProxmoxVE虚拟资源环境,并针对海量医学影像文件的访问特性,在云端FastDFS上搭建Nginx;
对云端FastDFS存储进行优化,并生成医学影像数据及元数据的存储。
2.根据权利要求1所述的基于云平台的分布式医学影像数据存储方法,其特征在于:存储架构包括应用层、存储层和平台层,所述应用层包括HIS系统和PACS系统的客户端;所述存储层为本地端和云端的两级存储模式,所述本地端包括HISserver和PACSserver,所述云端为FastDFS大规模分布式集群构建;所述平台层为通过虚拟化技术实现的构建在基础设施之上的虚拟平台。
3.根据权利要求2所述的基于云平台的分布式医学影像数据存储方法,其特征在于:基于内存的key-value数据库系统Redis作为缓存系统搭建在Orthanc之上,Orthanc的服务端作为本地存储医学影像的服务器,用于存储近期的文件,并根据系统所定的时间阀值定期的向云端FastDFS进行数据传输。
4.根据权利要求3所述的基于云平台的分布式医学影像数据存储方法,其特征在于:GNUHealth包含12个模块。
5.根据权利要求4所述的基于云平台的分布式医学影像数据存储方法,其特征在于:FastDFS集群由9个节点组成,并在每个节点上都搭建了主流的web服务器Nignx,其中一个TrackerServer为其他8个StorageServer的协调节点,每两个存储节点作为一组,共4组,组内相互备份。
6.根据权利要求5所述的基于云平台的分布式医学影像数据存储方法,其特征在于:当有下载的请求时,FastDFS下载流程如下:
首先解析路径,获取到组号和文件ID;
根据文件ID获取元数据信息,包括:源storageip、文件路径、名称、大小;
通过调用trunk_file_stat_ex1判断文件是否存在,存在则输出文件;
当文件不存在时,则进行有效性检查,检查项A:源storage是本机或者当前时间与文件创建时间的差距已经超过阈...
【专利技术属性】
技术研发人员:李晖,冯刚,张大斌,施若,
申请(专利权)人:贵州联科卫信科技有限公司,贵州大学,
类型:发明
国别省市:贵州;52
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。