非结构化数据管理系统技术方案

本发明专利技术公开了一种非结构化数据管理系统，包括：前端控件模块，其安装于外围系统的用户终端上，用于非结构化数据的采集、交互和展现；协议封装模块，其封装了用户终端与消息服务模块、文件传输模块的通信协议；消息服务模块，其用于多线程并发处理，实现消息的接收、处理和反馈；文件传输模块，其用于内容传输；批处理模块，其读取外围系统批量生成的内容文件和元数据文件，通过多线程轮询方式，将内容文件和元数据文件直接存储到数据库模块中；数据库模块，其存储非结构化数据本发明专利技术实现了非结构化数据的全生命周期管理，制定统一接口和数据规范，建立稳定有效的数据管理架构，实时共享，可扩展性强，保证高可靠、及时以及高吞吐量。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种非结构化数据管理系统，包括：前端控件模块，其安装于外围系统的用户终端上，用于非结构化数据的采集、交互和展现；协议封装模块，其封装了用户终端与消息服务模块、文件传输模块的通信协议；消息服务模块，其用于多线程并发处理，实现消息的接收、处理和反馈；文件传输模块，其用于内容传输；批处理模块，其读取外围系统批量生成的内容文件和元数据文件，通过多线程轮询方式，将内容文件和元数据文件直接存储到数据库模块中；数据库模块，其存储非结构化数据本专利技术实现了非结构化数据的全生命周期管理，制定统一接口和数据规范，建立稳定有效的数据管理架构，实时共享，可扩展性强，保证高可靠、及时以及高吞吐量。【专利说明】非结构化数据管理系统
本专利技术涉及一种数据管理系统，特别涉及一种非结构化数据的管理系统。
技术介绍
随着经济全球化的发展趋势，出现了一大批跨地区、跨国界的大型企业集团。这些企业集团的分支机构分布于世界各地，而各地分支机构需要共享信息以联合作业。因此，如何对其信息进行管控，以实现企业资源的共享，已成为该类企业营运的一个重要组成部分。而信息技术的发展，使得跨机构、跨地域的数据访问与协作成为可能。目前，为了提高数据访问的效率以及减小故障的损失，企业一般采用分布式数据管理系统。分布式数据管理系统是指物理空间分散、逻辑上通过网络连接在一起的数据存储、管理系统，在该系统中，用户能像访问本地存储区的数据一样使用远程存储区的数据。而在企业信息化建设中，除了结构数据之外，还出现了大量的非结构化数据。Web环境中出现的海量HTML与XML等格式数据，多媒体数据如声音、影片、图形等，企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等，都是没有明确结构约束的非结构化数据。据研究报告显示，非结构化数据占全部数据总量的80%以上。非结构化数据在政府、企业决策中的重大应用需求中日趋重要。面对如此纷繁复杂的分布式结构，面对形式各异、信息量庞大的非结构化数据，如何能对分散的非结构化数据进行统一的集中管理，结束分散管理局面，如何能实现新增业务快速接入统一管理系统，以及如何满足行业企业系统的高并发、实时性和异地共享等需求，这些都是各个行业企业急需解决的技术问题。此外，非结构化数据隶属于外围系统业务，这些数据随业务生命周期的发展，利用频率会逐渐下降；为了合理利用资源，同时保证在线业务数据的访问效率，需要将非结构化数据定义全生命周期:在线、近线、离线。对于不同生命周期的非结构化数据采用不同的数据访问以及数据备份策略。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提出一种非结构化数据管理系统，按照统一的接口和规范，统一管理分布式结构中的非结构化数据，使得正确的数据在正确的时间到达正确的地点，并打破地域界限，实现异地数据资源实时共享和非结构化数据的全生命周期管理。为了实现上述专利技术目的，本专利技术提出了一种非结构化数据管理系统，其包括:前端控件模块，安装于外围系统的用户终端上，用于非结构化数据的采集、交互和展现；协议封装模块，封装了所述用户终端与消息服务模块、文件传输模块的通信协议；消息服务模块，用于多线程并发处理消息的接收、处理和反馈，具有消息线程数量及协议的动态配置与集群部署功能； 文件传输模块，用于内容传输；批处理模块，读取所述外围系统批量生成的内容文件和元数据文件，通过多线程轮询方式，将所述内容文件和元数据文件存储到数据库模块中；数据库模块，存储所述非结构化数据，其中包括所述批处理模块传输的所述内容文件和元数据文件，并为所述消息服务模块提供内容操作。优选地，所述各个模块之间的接口规范以及数据规范被预先规定。优选地，所述前端控件模块具有影像扫描，影像补录，影像修改，影像质检，批注，图像编辑，打印，导出，元数据编辑，同/异步上传下载功能。优选地，所述前端控件模块是使用C#所实现的ActiveX标准控件。优选地，所述协议封装模块使用SDK工具实施，通过调用所述SDK，执行影像内容的入库出库操作；所述SDK有java版和.net版,支持安装部署在AIX、Windows、Linux、HP四种操作系统。优选地，所述消息服务模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作。优选地,所述消息服务模块使用java实现多个socket接口，所述多个socket接口是并发的。优选地，所述文件传输模块能够经由所述前端控件模块或所述协议封装模块，与所述外围系统的用户终端进行交互，用于所述非结构化数据的操作，还能直接与所述外围系统的服务器终端进行交互，用于所述非结构化数据的操作；所述文件传输模块通过C语言实现。优选地，所述批处理模块使用FTP工具将所述内容文件和元数据文件放置在指定目录下。优选地，所述前端控件模块还具有条形码识别功能，可在文件扫描时同步识别文件上的条形码，自动将影像挂在条形码所对应的交易编号目录下，从而对影像自动归类。优选地，所述文件传输模块支持断点续传功能。优选地，所述文件传输模块具有参数化配置传输数据包大小功能，根据网络带宽的情况，改变传输数据包大小，从而增加传输成功的概率。优选地，非结构化数据管理系统还包括:归档模块,将业务办理结束的非结构化数据迁移到历史库中供外围系统查询，减轻对在线系统的压力。优选地，所述归档模块从所述外围系统获知业务已办理结束的非结构化数据，将非结构化数据从数据库模块迁移至历史库，外围系统再经由前端控件模块、消息服务模块访问所述归档模块。根据上述技术方案的分析可知，使用本专利技术中的非结构化数据管理系统及方法与现有技术相比较，具有如下有益的技术效果:1、对非结构化数据管理系统实施统一的接口，制定统一的非结构内容数据及元数据存储格式规范；2、对分布式结构中的非结构化数据建立稳定有效的数据管理架构，打破地域界限，实时共享，保证高可靠、及时以及高吞吐量；3、对新增业务实现快速接入，增强系统的灵活性和可扩展性；4、实现非结构化数据的全生命周期管理。【专利附图】【附图说明】图1是根据本专利技术的一个实施例的非结构化数据管理系统的结构框图。图2是根据图1所示实施例的影像内容管理系统架构图。图3是根据本专利技术的另一个实施例的非结构化数据管理系统的结构框图。【具体实施方式】下面结合附图和具体实施例对本专利技术作进一步详细描述，但不作为对本专利技术的限定。参见图1，表示根据本专利技术的一个实施例的非结构化数据管理系统的结构框图。本专利技术的非结构化数据管理系统需要与分布式安装于各个地点的外围系统相交互，尤其与外围系统中的用户终端相交互。这些用户终端可以分布在不同的办公地点，不同的城市，甚至可以分布于不同的国家。用户终端的用户对非结构化数据要采取一系列操作，这些非结构化数据例如HTML与XML等格式的数据，多媒体数据如声音、影片、图形等，企业信息化建设中合同文本、电子表格、简报档案、电子邮件数据、产品设计文档等，其格式各异，种类繁杂。外围系统中还具有一服务器终端，用于存储和备份大量的数据信息，可以为非结构化数据的批量处理提供数据支持。针对外围系统用户终端上用户操作多样性，以及服务器终端上数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：陈爱华，何方敏，汤海荣，刘哲，张海鹏，许纯旻，欧阳蜀蓉，徐树军，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：