【技术实现步骤摘要】
本专利技术涉及数据安全，尤其涉及一种跨安全区域高效文件同步方法。
技术介绍
1、公安边界数据安全交换平台业内简称安全边界，按照用途分为数据边界和视频边界，其中数据边界按照传输方式分为文件摆渡、数据库同步和端口映射(安全规范禁止使用)。
2、如图1所示为现有技术中互联网数据传入视频专网的流程示意图，图2和图3所示分别为现有技术中互联网数据传入视频专网时安全边界文件同步内部简要流程图和视频专网侧应用程序处理流程图。
3、结合图1图3可知，现有技术存在的问题包括：1、b侧程序需要定时扫描ftp才能判断是否存在新文件，继而进行后续业务处理；在大批量数据同步时存在性能问题；2、业务处理延迟一方面依赖与应用程序扫描频率，扫描频率过高反向影响ftp服务性能；3、大批量数据文件同步时，b侧ftp单节点存在性能瓶颈且存在单点故障问题；4、b侧使用ftp集群+共享存储解决了单点故障问题，但b侧应用程序只能用单进程进行ftp扫描(多进程扫描文件列表重复)，性能瓶颈后置到b侧应用程序；5、没有可视化软件来完成不同业务系统不同数据种类跨网数据传输。
技术实现思路
1、本专利技术针对现有技术中存在的技术问题，提供一种跨安全区域高效文件同步方法，解决现有技术中性能、可靠性、使用便捷性上存在的问题。
2、根据本专利技术的第一方面，提供了一种跨安全区域高效文件同步方法，视频专网侧设置有高性能ftp服务、消息队列组件和摆渡网关，所述同步方法包括：
3、步骤1，视频专网侧
4、步骤2，所述摆渡网关从所述消息队列组件中订阅对应消息，对同步数据进行解析还原后返回给所述消息队列组件；
5、步骤3，视频专网侧的应用程序从所述消息队列组件中订阅对应消息，通过filepath进行文件下载。
6、在上述技术方案的基础上，本专利技术还可以作出如下改进。
7、可选的，所述高性能ftp服务模块包括：ftp模块、配置模块、消息发送模块和http服务模块；
8、所述ftp模块用于将接收到文件完成文件流写入磁盘；
9、所述配置模块用于配置所述同步文件消息的消息体格式，所述同步文件消息的内容包括：文件http地址、当前ftp的ip、接收到文件的时间和发送消息的时间；
10、所述http服务模块用于提供文件访问的http服务，并对外提供文件删除restful服务；
11、所述消息模块用于发送所述同步文件消息到所述消息队列组件。
12、可选的，所述步骤2包括：
13、步骤201，系统配置，包括：运行模式配置、ftp配置、文件打包配置、消息组件配置和分布式文件存储配置；
14、步骤202，添加同步任务并进行消息体http处理；
15、步骤203，设置所述摆渡网关的运维管理；
16、步骤204，配置完成后摆渡网关处理逻辑。
17、可选的，所述步骤201中所述运行模式配置为配置所述摆渡网关作为文件上传端或是文件下载端运行，并对文件上传端进行ttp配置和文件打包配置以及对文件下载端进行消息组件配置和分布式文件存储配置；
18、所述ftp配置包括：在运行模式为上传端时配置单节点或集群ftp的主机ip、用户名、端口、密码以及根目录信息；
19、所述文件打包配置包括：基于从消息队列获取到的消息数量配置打包条数以及配置等待时长；
20、所述消息组件配置包括：配置下载端依赖的消息组件信息，包括消息组件类型，以及对应消息队列ip、端口和路由键/topic；
21、所述分布式文件存储配置包括配置下载端压缩包中非结构化文件上传至分布式存储。
22、可选的，所述步骤202中添加同步任务的过程包括：
23、消息组件类型为rabbitmq/activemq时，配置同步任务数据来源为消息队列信息中的ip、端口、用户名、密码、交换器、队列名和路由键，以及任务名称和任务唯一标识；
24、消息组件类型为kafka时，配置同步任务数据来源为消息队列信息中的ip、端口和topic，以及任务名称和任务唯一标识。
25、可选的，所述步骤202中进行消息体http处理的过程包括：
26、判断消息体中有字段是http路径时，上传端根据场景进行http路径代理配置或者下载文件字段配置；
27、进行http路径代理配置的内容包括：设置消息体中相应字段http文件路径代理模式，填写的信息有http路径代理策略、代理服务地址以及需代理的字段列表；
28、进行下载文件字段配置的内容包括：设置消息体中文件字段列表，配置后上传端同步时会取出字段对应的http地址值，然后下载文件联同数据json文件一起打包成压缩包。
29、可选的，所述步骤203中设置所述摆渡网关的运维管理包括：
30、在所述摆渡网关任务执行过程中将每个文件同步明细存入同步记录日志表中；
31、清理过期同步记录日志数据；
32、将同步日志记录表中创建时间为昨日的数据打包成文件同步至所述视频专网侧，所述视频专网侧解析处理后将数据写入同步记录日志_其它表中；
33、根据同步记录日志表提供明细查询以及报表统计的可视化界面；
34、根据所述同步记录日志表和同步记录日志_其它表中关联查询提供文件同步明细核对以及文件同步明细统计功能，对比每个文件是否成功同步完成，快速进行问题定位。
35、可选的，所述步骤204中配置完成后摆渡网关处理逻辑中上传端的处理方法包括：
36、步骤20401，读取同步任务列表数据；
37、步骤20402，根据任务设置消息队列信息创建对应的消费者程序；
38、步骤20403，同步任务未配置消息体http处理或者仅进行了http路径代理配置时，根据配置模块-文件打包配置中的等待时长以及打包条数，进行批处理逻辑，多条数据生成一个json文件；
39、步骤20404，同步任务配置了消息体http处理且为文件打包配置时，则进行单条处理逻辑，一条数据生成一个压缩包文件；
40、步骤20405，将文件上传至ftp；
41、步骤20406，记录运维数据至同步记录日志表。
42、可选的，所述步骤204中配置完成后摆渡网关处理逻辑中下载端的处理方法包括：
43、步骤20411，读取同步任务列表数据，根据任务设置消息队列信息创建对应的生产者程序；
44、步骤20412，创建高性能ftp服务对应的消息消费者程序，用于监听通过安全边界同步过来的文件消息；
45、步骤20413，通过文件消息体中的文件http路径下载文件，并解析文件名取出任务唯一标识字段值；
4本文档来自技高网...
【技术保护点】
1.一种跨安全区域高效文件同步方法，其特征在于，视频专网侧设置有高性能FTP服务、消息队列组件和摆渡网关，所述同步方法包括：
2.根据权利要求1所述的同步方法，其特征在于，所述高性能FTP服务模块包括：FTP模块、配置模块、消息发送模块和HTTP服务模块；
3.根据权利要求1所述的同步方法，其特征在于，所述步骤2包括：
4.根据权利要求3所述的同步方法，其特征在于，所述步骤201中所述运行模式配置为配置所述摆渡网关作为文件上传端或是文件下载端运行，并对文件上传端进行TTP配置和文件打包配置以及对文件下载端进行消息组件配置和分布式文件存储配置；
5.根据权利要求3所述的同步方法，其特征在于，所述步骤202中添加同步任务的过程包括：
6.根据权利要求3所述的同步方法，其特征在于，所述步骤202中进行消息体HTTP处理的过程包括：
7.根据权利要求3所述的同步方法，其特征在于，所述步骤203中设置所述摆渡网关的运维管理包括：
8.根据权利要求3所述的同步方法，其特征在于，所述步骤204中配置完成后摆渡网
9.根据权利要求3所述的同步方法，其特征在于，所述步骤204中配置完成后摆渡网关处理逻辑中下载端的处理方法包括：
...【技术特征摘要】
1.一种跨安全区域高效文件同步方法，其特征在于，视频专网侧设置有高性能ftp服务、消息队列组件和摆渡网关，所述同步方法包括：
2.根据权利要求1所述的同步方法，其特征在于，所述高性能ftp服务模块包括：ftp模块、配置模块、消息发送模块和http服务模块；
3.根据权利要求1所述的同步方法，其特征在于，所述步骤2包括：
4.根据权利要求3所述的同步方法，其特征在于，所述步骤201中所述运行模式配置为配置所述摆渡网关作为文件上传端或是文件下载端运行，并对文件上传端进行ttp配置和文件打包配置以及对文件下载端进行消息组件配置和分布式文件存储...
【专利技术属性】
技术研发人员：杜冬军，陈文，谌权，谭军胜，
申请(专利权)人：武汉中科通达高新技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。