一种国际贸易数据管理系统技术方案

本发明专利技术公开了一种国际贸易数据管理系统，包括存储模块、产品管理模块、项目管理模块、样品管理模块、订单管理模块、出货管理模块和收汇管理模块，所述存储模块分别与产品管理模块、项目管理模块、样品管理模块、订单管理模块、出货管理模块和收汇管理模块连接，所述存储模块采用HDFS分布式文件存储系统，处理超大文件，流式的访问数据，一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。本发明专利技术，有效组织公司的大量数据，实现办公的自动化，继而实现公司信息管理的系统化；可很大程度上加快信息交流速度与信息共享质量，从而提高公司工作效率。高公司工作效率。高公司工作效率。

【技术实现步骤摘要】
一种国际贸易数据管理系统


[0001]本专利技术涉及贸易数据管理
，具体是一种国际贸易数据管理系统。

技术介绍

[0002]在国际贸易领域，国家与国家之间的每一笔贸易往来都是有交易记录的。在现代化的国际贸易规则下，国家之间的贸易日益频繁，每天成千上万的贸易记录所形成的数据是海量的。而且贸易记录数据是以不同格式不同语言储存在各个国家的不同机构，造就了此类数据不仅数据量大，数据结构非标准化，语言多样化等特点。有效科学地组织管理国际贸易的交易记录数据一直是该领域里的难点。挖掘贸易数据背后的商业价值更是市场上一直追逐的目标。

技术实现思路

[0003]本专利技术的目的在于提供一种国际贸易数据管理系统，以解决现有技术中的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种国际贸易数据管理系统，包括存储模块、产品管理模块、项目管理模块、样品管理模块、订单管理模块、出货管理模块和收汇管理模块，所述存储模块分别与产品管理模块、项目管理模块、样品管理模块、订单管理模块、出货管理模块和收汇管理模块连接，所述存储模块采用HDFS分布式文件存储系统，处理超大文件，流式的访问数据，一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。
[0005]优选的，所述产品管理模块包括产品类别管理、产品资料管理、产品目录管理、供应商管理、生产计划单管理、价格查询管理、产品消息管理。
[0006]优选的，所述项目管理包括客户管理、项目明细管理和项目消息管理。
[0007]优选的，所述样品管理包括样品明细管理、寄件管理和样品消息管理。
[0008]优选的，采用Hadoop和Spark的MapReduce技术框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千台商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。
[0009]优选的，基于一个快速、高层次的屏幕抓取和web抓取框架(Scrapy)，建立了分布式爬虫系统，自动提取网页的开放数据信息，包括网站地址、联系人信息、电话及电子邮件和企业信息。
[0010]优选的，通过利用基于统计的自然语言技术，包括分词、自动翻译，完成对多种语言文本数据的产品关键词提取。
[0011]优选的，通过利用基于统计的自然语言技术，包括分词、自动翻译，完成对多种语言文本数据的产品关键词提取。
[0012]与现有技术相比，本专利技术的有益效果是：通过对数据进行分类存储，可提高数据获取的效率；有效组织公司的大量数据，实现办公的自动化，继而实现公司信息管理的系统化；形成高复用性模块，以加速今后类似数据管理平台的开发速度与质量；可很大程度上加
快信息交流速度与信息共享质量，从而提高公司工作效率。
附图说明
[0013]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0014]图1是本专利技术的结构示意图；
[0015]图2是本专利技术的应用框架图；
[0016]图3为本专利技术的系统架构图；
[0017]图4为本专利技术的为产品关键词提取流程图。
具体实施方式
[0018]为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。因此，以下对在附图中提供的本专利技术的实施方式的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0019]请参阅图1
‑
4，本专利技术实施例中，一种国际贸易数据管理系统，包括存储模块、产品管理模块、项目管理模块、样品管理模块、订单管理模块、出货管理模块和收汇管理模块，所述存储模块分别与产品管理模块、项目管理模块、样品管理模块、订单管理模块、出货管理模块和收汇管理模块连接，所述存储模块采用HDFS分布式文件存储系统，处理超大文件，流式的访问数据，一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。
[0020]优选的，所述产品管理模块包括产品类别管理、产品资料管理、产品目录管理、供应商管理、生产计划单管理、价格查询管理、产品消息管理。
[0021]优选的，所述项目管理包括客户管理、项目明细管理和项目消息管理。
[0022]优选的，所述样品管理包括样品明细管理、寄件管理和样品消息管理。
[0023]优选的，采用Hadoop和Spark的MapReduce技术框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千台商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。
[0024]优选的，基于一个快速、高层次的屏幕抓取和web抓取框架(Scrapy)，建立了分布式爬虫系统，自动提取网页的开放数据信息，包括网站地址、联系人信息、电话及电子邮件和企业信息。
[0025]优选的，通过利用基于统计的自然语言技术，包括分词、自动翻译，完成对多种语言文本数据的产品关键词提取。
[0026]优选的，通过利用基于统计的自然语言技术，包括分词、自动翻译，完成对多种语言文本数据的产品关键词提取。
[0027]图2为应用框架图，包括五个部分，分别是：web，service，cache，database，bigdata；Web层主要面向用户和数据的接口化输出；Service层主要完成用户服务，支付服务，搜索服务，统计服务以及邮件发送服务；Cache层作为数据持久化之前的一个节点，主要是将热点数据放到离用户最近或访问速度更快的介质中，加快数据的访问，减小响应时间；数据库层：为应用层提供格式化的贸易记录数据，互联网数据；同时储存用户的行为数据；Bigdata层实现数据的传输，采集，清洗，标准化，以及数据的在线(离线)计算，统计分析，数据挖掘等功能；
[0028]图3为的系统架构图，通过CDN服务器完成负载均衡，内容分发和调度，然后到web应用集群和DNS服务部分，这部分通过调用用户中心，搜索引擎服务，邮件服务，支付服务以及数据统计服务完成web应用功能；期间的数据传输首先通过缓存服务器进行响应，然后进入永久数据存储集群；最后大数据平台提供数据采集、处理、清洗、标准化以及计算、统计和挖掘等功能；
[0029]采用大数据存储技术，采用HDFS分布式文件存储系统，处理超大文件(超大文件通常是指百MB、设置数百TB大小的文件)，流式的访问数据，HDFS的设计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种国际贸易数据管理系统，包括存储模块、产品管理模块、项目管理模块、样品管理模块、订单管理模块、出货管理模块和收汇管理模块，其特征在于：所述存储模块分别与产品管理模块、项目管理模块、样品管理模块、订单管理模块、出货管理模块和收汇管理模块连接，所述存储模块采用HDFS分布式文件存储系统，处理超大文件，流式的访问数据，一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。2.根据权利要求1所述的一种国际贸易数据管理系统，其特征在于：所述产品管理模块包括产品类别管理、产品资料管理、产品目录管理、供应商管理、生产计划单管理、价格查询管理、产品消息管理。3.根据权利要求1所述的一种国际贸易数据管理系统，其特征在于：所述项目管理包括客户管理、项目明细管理和项目消息管理。4.根据权利要求1所述的一种国际贸易数据管理系统，其特征在于：所述样品管理包括样品明细管理、寄件管理和样品消息管理...

【专利技术属性】
技术研发人员：庞振环，徐诚，
申请(专利权)人：上海腾道信息技术有限公司，
类型：发明
国别省市：