【技术实现步骤摘要】
本专利技术涉及数据整合领域，具体涉及一种多租户数据整合处理系统及方法。
技术介绍
1、差旅服务商一般是面对企业和政府单位提供服务，因此必须知晓企业或政府的相关人员和行政单位的信息。为保证数据的准确性、一致性和可管理性，必须对数据进行整合和规范化处理。传统的差旅管理公司（tmc）通常通过以下几种方式来获取服务的公司的人员基本信息。
2、员工自行录入：员工通过tmc提供的平台或工具自行录入个人信息，如姓名、联系方式、职位、部门等。这种方式常见于tmc提供的在线注册或登录流程中。准确性依赖员工的认真程度，可能存在数据错误或遗漏。安全性相对较低，如果平台存在安全漏洞，员工信息可能泄露。
3、公司批量导入：公司将员工的基本信息整理成电子表格（如excel），然后通过tmc提供的系统接口或工具进行批量导入。这种方式通常用于大型企业或员工数量较多的情况。需要公司先整理好员工信息，增加了前期工作量。如果导入格式或标准有误，可能导致数据导入失败或错误。
4、与公司hr系统对接：tmc的系统与公司的人力资源（hr）系统对接，实现员工信息的自动同步。这需要双方系统都支持api接口，并且双方同意进行数据交换。需要双方系统都支持api接口，并且进行技术对接，可能涉及较高的技术成本。数据同步可能受到网络、系统稳定性等因素的影响，存在数据延迟或丢失的风险。
5、纸质表单或邮件提交：在一些较为传统或特殊的情况下，员工或公司可能会通过纸质表单或电子邮件提交员工的基本信息。繁琐且容易出错，数据准确性和安全性较低。数据
6、公开号为cn112541027a的专利申请公开一种数据处理方法，该方法应用于第一系统，该第一系统可以对来自至少一个第二系统的数据进行处理。第一系统可以先接收第二系统发送的数据处理请求，接着根据该数据处理请求获取该数据处理请求对应的业务数据。根据第二系统的系统类型对业务数据进行处理，第一系统可以得到第一处理结果。第一系统可将第一处理结果发送给第二系统，以便第二系统对第一处理结果进行处理。第一系统可以根据数据处理请求确定第二系统的系统类型，从而利用符合第二系统的系统类型的处理方法对业务数据进行处理，得到第一处理结果。如此，第一系统直接对来自第二系统的数据进行处理，无需在第一系统和第二系统中创建共享服务平台，简化了系统的架构。
7、然而上述现有技术存在以下缺陷。缺乏个性化：数据处理缺乏个性化，无法满足客户的特定需求或偏好。高操作难度：对于需要用户推送的系统，用户操作难度会大大增加，会提高客服压力和对接难度，且容易出现意料外情况，这可能导致复杂的错误处理和异常管理。脏数据：用户对数据进行推送，必然有产生脏数据的风险。且在商品化产品中，多租户模式下不同的租户必然有复杂的数据特点和用户区分，用户推送的方式可能造成性能问题和功能问题。可扩展性受限：当需要支持新的第二系统类型或处理新的数据类型时，第一系统可能需要进行大量的修改和扩展工作。这限制了系统的可扩展性，增加了开发和维护的成本。系统依赖度高：数据处理方法双方系统交互过多，处理链路过长，在双方系统交互的情况下依赖通信稳定性，在第二系统较多的情况下维护成本高。
技术实现思路
1、为解决上述问题，本专利技术提供一种多租户数据整合处理系统及方法，实现定制化服务，降低操作难度，提升扩展性，并降低租户方系统依赖度。
2、第一方面，本专利技术的技术方案提供一种多租户数据整合处理系统，包括，
3、转换器中间件集合：通过业务网关从各个目标租户获取租户异构实体数据，使用转换器中间件基于预先设置的规则对租户异构实体数据进行归一化和规范化处理，获得可存入持久层的持久层实体数据，将持久层实体数据存储到持久层，并根据预设的脏数据处理标准定期清理持久层内的脏数据；
4、持久层：将由租户异构实体数据转化得到的持久层实体数据进行存储，并通过业务层将各个租户需要的数据传输至租户客户端进行展示。
5、在一个可选的实施方式中，转换器中间件集合包括，
6、数据格式化翻译服务中间件：配置用于使用预设数据格式化处理方法对租户异构实体数据进行统一的格式处理，包括将时间戳转化为标准时间、json数据规范化处理、xml数据规范化处理、大小写转换处理和数据脱敏处理；
7、字段校验服务中间件：配置用于根据预设统一校验规则对租户异构实体数据进行数据清洗处理，包括去除重复数据、处理缺失值、纠正错误或不一致数据；并根据各个租户的预设逻辑规则对租户异构实体数据进行准确性和合理性校验；
8、字段统一泛型映射服务中间件：配置用于通过泛型方式接收租户异构实体数据，根据预设映射关系将租户异构实体数据中的各个字段映射到持久层中存储模型的相应字段位置；
9、脏数据处理服务中间件：配置用于根据预设的脏数据处理标准对存入持久层之前的租户异构数据和定期对持久层内的持久层实体数据进行脏数据处理。
10、在一个可选的实施方式中，转换器中间件集合还包括，
11、异构定制化字段翻译服务中间件：配置用于根据各个租户的预设展示规则将目标字段进行翻译后在租户客户端回显，包括执行字段中英文翻译、明文解码目标字段内容、对象存储id转对象存储url、租户id转组织名。
12、第二方面，本专利技术的技术方案提供一种多租户数据整合处理方法，包括以下步骤：
13、通过接口请求形式从各个目标租户拉取租户异构实体数据；
14、使用转换器中间件基于预先设置的规则对租户异构实体数据进行归一化和规范化处理，获得可存入持久层的持久层实体数据，将持久层实体数据存储到持久层，并根据预设的脏数据处理标准定期清理持久层内的脏数据;
15、通过业务层将持久层中各个租户需要的数据传输至租户客户端进行展示。
16、在一个可选的实施方式中，使用转换器中间件基于预先设置的规则对租户异构实体数据进行归一化和规范化处理，获得可存入持久层的持久层实体数据，并将持久层实体数据存储到持久层，具体包括：
17、使用数据格式化翻译服务中间件根据预设数据格式化处理方法对租户异构实体数据进行统一的格式处理，包括将时间戳转化为标准时间、json数据规范化处理、xml数据规范化处理、大小写转换处理和数据脱敏处理；
18、使用字段校验服务中间件根据各个租户的预设逻辑规则对租户异构实体数据进行准确性和合理性校验；
19、使用字段统一泛型映射服务中间件通过泛型方式接收租户异构实体数据，根据预设映射关系将租户异构实体数据中的各个字段映射到持久层中存储模型的相应字段位置。
20、在一个可选的实施方式中，使用数据格式化翻译服务中间件根据预设数据格式化处理方法对租户异构实体数据进行统一的格式处理，具体包括：
21、从租户异构实体数据中筛选出需要进行数据格式化处理的数据实体；
22、在筛选出的数据实体相应字段上标注对应本文档来自技高网...
【技术保护点】
1.一种多租户数据整合处理系统，其特征在于，包括，
2.根据权利要求1所述的多租户数据整合处理系统，其特征在于，转换器中间件集合包括，
3.根据权利要求2所述的多租户数据整合处理系统，其特征在于，转换器中间件集合还包括，
4.一种多租户数据整合处理方法，其特征在于，包括以下步骤：
5.根据权利要求4所述的多租户数据整合处理方法，其特征在于，使用转换器中间件基于预先设置的规则对租户异构实体数据进行归一化和规范化处理，获得可存入持久层的持久层实体数据，并将持久层实体数据存储到持久层，具体包括：
6.根据权利要求5所述的多租户数据整合处理方法，其特征在于，使用数据格式化翻译服务中间件根据预设数据格式化处理方法对租户异构实体数据进行统一的格式处理，具体包括：
7.根据权利要求5所述的多租户数据整合处理方法，其特征在于，使用字段校验服务中间件根据各个租户的预设逻辑规则对租户异构实体数据进行准确性和合理性校验，具体包括：
8.根据权利要求5所述的多租户数据整合处理方法，其特征在于，使用字段统一泛型映射服务中间
9.根据权利要求4-8任一项所述的多租户数据整合处理方法，其特征在于，使用转换器中间件基于预先设置的规则对租户异构实体数据进行归一化和规范化处理，获得可存入持久层的持久层实体数据，并将持久层实体数据存储到持久层，还包括：
10.根据权利要求4-8任一项所述的多租户数据整合处理方法，其特征在于，使用转换器中间件基于预先设置的规则对租户异构实体数据进行归一化和规范化处理，获得可存入持久层的持久层实体数据，并将持久层实体数据存储到持久层，还包括：
...【技术特征摘要】
1.一种多租户数据整合处理系统，其特征在于，包括，
2.根据权利要求1所述的多租户数据整合处理系统，其特征在于，转换器中间件集合包括，
3.根据权利要求2所述的多租户数据整合处理系统，其特征在于，转换器中间件集合还包括，
4.一种多租户数据整合处理方法，其特征在于，包括以下步骤：
5.根据权利要求4所述的多租户数据整合处理方法，其特征在于，使用转换器中间件基于预先设置的规则对租户异构实体数据进行归一化和规范化处理，获得可存入持久层的持久层实体数据，并将持久层实体数据存储到持久层，具体包括：
6.根据权利要求5所述的多租户数据整合处理方法，其特征在于，使用数据格式化翻译服务中间件根据预设数据格式化处理方法对租户异构实体数据进行统一的格式处理，具体包括：
7.根据权利要求5所述的多租户数据整合处理方法，其特征在于，使用字...
【专利技术属性】
技术研发人员：曾祥林，孔壮，姜其涛，于海友，
申请(专利权)人：山东浪潮智慧文旅产业发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。