【技术实现步骤摘要】
本专利技术涉及人工智能，特别是涉及一种敏感词审查方法、计算设备及计算机可读存储介质。
技术介绍
1、生成式人工智能(artificial intelligence generated content，aigc)，是指基于生成对抗网络、大型预训练模型等人工智能的技术方法，通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术。aigc技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。通过训练模型和大量数据的学习，aigc可以根据输入的条件或指导，生成与之相关的内容。而大语言模型(large language model，llm)则是实现aigc的技术手段之一，尤其是在文本内容的生成上。llm以其卓越的语义理解与文本生成能力，在问答系统、智能客服、在线教育、信息检索等多个领域扮演着关键角色。但是，这些模型的广泛部署也引发了一系列新的挑战，特别是对于内容安全性和合规性的监管。
2、由于aigc平台在内容创作时，是通过基于海量的互联网文本训练得到的llm来实现的，在训练过程中不可避免地会学习到一些含有敏感信息或不适宜公开讨论的内容。当用户在问答场景中提出问题时，aigc平台可能因为其强大的联想和生成能力而返回包含敏感词的答案，这不仅可能导致用户体验下降，更可能触犯相关法律法规，引发社会伦理争议。此外，在训练过程中，如果有调用过企业内部的业务数据进行训练，在aigc平台输出内容时，不可避免会涉及到企业的内部数据和隐私信息，直接使用通用的敏感词审查工具可能无法帮助企业过滤掉这些涉及企业机密信息的词段，给企业自身
技术实现思路
1、本申请的目的在于提供一种敏感词审查方法、计算设备及计算机可读存储介质，能根据预设的敏感词审查机制，对生成式人工智能平台的输入内容和预输出内容进行敏感词审查，增强了敏感词审查的灵活性和扩展性。
2、为达到上述目的：
3、第一方面，本申请实施例提供了一种敏感词审查方法，所述方法包括：
4、获取预设的敏感词审查机制，所述敏感词审查机制包括敏感词列表和违规处理策略；
5、基于所述敏感词列表对生成式人工智能平台的输入内容和/或预输出内容进行敏感词审查；
6、当检测到所述输入内容和/或预输出内容包含所述敏感词列表中的敏感词时，执行所述违规处理策略。
7、在一实施方式中，所述获取预设的敏感词审查机制包括：根据业务需求，建立敏感词审查机制的应用程序编程接口，包括自定义的敏感词列表应用程序编程接口和自定义的违规处理策略应用程序编程接口；添加所述应用程序编程接口的端点路径和密钥，以用于在进行敏感词审查时调用所述敏感词审查机制。
8、在一实施方式中，所述根据业务需求，建立敏感词审查机制的应用程序编程接口还包括：自定义的第三方敏感词检测服务接口。
9、在一实施方式中，所述基于所述敏感词列表对生成式人工智能平台的输入内容和/或预输出内容进行敏感词检测，包括：调用所述第三方敏感词检测服务接口，对所述生成式人工智能平台的输入内容和/或预输出内容进行敏感词检测。
10、在一实施方式中，所述敏感词审查方法还包括：基于所述敏感词审查机制的应用程序编程接口设置的选用按钮进行响应，其中，所述选用按钮用于选择启用或者停用所述自定义的敏感词列表应用程序编程接口、所述自定义的违规处理策略应用程序编程接口和所述自定义的第三方敏感词检测服务接口。
11、在一实施方式中，当所述生成式人工智能平台的输出为流式输出时，所述敏感词审查方法还包括：
12、统计所述预输出内容的字符长度；
13、当所述预输出内容的字符长度达到预设的分段字符长度时，将满足所述分段字符长度的预输出内容确定为审查字段；
14、对所述审查字段进行敏感词审查。
15、在一实施方式中，所述违规处理策略包括如下至少一项：控制所述生成式人工智能平台输出预设的回复内容，或者阻止所述输入内容或所述预输出内容发布，或者替换检测到的敏感词。
16、在一实施方式中，基于所述敏感词列表对生成式人工智能平台的输入内容和/或预输出内容进行敏感词审查，包括：
17、响应于针对输入内容的审查开关和/或输出内容的审查开关的操作，基于所述敏感词列表对生成式人工智能平台的输入内容和/或预输出内容进行敏感词审查。
18、第二方面，本申请实施例提供一种计算设备，包括：处理器和存储有计算机程序的存储器，在所述处理器运行所述计算机程序时，实现上述的敏感词审查方法。
19、第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述的敏感词审查方法。
20、本申请实施例提供的敏感词审查方法、计算设备及计算机可读存储介质，基于预设的敏感词审查机制中的敏感词列表，对生成式人工智能平台的输入内容和预输出内容进行敏感词审查，当检测到输入内容或预输出内容包含敏感词列表中的敏感词时，执行敏感词审查机制中的违规处理策略，通过根据企业需求预设的敏感词审查机制，对生成式人工智能平台的输入内容和预输出内容进行敏感词审查，可以增强敏感词审查的灵活性和扩展性，降低问答过程中企业数据泄露的风险，提高业务问答的可控性，提升用户的体验感。
本文档来自技高网...【技术保护点】
1.一种敏感词审查方法，其特征在于，包括：
2.根据权利要求1所述的敏感词审查方法，其特征在于，所述获取预设的敏感词审查机制包括：
3.根据权利要求2所述的敏感词审查方法，其特征在于，所述根据业务需求，建立敏感词审查机制的应用程序编程接口还包括：自定义的第三方敏感词检测服务接口。
4.根据权利要求3所述的敏感词审查方法，其特征在于，所述基于所述敏感词列表对生成式人工智能平台的输入内容和/或预输出内容进行敏感词审查，包括：调用所述第三方敏感词检测服务接口，对所述生成式人工智能平台的输入内容和/或预输出内容进行敏感词检测。
5.根据权利要求3所述的敏感词审查方法，其特征在于，所述方法还包括：基于所述敏感词审查机制的应用程序编程接口设置的选用按钮进行响应，其中，所述选用按钮用于选择启用或者停用所述自定义的敏感词列表应用程序编程接口、所述自定义的违规处理策略应用程序编程接口和所述自定义的第三方敏感词检测服务接口。
6.根据权利要求1所述的敏感词审查方法，其特征在于，当所述生成式人工智能平台的输出为流式输出时，所述方法还包括：p>
7.根据权利要求1所述的敏感词审查方法，其特征在于，所述违规处理策略包括如下至少一项：控制所述生成式人工智能平台输出预设的回复内容，或者阻止所述输入内容或所述预输出内容发布，或者替换检测到的敏感词。
8.根据权利要求1所述的敏感词审查方法，其特征在于，基于所述敏感词列表对生成式人工智能平台的输入内容和/或预输出内容进行敏感词审查，包括：
9.一种计算设备，其特征在于，包括：处理器和存储有计算机程序的存储器，在所述处理器运行所述计算机程序时，实现权利要求1至8中任一项所述的敏感词审查方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至8中任一项所述的敏感词审查方法。
...【技术特征摘要】
1.一种敏感词审查方法，其特征在于，包括：
2.根据权利要求1所述的敏感词审查方法，其特征在于，所述获取预设的敏感词审查机制包括：
3.根据权利要求2所述的敏感词审查方法，其特征在于，所述根据业务需求，建立敏感词审查机制的应用程序编程接口还包括：自定义的第三方敏感词检测服务接口。
4.根据权利要求3所述的敏感词审查方法，其特征在于，所述基于所述敏感词列表对生成式人工智能平台的输入内容和/或预输出内容进行敏感词审查，包括：调用所述第三方敏感词检测服务接口，对所述生成式人工智能平台的输入内容和/或预输出内容进行敏感词检测。
5.根据权利要求3所述的敏感词审查方法，其特征在于，所述方法还包括：基于所述敏感词审查机制的应用程序编程接口设置的选用按钮进行响应，其中，所述选用按钮用于选择启用或者停用所述自定义的敏感词列表应用程序编程接口、所述自定义的违规处理策略应用程序编程接口和所述自定义...
【专利技术属性】
技术研发人员：蔡锦辉，胡领，
申请(专利权)人：中科云谷科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。