【技术实现步骤摘要】
本专利技术涉及人格特征抗检测领域，具体是一种语义约束的多模态人格特征抗检测方法和装置。
技术介绍
1、人格作为人的高阶隐私，包含了个体的性格特征、情感倾向、行为模式等深层次的信息，是最为敏感和私密的个人数据之一。在互联网环境中，由于个人隐私保护，基础个人信息获取门槛高，影响相对直接和有限。而人格特征作为高阶隐私，隐匿于个人所有发布的信息中，获取门槛相对较低，不仅包含了个体的深层心理特征，还能通过行为模式和情感倾向准确预测一个人的行动和决策，具有极高的价值。近年以来，随着互联网技术不断发展，社交平台和视频平台逐渐兴起。根据cnnic和mob研究院以及backlinko的统计，截止到2023年，我国网民规模10.92亿人，短视频用户占比已达95.2%；截止到2024年，世界80.6亿人中有47.4亿活跃的视频用户；线上社交媒体用户超过49.5亿人。超大规模的用户数量造就了来自社交平台、视频平台等互联网应用上的海量数据，这些数据包含了丰富的人格特征。
2、一系列的多模态性格检测研究表明：基于来自互联网的海量视频数据，通过人的动作、脸部变化、语言等特征分析人的表象人格，人格隐私极易被泄露、利用。在显性人格分析 (apparent personality analysis) 领域，相关检测能够根据画面、文字以及音频等多模态信息来检测用户的人格特质。相关的研究可以分析个体的行为，如面部表情、语音特征、身体语言、文本内容和社交互动模式，来预测人格特质，分析个体的思维方式、性格、情绪状态和社会关系。通过多模态性格检测技术，攻击者能轻
3、当前，多模态人格检测技术基本依赖于深度神经网络结构。部分研究表明，在基于深度神经网络的模型中，网络参数无法完全覆盖整个语义信息空间，参数学习的输入与输出的映射并不连续，通过构建包含轻微扰动的对抗样本可能对结果产生较大的结果影响。这些作为扰动的对抗样本为人格保护提供了重要的技术基础。然而，已有针对视频的多模态抗检测方法却忽视了对人格特征的关注，无法直接迁移到多模态人格隐私防护过程中。不同模态的人格特征暴露点不同，针对不同模态的扰动也不尽相同，需要针对不同模态分别进行针对性隐私保护，进一步增大了不同模态融合的难度，难以运用到多模态性格检测的防御过程中，同时给视频人格检测的隐私保护带来了巨大挑战。
4、因此，如何保留原始视频的语义，生成不同模态的抗性格检测对抗样本，合成抗性格检测的生成视频，提高生成视频的自然度，是社交网络视频人格特征抗检测领域面临的重要问题。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于序列标注的网页正文定位方法、装置和计算机设备。
2、一种语义约束的多模态人格特征抗检测方法，所述方法包括：
3、对原始视频进行抽帧，得到图片帧，生成所述图片帧的对抗帧和混合帧，将所述图片帧、对抗帧和混合帧，生成视觉对抗样本；
4、对所述原始视频中的音频流进行识别，得到文本信息，根据所述文本信息中包含的不同人格特征对应的语言风格，引导llm模型生成与所述文本信息语义相似的文本对抗样本；
5、对所述文本对抗样本和所述视觉对抗样本进行融合，得到抗检测的视频数据。
6、在其中一个实施例中，还包括：对所述图片帧和所述文本信息进行融合，得到多模态融合信息；将所述多模态融合信息输入预先训练的多模态性格检测模型，输出所述原始视频数据中人物对应的人格特征。
7、在其中一个实施例中，还包括：将所述图片帧输入预先训练的dan网络，根据多模态性格检测模型输出的人格特征与所述dan网络输出的人格特征进行对比，对所述图片帧的样本质量进行评估。
8、在其中一个实施例中，还包括：将所述文本信息输入d-dgcn网络，根据多模态性格检测模型输出的人格特征与所述d-dgcn网络输出的人格特征进行对比，对所述文本信息的样本质量进行评估。
9、在其中一个实施例中，还包括：对样本质量达到预设条件的图片帧，使用mi-fgsm算法和dan网络进行t轮迭代更新，生成对抗帧和混合帧，将所述图片帧、对抗帧和混合帧，生成视觉对抗样本。
10、在其中一个实施例中，还包括：根据系统指令、知识提示和任务要求，生成提示模板；根据所述提示模板、预设的语义相似度检测算法以及预设值的质量阈值，引导llm模型生成与所述文本信息语义相似的文本对抗样本。
11、在其中一个实施例中，还包括：根据预训练的syncnet网络对所述文本对抗样本和所述视觉对抗样本进行融合，得到抗检测的视频数据。
12、一种语义约束的多模态人格特征抗检测装置，所述装置包括：
13、视觉对抗样本生成模块，用于对原始视频进行抽帧，得到图片帧，生成所述图片帧的对抗帧和混合帧，将所述图片帧、对抗帧和混合帧，生成视觉对抗样本；
14、文本对抗样本生成模块，用于对所述原始视频中的音频流进行识别，得到文本信息，根据所述文本信息中包含的不同人格特征对应的语言风格，引导llm模型生成与所述文本信息语义相似的文本对抗样本；
15、抗检测视频生成模块，用于对所述文本对抗样本和所述视觉对抗样本进行融合，得到抗检测的视频数据。
16、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现方法的步骤：
17、对原始视频进行抽帧，得到图片帧，生成所述图片帧的对抗帧和混合帧，将所述图片帧、对抗帧和混合帧，生成视觉对抗样本；
18、对所述原始视频中的音频流进行识别，得到文本信息，根据所述文本信息中包含的不同人格特征对应的语言风格，引导llm模型生成与所述文本信息语义相似的文本对抗样本；
19、对所述文本对抗样本和所述视觉对抗样本进行融合，得到抗检测的视频数据。
20、上述语义约束的多模态人格特征抗检测方法和装置，分为视觉性格检测对抗样本生成、文本性格检测对抗样本生成两大部分。进行视觉性格检测对抗样本生成时，通过原视频抽帧、对抗帧生成、混合帧合成，生成视觉对抗样本；进行文本性格检测对抗样本生成时，通过构建系统角色、知识提示、任务描述的提示文本框架，引导大语言模型理解不同人格特征的语言风格，刺激llm生成语义约束下的对抗样本。通过对抗样本生成时检测模型的迭代生成和最终对抗样本生成后的指标微调，减小对抗样本生成过程中的误差，获得效果较好的对抗样本。从而生成多模态人格特征抗检测的视频。
本文档来自技高网...【技术保护点】
1.一种语义约束的多模态人格特征抗检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括；
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，生成所述图片帧的对抗帧和混合帧，将所述图片帧、对抗帧和混合帧，生成视觉对抗样本，包括：
6.根据权利要求4所述的方法，其特征在于，根据所述文本信息中包含的不同人格特征对应的语言风格，引导LLM模型生成与所述文本信息语义相似的文本对抗样本，包括：
7.一种语义约束的多模态人格特征抗检测装置，其特征在于，所述装置包括：
【技术特征摘要】
1.一种语义约束的多模态人格特征抗检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括；
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：马行空，胡成鑫，邱厚杰，赖宇，曾俊霖，李嘉豪，刘姝含，王欣怡，孟祥云，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。