【技术实现步骤摘要】
本专利技术属于信息处理的，具体涉及一种基于web技术和深度神经网络的计算机辅助面访方法及系统。
技术介绍
1、社会调查的面访方式经历了多次的演变，从最初的纸质问卷，进步到pc端的电子问卷，再至手机和平板等移动端的电子问卷，共跨越了三个发展阶段。当前，多数计算机辅助面访系统均基于app客户端技术构建，以及在访问过程中没有对录音文件是否有声音，声音是否清晰以及是否包含多人声音等录音合规性和可用性校验；在上传访问图片的时候没有对图片是否是多个人的合照的图片合法性校验；还有在问卷完成之后也没有对问卷数据的完整性和有效性校验；这导致了开发与维护成本高，系统更新不便，数据回传滞后以及无法确定问卷数据、录音文件和访问图片的完整性、合法性和可用性等一系列问题。
技术实现思路
1、本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于web技术和深度神经网络的计算机辅助面访方法及系统，通过自动化校验问卷信息，提高问卷处理和统计的效率和准确性，并通过采用云端存储技术和按页分段录音技术，解决了数据滞后和数据安全问题。
2、为了达到上述目的，本专利技术采用以下技术方案：
3、第一方面，本专利技术提供了一种基于web技术和深度神经网络的计算机辅助面访方法，包括下述步骤：
4、访问员在面访时用户填写问卷，实时将问卷数据上传至数据存储模块，所述问卷数据包括文本数据、音频数据、影像数据以及定位数据；
5、读取文本问卷数据，利用预定义的基础检验规则对文本数据进
6、读取音频数据，根据音频的属性进行校验，在校验过程中将满足条件的音频标注为异常并向访问员做出提示；将完成校验的音频进行语音分离，统计声音来源数量；将声音来源数量与预设的数量对比，检验一致性，不一致则提示访问员并标注音频状态为异常；
7、读取影像数据，识别人脸并统计影像数据中人脸数量，保留人脸数量满足设定条件的影像数据，提取影像数据中人脸特征，将人脸特征进行相似性判断，将满足设定条件的影像数据保留；
8、校验定位数据，将设定范围内的问卷数据标注为有效，不在范围内的标注为无效。
9、作为优选的技术方案，所述用户填写问卷，实时将问卷数据上传至数据存储模块，包括：
10、用问卷引擎根据需要设置电子问卷；所述电子问卷包括文本输入模块、录音模块、摄像模块以及定位模块，文本输入模块用于提供用户输入问卷答案数据的空间，录音模块用于提供快捷键或者链接，将跨平台的录音应用连接至电子问卷，摄像模块用于提供快捷键或者链接，将跨平台的摄像应用连接至电子问卷，定位模块用于提供快捷键或者链接，将跨平台的导航或者定位应用连接至电子问卷；
11、将电子问卷投放后，用户按照电子问卷的问题输入数据，具体为：
12、按照问题输入文本内容，获取文本数据；
13、利用分段方式录入音频内容，当问卷切换界面时截断音频录入，新界面出现时继续音频录入，直至当前全部采访结束；所述音频录入的模式包括部分录音、全部录音和无录音；
14、通过摄像模块拍摄或者直接传输上传影像数据，所述影像数据包括静态图片、动态图像和视频；
15、通过定位模块记录当前受采访者的位置坐标或者网络坐标；
16、完成采集后将问卷数据同步至云端。
17、作为优选的技术方案，所述利用基础检验规则对文本数据进行基础校验，具体为：
18、设定问卷属性数值范围，将文本数据与问卷属性相对应的数值进行比较，当数值相符时，文本数据校验通过基础校验。
19、作为优选的技术方案，所述将完成基础校验的文本数据中各字段的数值特征进行提取，具体为：
20、利用历史数据并提取这些问卷中各字段的数值特征来训练孤立森林模型；
21、利用训练好的孤立森林模型对完成基础检验的文本数据进行数值特征提取，获取各项数值特征，对各项数值特征进行检测，所述数值特征包括用户基本信息、归类的某一类型题目和答案关键词。
22、作为优选的技术方案，所述逻辑关系校验，具体为：
23、利用逻辑回归模型对数值特征之间的逻辑关系进行检测，若数值特征之间存在具有逻辑关系，则检验通过，否则向用户做出重填提示；
24、所述逻辑关系包括自然规律确定的关系、法律规定的关系以及自定义关系。
25、作为优选的技术方案，所述根据音频的属性进行校验，在校验过程中将满足条件的音频标注为异常并向访问员做出提示，具体为：
26、分析音频的音量水平和能量值，根据设定阈值分析每一段音频序列的音量，当音量小于设定阈值的音频时标注音频状态为异常并向访问员做出提示，利用信噪比对其余音频序列进行清晰度分析，清晰度小于设定阈值的音频标注音频状态为异常并向访问员做出提示。
27、作为优选的技术方案，所述将清晰的音频序列进行语音分离，统计声音来源数量，具体为：
28、利用深度学习库识别序列中声音来源，从音频信号中提取声音特征，根据声音特征将音频分为若干段落，每段音频仅有单一说话人的语音；所述声音特征包括梅尔频率倒谱系数、对数梅尔频谱以及声学特征；
29、在提取声音特征时，利用音频中静音段作为分割点，使用聚类算法将不同段落分配给不同的说话人，统计获取声音来源的数量。
30、作为优选的技术方案，所述识别人脸并统计影像数据中人脸数量，保留人脸数量满足设定条件的影像数据，具体为：
31、通过mtcnn 算法来确定图片中是否有人脸，将具有人脸的影像输出至下一步；
32、对具有人脸的影像进行人脸数量统计，判断影像是否为多人合照影像，若人脸数量超过两个，则保存当前人脸影像并标注人脸数量，否则提示用户重新上传多人合照影像。
33、作为优选的技术方案，所述提取影像数据中人脸特征，将人脸特征进行相似性判断，将满足设定条件的影像数据保留，具体为：
34、假设人脸数量为两个，通过facenet模型提取人脸特征向量，通过欧氏距离算法或者余弦相似度计算两个人脸特征之间的相似性，并判断影像中的人脸是否为同一个人，若判断为同一人，则提示用户重新上传影像，否则保存该影像。
35、第二方面，本专利技术还提供了一种基于web技术和深度神经网络的计算机辅助面访系统，应用于所述的基于web技术和深度神经网络的计算机辅助面访方法，包括问卷采集模块、数据存储模块、文本校验模块、音频校验模块、影像校验模块、定位检验模块以及控制显示模块；
36、问卷采集模块，用于访问员在面访时用户填写问卷，实时将问卷数据上传至数据存储模块，所述问卷数据包括文本数据、音频数据、影像数据以及定位数据；
37、数据存储模块，用于将数据上传至云端，与向文本校验模块、音频校验模块、本文档来自技高网...
【技术保护点】
1.一种基于Web技术和深度神经网络的计算机辅助面访方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于Web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述用户填写问卷，实时将问卷数据上传至数据存储模块，包括：
3.根据权利要求1所述基于Web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述利用基础检验规则对文本数据进行基础校验，具体为：
4.根据权利要求1所述基于Web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述将完成基础校验的文本数据中各字段的数值特征进行提取，具体为：
5.根据权利要求1所述基于Web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述逻辑关系校验，具体为：
6.根据权利要求1所述基于Web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述根据音频的属性进行校验，在校验过程中将满足条件的音频标注为异常并向访问员做出提示，具体为：
7.根据权利要求6所述基于Web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述将清晰的音频序列进行语音
8.根据权利要求1所述基于Web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述识别人脸并统计影像数据中人脸数量，保留人脸数量满足设定条件的影像数据，具体为：
9.根据权利要求1所述基于Web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述提取影像数据中人脸特征，将人脸特征进行相似性判断，将满足设定条件的影像数据保留，具体为：
10.一种基于Web技术和深度神经网络的计算机辅助面访系统，其特征在于，应用于权利要求1-9中任一项所述的基于Web技术和深度神经网络的计算机辅助面访方法，包括问卷采集模块、数据存储模块、文本校验模块、音频校验模块、影像校验模块、定位检验模块以及控制显示模块；
...【技术特征摘要】
1.一种基于web技术和深度神经网络的计算机辅助面访方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述用户填写问卷，实时将问卷数据上传至数据存储模块，包括：
3.根据权利要求1所述基于web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述利用基础检验规则对文本数据进行基础校验，具体为：
4.根据权利要求1所述基于web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述将完成基础校验的文本数据中各字段的数值特征进行提取，具体为：
5.根据权利要求1所述基于web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述逻辑关系校验，具体为：
6.根据权利要求1所述基于web技术和深度神经网络的计算机辅助面访方法，其特征在于，所述根据音频的属性进行校验，在校验过程中将满足条件的音频标注为...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。