一种智能展厅的智能交互系统技术方案

本发明专利技术涉及投影技术领域，特别涉及一种智能展厅的智能交互系统。针对单一交互方式导致观展体验不佳的问题，所采用的方案为：包括语音交互模块、体感交互模块、3D展示模块，语音交互模块供观展者通过自身声音与展品进行交互，体感交互模块供观展者通过肢体动作与展品进行交互，3D展示模块用于向观展者提供展品的三维影像。通过前述方案，可以结合声音、影像、动作等交互方式，便于捕捉观展者的观展行为和交互请求，观展者可以获得个性化的参观体验，以及更强的参与感，还可以向观展者提供重建速度更快的三维影像，为观展者提供更加智能、便捷、人性化的观展体验。人性化的观展体验。人性化的观展体验。

【技术实现步骤摘要】
一种智能展厅的智能交互系统


[0001]本专利技术涉及投影
，特别涉及一种智能展厅的智能交互系统。

技术介绍

[0002]目前，很多智能展厅的交互系统只支持单一的交互方式，如触摸屏或声控，并且由于大多数交互技术都存在局限性，例如视觉识别对光线、角度等较为敏感，语音识别对语音环境要求较高等；因此，仅支持单一的交互方式，不仅观展者难以根据自身需求选择对应的交互方式，而且观展者的交互需求也难以被快速、准确地捕捉，从而导致观展者的观展体验不佳。
[0003]因此，仍需对现有的交互系统做改进，以解决单一交互方式导致观展体验不佳的问题。

技术实现思路

[0004]本专利技术的主要目的为提供一种智能展厅的智能交互系统，以解决单一交互方式导致观展体验不佳的问题。
[0005]为实现上述目的，本专利技术提供了一种智能展厅的智能交互系统，包括：语音交互模块，供观展者通过自身声音与展品进行交互；体感交互模块，供观展者通过肢体动作与展品进行交互；3D展示模块，用于向观展者提供展品的三维影像，其包括基于视差的立体视觉三维重建模块；其中，所述基于视差的立体视觉三维重建模块包括：第一采集单元，用于基于LiDAR深度传感器采集展品的三维点云数据；第一生成单元，用于根据三维点云数据生成参考图像和源图像；第一确定单元，用于基于多视图深度估计器确定参考图像和源图像的关键帧和几何元数据；集成单元，用于基于多层感知器，将关键帧和几何元数据集成到匹配代价体中；输出单元，用于基于第一网络输出第一特征、并基于第二网络输出第二特征；其中，第一网络为二维编解码卷积网络，第二网络为神经网络，第一网络和第二网络的输入均为匹配代价体；融合单元，用于将第一特征和第二特征进行特征融合，得到第三特征；积分单元，根据第三特征进行深度平面积分，得到三维重建的展品影像。
[0006]本专利技术所提供的智能交互系统，除了包含基础的语音交互模块，还包含体感交互模块以及3D展示模块。具体的：（1）通过语音交互模块，观展者可以通过自身声音与展品进行交互；（2）通过体感交互模块，观展者可以通过肢体动作与展品进行交互，体感交互模块可以设计成桌面互动或地面互动或墙体互动，桌面互动为虚拟与现实的融合，将展品或界
面系统投影到桌面，通过触摸、手势获得多样的内容展示，墙体互动可分为单点墙体互动、多点墙体互动、感应墙体互动等，地面互动可以带来沉浸式的互动体验；（3）通过3D展示模块，观展者可以看到展品的三维影像，并且，3D展示模块包括基于视差的立体视觉三维重建模块，基于视差的立体视觉三维重建模块包括第一采集单元、第一生成单元、第一确定单元、集成单元、输出单元、融合单元、积分单元，更为具体的，（3.1）第一采集单元利用雷达技术采集展品的三维点云数据，以备生成参考图像和源图像；（3.2）第一生成单元根据三维点云数据生成参考图像和源图像，以备后续确定参考图像和源图像的关键帧和几何元数据；（3.3）第一确定单元基于多视图深度估计器确定参考图像和源图像的关键帧和几何元数据，以备后续将关键帧和几何元数据集成到匹配代价体中，匹配代价体（Cost Volume）是在双目匹配中用于衡量左右视图的相似性的参数，是立体匹配问题中的一种左右视差搜索空间；（3.4）集成单元基于多层感知器，将关键帧和几何元数据集成到匹配代价体中，以备后续利用匹配代价体输出特征；（3.5）输出单元基于第一网络输出第一特征、并基于第二网络输出第二特征，以备后续进行特征融合；（3.6）融合单元将第一特征和第二特征进行特征融合，得到第三特征，以备后续进行深度平面积分，进行特征融合可以学习更有代表性的特征；（3.7）积分单元，根据第三特征进行深度平面积分，得到三维重建的展品影像。与基于双目/多目视觉的传统三维重建方法（利用校正图像找到图片的匹配点，然后根据几何原理恢复出相关展品的三维图像）相比，基于视差的立体视觉三维重建模块，在深度估计方面有明显优势，而且重建速度非常快。
[0007]通过上述具体描述可知，智能交互系统结合了声音、影像、动作等交互方式，便于捕捉观展者的观展行为和交互请求，观展者可以获得个性化的观展体验以及更强的参与感，三维影像的重建速度更快，为观展者提供更加智能、便捷、人性化的观展体验。
附图说明
[0008]图1是本专利技术实施例一所提供的一种智能展厅的智能交互系统的组成结构图；图2是本专利技术实施例二所提供的一种智能展厅的智能交互系统的组成结构图；图3是本专利技术实施例三所提供的一种智能展厅的智能交互系统的组成结构图；图4是本专利技术实施例四所提供的一种智能展厅的智能交互系统的组成结构图；图5是本专利技术实施例八所提供的一种智能展厅的智能交互系统的组成结构图；图6是本专利技术实施例十所提供的一种智能展厅的智能交互系统的组成结构图。
[0009]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0010]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0011]实施例一本专利技术实施例提供了一种智能展厅的智能交互系统，如图1所示，包括：语音交互模块10，供观展者通过自身声音与展品进行交互；体感交互模块11，供观展者通过肢体动作与展品进行交互；
3D展示模块12，用于向观展者提供展品的三维影像，其包括基于视差的立体视觉三维重建模块13；其中，基于视差的立体视觉三维重建模块13包括：第一采集单元14，用于基于LiDAR深度传感器采集展品的三维点云数据；第一生成单元15，用于根据三维点云数据生成参考图像和源图像；第一确定单元16，用于基于多视图深度估计器确定参考图像和源图像的关键帧和几何元数据；集成单元17，用于基于多层感知器，将关键帧和几何元数据集成到匹配代价体中；输出单元18，用于基于第一网络输出第一特征、并基于第二网络输出第二特征；其中，第一网络为二维编解码卷积网络，第二网络为神经网络，第一网络和第二网络的输入均为匹配代价体；融合单元19，用于将第一特征和第二特征进行特征融合，得到第三特征；积分单元20，根据第三特征进行深度平面积分，得到三维重建的展品影像。
[0012]本实施例所提供的智能交互系统，除了包含基础的语音交互模块10，还包含体感交互模块11以及3D展示模块12。具体的：（1）通过语音交互模块10，观展者可以通过自身声音与展品进行交互；（2）通过体感交互模块11，观展者可以通过肢体动作与展品进行交互，体感交互模块11可以设计成桌面互动或地面互动或墙体互动，桌面互动为虚拟与现实的融合，将展品或界面系统投影到桌面，通过触摸、手势获得多样的内容展示，墙体互动可分为单点墙体互动、多点墙体互动、感应墙体互动等，地面互动可以带来沉浸式的互动体验；（3）通过3D展示模块12，观展者可以看到展品的三维影像，并且，3D展示模块12包括基于视差的立体视觉三维重建模块13，基于视差的立体视觉三维重建模块13包括第一采集单元14、第一生成单元15、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能展厅的智能交互系统，其特征在于，包括：语音交互模块，供观展者通过自身声音与展品进行交互；体感交互模块，供观展者通过肢体动作与展品进行交互；3D展示模块，用于向观展者提供展品的三维影像，其包括基于视差的立体视觉三维重建模块；其中，所述基于视差的立体视觉三维重建模块包括：第一采集单元，用于基于LiDAR深度传感器采集展品的三维点云数据；第一生成单元，用于根据三维点云数据生成参考图像和源图像；第一确定单元，用于基于多视图深度估计器确定参考图像和源图像的关键帧和几何元数据；集成单元，用于基于多层感知器，将关键帧和几何元数据集成到匹配代价体中；输出单元，用于基于第一网络输出第一特征、并基于第二网络输出第二特征；其中，第一网络为二维编解码卷积网络，第二网络为神经网络，第一网络和第二网络的输入均为匹配代价体；融合单元，用于将第一特征和第二特征进行特征融合，得到第三特征；积分单元，根据第三特征进行深度平面积分，得到三维重建的展品影像。2.根据权利要求1所述的一种智能展厅的智能交互系统，其特征在于，所述智能展厅的智能交互系统还包括：第二采集单元，用于采集第一数据；其中，第一数据用于辅助判断观展者的交互倾向，第一数据为展品信息、观展者信息、展厅环境信息中的至少一种。3.根据权利要求1所述的一种智能展厅的智能交互系统，其特征在于，所述智能展厅的智能交互系统还包括：键入命令式交互模块，供观展者通过手动键入命令与展品进行交互；沉浸式交互模块，用于向观展者提供与展品的沉浸式交互；总控模块；通信模块；其中，所述语音交互模块、所述体感交互模块、所述3D展示模块、所述键入命令式交互模块以及所述沉浸式交互模块均通过所述通信模块与所述总控模块通信；所述语音交互模块、所述体感交互模块、所述键入命令式交互模块以及所述沉浸式交互模块，均用于接收观展者发出的交互请求，并将交互请求转发给所述总控模块，还用于接收反馈指令，并向观展者反馈与反馈指令对应的内容；反馈指令由所述总控模块根据交互请求生成并进行转发。4.根据权利要求1所述的一种智能展厅的智能交互系统，其特征在于，所述3D展示模块还包括全息投影模块，所述全息投影模块为薄膜全息投影模块或数码全息投影模块。5.根据权利要求1所述的一种智能展厅的智能交互系统，其特征在于，所述智能展厅的智能交互系统还包括：实体标签，其与展品对应且与其距离为预设长度，还带有供观展者所持移动终端识别的条形码或二维码；其中，条形码或二维码储存有展品信息。6.根据权利要求1所述的一种智能展厅的智能交互系统，其特征在于，所述语音交互模块包括：
语音检测模块，用于基于麦克风阵列检测观展者的声音信号；降噪模块，用于对声音信号进行降噪处理，并得到降噪信号；文本生成模块，用于基于自动语音识别工具生成与降噪信号对应的文本内容；语音命令解析模块，基于TCResNet网络解析文本内容，并生成与文本内容对应的语音命令；语音导航模块，用于为观展者提供导航内容，导航内容包括与语音命令对应的反馈内容。7.根据权利要求6所述的一种智能展厅的智能交互系统，其特征在于，所述降噪模块包括：第一提取单元，用于基于数字滤波器分析声音信号中观展者声音以及噪声的强度和频谱分布，得到观展者声音以及噪声的特征信息；噪声抑制单元，用于对比观展者声音以及噪声的频谱分布，并根据对比结果抑制噪声的频谱，得到降噪信号；所述文本生成模块包括：第一转换单元，用于对降噪信号进行模数转换、分帧、加窗、傅里叶变换、频谱计算、特征提取，并得到特征矩阵；第二生成单元，用于接收所述第一转换单元输入的特征矩阵，并生成对应的拼音标签序列；第二...

【专利技术属性】
技术研发人员：王卫文，张勇，钟玉，钟林，陈军，
申请(专利权)人：深圳大学，
类型：发明
国别省市：