一种基于AR的对象交互展示方法及系统技术方案

本发明专利技术公开了一种基于AR的对象交互展示方法及系统，涉及AR技术领域，包括初始化AR环境，根据当前环境光强度和采集角度动态调整相机参数；通过图像采集模块，采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；通过手势识别模块采集用户的交互指令；根据用户的交互指令，动态调整AR环境的内容和布局，并触发与用户交互指令相关的反馈，并进行优化。本发明专利技术所述方法能够确保在各种光照条件和角度下都能获得高质量的图像，提高了图像识别的准确性和稳定性，从而提高了AR体验的流畅性和真实感，并且能够实时获取场景信息，为用户提供更加丰富和准确的AR内容，实时响应环境变化，使AR内容与真实世界更加和谐地融合。谐地融合。谐地融合。

【技术实现步骤摘要】
一种基于AR的对象交互展示方法及系统


[0001]本专利技术涉及AR
，特别是一种基于AR的对象交互展示方法及系统。

技术介绍

[0002]AR技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。目前，AR技术可以应用在博物馆进行文物展示。
[0003]然而，若图像采集模块所处场景的环境光较弱、过强或者采集角度不佳，则图像识别模块识别该图像采集模块采集到的当前图像可能会失败，这样，图像识别模块无法识别出目标对象，从而AR展示模块无法获取到目标对象对应的相关信息，并无法基于目标对象的位置对该相关信息进行展示。

技术实现思路

[0004]鉴于上述现有的基于AR的对象交互展示方法中存在的问题，提出了本专利技术。
[0005]因此，本专利技术所要解决的问题在于如何提供一种基于AR的对象交互展示方法。
[0006]为解决上述技术问题，本专利技术提供如下技术方案：一种基于AR的对象交互展示方法，其包括，初始化AR环境，根据当前环境光强度和采集角度动态调整相机参数；通过图像采集模块，采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；通过手势识别模块采集用户的交互指令；根据用户的交互指令，动态调整AR环境的内容和布局，并触发与用户交互指令相关的反馈，并进行优化。
[0007]作为本专利技术所述基于AR的对象交互展示方法的一种优选方案，其中：所述根据当前环境光强度和采集角度动态调整相机参数包括如下步骤，根据相机的当前位置和方向，确定相机对拍摄对象的当前视场角θ1；调整相机的位置，使相机对拍摄对象的当前视场角θ1调整为视场角目标值θ2；获取相机对所述拍摄对象的球谐函数系数，得到当前时刻相机可视范围内的环境光照强度I
A
；基于所述环境光照强度I
A
，计算曝光值目标值，公式如下，
[0008]式中，E
A
为曝光值目标值，ISO为相机感光度，S
H
为相机快门速度；根据所述曝光值目标值，调整相机参数。
[0009]作为本专利技术所述基于AR的对象交互展示方法的一种优选方案，其中：所述视场角目标值θ2为104
°
。
[0010]作为本专利技术所述基于AR的对象交互展示方法的一种优选方案，其中：使用计算机视觉算法进行图像处理和分析，获取实时场景信息包括，对环境图像进行预处理；
通过SURF算法对预处理后的环境图像进行特征点检测和匹配；基于所述特征点生成点云模型，使用RANSAC算法进行三维场景重建；在重建的三维场景中，使用预训练的神经网络模型进行对象识别，获取实时场景信息。
[0011]作为本专利技术所述基于AR的对象交互展示方法的一种优选方案，其中：所述通过SURF算法对预处理后的环境图像进行特征点检测是基于Hessian矩阵的行列式来进行局部特征检测，将Hessian矩阵在环境图像中的一个点表示为二阶导数组成的矩阵，在二维环境图像中，Hessian矩阵定义如下，
[0012]式中，L
xx
(x，y)是指环境图像在点 (x,y) 处的二阶X方向导数，L
xy
(x，y)是指环境图像在点 (x,y) 处的二阶Y方向导数，L
yy
(x，y)是指环境图像在点 (x,y) 处的X方向和Y方向的混合导数。
[0013]作为本专利技术所述基于AR的对象交互展示方法的一种优选方案，其中：使用RANSAC算法进行三维场景重建包括如下步骤，随机选择一个数据子集，并通过所述数据子集估计模型；通过估计的模型计算所有数据点的误差；根据设定误差阈值确定内点，若当前模型的内点数量超过之前的模型，则将当前模型作为重建的三维场景模型，其中在确定内点时，通过如下步骤进行计算，
[0014]式中，（x
i
，y
i
，Z
i
）是点云中的第i个点的坐标，A、B、C是拟合模型的参数，E是误差，n为点云中点的总数；重复上述步骤直到达到预定的迭代次数。
[0015]作为本专利技术所述基于AR的对象交互展示方法的一种优选方案，其中：所述通过手势识别模块采集用户的交互指令包括，通过RGB
‑
D相机和骨骼跟踪算法实时跟踪用户的手部骨骼动作；通过预定义的手势识别规则库将其转换为特定的交互指令；视线追踪模块通过计算眼球的偏转角度和头部的方向来确定用户的视线方向，进一步解析用户的关注点。
[0016]作为本专利技术所述基于AR的对象交互展示方法的一种优选方案，其中：所述优化包括如下步骤，利用在线反馈系统收集用户对AR环境和交互效果的评价；结合用户交互的历史数据，使用强化学习算法来调整预定义的交互规则和效果，以优化用户体验；采用了强化学习的Q
‑
Learning算法进行优化，
[0017]其中，Q(s,a)是指在状态s下采取动作a获得的预期回报，α是学习速率，r是实际获
得的立即回报，γ是折扣因子，表示未来回报的重要程度，maxQ(s',a')是在新状态s'下可以获得的最大预期回报。
[0018]一种基于AR的对象交互展示系统，包括：相机参数调整模块，用于初始化AR环境，并根据当前环境光强度动态调整相机参数；图像采集模块，用于采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；交互模块，用于通过手势识别模块采集用户的交互指令，并根据用户的交互指令，动态调整AR环境的内容和布局；优化模块，用于根据用户交互指令相关的反馈，对系统进行优化。
[0019]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现一种计及需求响应的虚拟电厂热电联合优化所述的方法的步骤。
[0020]一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一种计及需求响应的虚拟电厂热电联合优化所述的方法的步骤。
[0021]本专利技术有益效果为：能够确保在各种光照条件和角度下都能获得高质量的图像，提高了图像识别的准确性和稳定性，从而提高了AR体验的流畅性和真实感，并且能够实时获取场景信息，为用户提供更加丰富和准确的AR内容，实时响应环境变化，使AR内容与真实世界更加和谐地融合。
附图说明
[0022]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为实施例1中基于AR的对象交互展示方法的场景图；图2为实施例1中基于AR的对象交互展示方法的采集场景视场角示意图。
具体实施方式
[0023]为使本专利技术的上述目的、特征和优点能够更加明显本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR的对象交互展示方法，其特征在于：包括，初始化AR环境，根据当前环境光强度和采集角度动态调整相机参数；通过图像采集模块，采集当前环境图像，并使用计算机视觉算法进行图像处理和分析，获取实时场景信息；通过手势识别模块采集用户的交互指令；根据用户的交互指令，动态调整AR环境的内容和布局，并触发与用户交互指令相关的反馈，并进行优化；所述根据当前环境光强度和采集角度动态调整相机参数包括如下步骤，根据相机的当前位置和方向，确定相机对拍摄对象的当前视场角θ1；调整相机的位置，使相机对拍摄对象的当前视场角θ1调整为视场角目标值θ2；获取相机对所述拍摄对象的球谐函数系数，得到当前时刻相机可视范围内的环境光照强度I
A
；基于所述环境光照强度I
A
，计算曝光值目标值，公式如下，，式中，E
A
为曝光值目标值，ISO为相机感光度，S
H
为相机快门速度；根据所述曝光值目标值，调整相机参数。2.如权利要求1所述的基于AR的对象交互展示方法，其特征在于：所述视场角目标值θ2为104
°
。3.如权利要求2所述的基于AR的对象交互展示方法，其特征在于：使用计算机视觉算法进行图像处理和分析，获取实时场景信息包括，对环境图像进行预处理；通过SURF算法对预处理后的环境图像进行特征点检测和匹配；基于所述特征点生成点云模型，使用RANSAC算法进行三维场景重建；在重建的三维场景中，使用预训练的神经网络模型进行对象识别，获取实时场景信息。4.如权利要求3所述的基于AR的对象交互展示方法，其特征在于：所述通过SURF算法对预处理后的环境图像进行特征点检测是基于Hessian矩阵的行列式来进行局部特征检测，将Hessian矩阵在环境图像中的一个点表示为二阶导数组成的矩阵，在二维环境图像中，Hessian矩阵定义如下，，式中，L
xx
(x，y)是指环境图像在点 (x,y) 处的二阶X方向导数，L
xy
(x，y)是指环境图像在点 (x,y) 处的二阶Y方向导数，L
yy...

【专利技术属性】
技术研发人员：魏春玲，魏萌，何斌，魏子翔，
申请(专利权)人：中物联讯北京科技有限公司，
类型：发明
国别省市：