智能投影方法、设备和存储介质技术

本发明专利技术涉及智能投影方法、设备和存储介质，属于投影技术领域。智能投影方法包括：获取待投影环境的语义地图；接收控制指令，根据所述控制指令从所述语义地图中确定被投影物体和待投影图像，所述语义地图包括所述被投影物体的轮廓点；根据所述被投影物体的轮廓点处理待投影图像，并生成投影图像；将所述投影图像投射至所述被投影物体表面。通过获取被投影物体所在环境的语义地图，可以得到被投影物体轮廓点的坐标信息，从而自动生成投影图像，并进行投影，方便用户使用，简化操作过程，并提高用户在人机交互上的体验感。

【技术实现步骤摘要】
智能投影方法、设备和存储介质
本专利技术涉及投影
，尤其是涉及一种智能投影方法、设备和存储介质。
技术介绍
当下智能投影仪是众多智能电子设备中的热门产品。市场上的智能投影仪，是指基于无线连接技术，有内置操作系统和UI界面的投影设备。但常用的智能投影机需要固定投影到幕布或白墙上，并且通过遥控器或遥控APP来控制投影仪的界面；这样的投影方式在不规则物体上成像效果差；且这种智能投影机主要的应用功能局限于影视播放和文档演示。随着人工智能的发展和人类文明的进步，对智能产品在人机交互以及辅助工作和生活的需求逐渐增加。为了解决在不规则物体上成像效果差的缺陷，市场上有一部分光雕投影的产品，利用立体光雕投影，可以将物体(多半是不规则外形的物体)作为投影的显示表面。但相关技术的光雕投影产品需要在电脑软件上手动框出被投影物体的位置并调节轮廓，来形成光雕投影的遮罩面，从而生成投影内容，复杂的软件操作以及费时的轮廓调节，大大降低了智能产品在人机交互上的体验感。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种智能投影方法，能够自动识别被投影物体的轮廓，并生成合适的投影图像进行投影，方便用户使用，提高人机交互的体验感。根据本专利技术的第一方面实施例的智能投影方法，包括：获取待投影环境的语义地图；接收控制指令，根据所述控制指令从所述语义地图中确定被投影物体和待投影图像，所述语义地图包括所述被投影物体的轮廓点；根据所述被投影物体的轮廓点处理待投影图像，并生成投影图像；将所述投影图像投射至所述被投影物体表面。根据本专利技术实施例的智能投影方法，至少具有如下有益效果：通过获取周围环境的语义地图，可以得到被投影物体的轮廓点的坐标信息，并生成合适的投影图像进行投影，方便用户使用，简化操作过程，并提高用户在人机交互上的体验感。根据本专利技术的一些实施例，所述获取待投影环境的语义地图包括：采用基于RGB-D的SLAM算法构建待投影环境的场景地图；将所述场景地图进行语义分割，得到所述语义地图。根据本专利技术的一些实施例，所述语义分割包括：采用PointNet网络对所述场景地图进行语义分割，得到所述语义地图。根据本专利技术的一些实施例，所述根据所述被投影物体的轮廓点生成投影图像包括：将所述语义地图的点云信息转换为世界坐标信息，其中，所述被投影物体的轮廓点的点云信息转换为世界坐标信息；通过立体视觉匹配将所述被投影物体轮廓点的世界坐标信息转换为对应点的投影的图像坐标信息；根据所述对应点的投影的图像坐标信息形成投影遮罩面；根据所述投影遮罩面生成所述投影图像。根据本专利技术的一些实施例，所述控制指令包括：语音指令、动作指令、距离指令中的至少一种。根据本专利技术的一些实施例，所述控制指令为所述动作指令，所述接收控制指令，包括：采用基于YOWO的神经网络结构实时分析人体行为动作，得到所述动作指令。根据本专利技术的一些实施例，所述控制指令为所述距离指令，所述接收控制指令，包括：根据所述被投影物体的位置与人体位置的距离，得到所述距离指令。根据本专利技术的一些实施例，所述控制指令为所述语音指令，所述接收控制指令，包括：根据接收到的语音信息得到所述语音指令。根据本专利技术的第二方面实施例的智能投影设备，包括：图像采集模块，所述图像采集模块用于采集待投影环境的图像信息；处理模块，所述处理模块用于接收所述图像采集模块采集的图像信息，并根据所述图像信息生成语义地图，根据控制指令从所述语义地图中确定被投影物体，根据所述被投影物体的轮廓点生成投影图像；投影模块，所述投影模块用于接收所述投影图像，并将所述投影图像投射至所述被投影物体表面。根据本专利技术的第三方面实施例的计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面实施例所述的智能投影方法。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明下面结合附图和实施例对本专利技术做进一步的说明，其中：图1为本专利技术实施例智能投影方法的流程图；图2为本专利技术实施例获取语义地图的流程图；图3为本专利技术实施例生成投影图像的流程图；图4为本专利技术实施例智能投影设备的模块图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。术语定义：RGB-D：RGB三通道彩色图像+深度图像。SLAM(SimultaneousLocalizationAndMapping，同步定位与地图构建)：实时完成定位和制图功能。Harris角点：基于灰度图像，在水平与竖直方向上亮度变化均较大的点，以此作为图像处理时的特征点。光流算法：利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。RANSAC(RANdomSAmpleConsensus，随机抽样一致)算法：可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。是一种不确定的算法，有一定的概率得出一个合理的结果，为了提高概率必须提高迭代次数。ICP(IterativeClosestPoints,迭代最近点)算法包括两部分：对应点搜索和位姿求解,它的目的是寻求点集之间的匹配关系，求解的结果是两点集之间的平移及旋转量。ORB(OrientedFASTandRotatedBRIEF)算法是一种快速稳定的特征点检测和提取算法，许多图像拼接和目标追踪技术利用ORB特征进行实现。PointNet网络：用于对三维点云数据进行语义分割。YOWO(YouOnlyWatchOnce)神经网络结构：一种快速实时的视频动作定位的方法，用于人体检测与行为识别。参照图1，本专利技术的智能投影方法包括：110，获取待投影环境的语义地图；120，接收控制指令，根据控制指令从语义地图中确定被投影物体和待投影图像；130，根据被投影物体的轮廓点处理待投影图像，并生成投影图像；140，将投影图像投射至被投影物体表面。在一些实施例中，本专利技术的智能投影方法应用于室内的人机交互场景。示例，系统首先获取周围环境的语义地图，对环境中的物体进行识别与定位。当用户准备外出时，系统自动检测到用户外出的动作(换鞋，挎包等)，或者用户通过声音主动说出“外出”等预设的语音控制词汇，系统根据检测结果获取相应的控制指令，控制指令用于使系统确定待投影的图像内容与需要接收图像内容的被投影物体，被投影物体为接收投影图像并充当显示界面的物体。本示例中投影的图像内容为天气、时间等图像信息，被投影物体为门。确定被投影物体后，系统本文档来自技高网...

【技术保护点】
1.智能投影方法，其特征在于，包括：/n获取待投影环境的语义地图；/n接收控制指令，根据所述控制指令从所述语义地图中确定被投影物体和待投影图像，所述语义地图包括所述被投影物体的轮廓点；/n根据所述被投影物体的轮廓点处理待投影图像，并生成投影图像；/n将所述投影图像投射至所述被投影物体表面。/n

【技术特征摘要】
1.智能投影方法，其特征在于，包括：
获取待投影环境的语义地图；
接收控制指令，根据所述控制指令从所述语义地图中确定被投影物体和待投影图像，所述语义地图包括所述被投影物体的轮廓点；
根据所述被投影物体的轮廓点处理待投影图像，并生成投影图像；
将所述投影图像投射至所述被投影物体表面。


2.根据权利要求1所述的智能投影方法，其特征在于，所述获取待投影环境的语义地图包括：
采用基于RGB-D的SLAM算法构建待投影环境的场景地图；
将所述场景地图进行语义分割，得到所述语义地图。


3.根据权利要求2所述的智能投影方法，其特征在于，所述语义分割包括：
采用PointNet网络对所述场景地图进行语义分割，得到所述语义地图。


4.根据权利要求1所述的智能投影方法，其特征在于，所述根据所述被投影物体的轮廓点生成投影图像包括：
将所述语义地图的点云信息转换为世界坐标信息，其中，所述被投影物体的轮廓点的点云信息转换为世界坐标信息；
通过立体视觉匹配将所述被投影物体轮廓点的世界坐标信息转换为对应点的投影的图像坐标信息；
根据所述对应点的投影的图像坐标信息形成投影遮罩面；
根据所述投影遮罩面生成所述投影图像。


5.根据权利要求1所述的智能投影方法，其特征在于，所述控制...

【专利技术属性】
技术研发人员：樊华，沈珈靓，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44