运动预测的方法和电子设备技术

一种运动预测方法，该方法包括接收由无线电波传感器输出的空间信息，其中，空间信息包括至少一个点的位置和速度；接收相机拍摄的图像；根据空间信息和图像跟踪至少一个物体，得到合并的跟踪结果；根据合并的跟踪结果，预测至少一物体的运动轨迹，得到预测结果；并根据预测结果控制相机。预测结果控制相机。预测结果控制相机。

【技术实现步骤摘要】
运动预测的方法和电子设备
[0001]相关申请的交叉引用
[0002]本申请根据35U.S.C.
§
119要求于2022年4月19日提交的申请号为17/224,008、题为“运动预测的方法和电子设备”的美国专利申请的优先权，其主题通过引用并入本专利技术。


[0003]本专利技术涉及一种方法和应用该方法的电子设备，尤其涉及一种使用深度传感器和相机进行运动预测的方法和电子设备。

技术介绍

[0004]当人们想用相机拍摄照片或视频时，往往来不及捕捉关键时刻。当用户提前拍摄照片以捕捉一系列图像时，由于相机的每秒帧数(frames per second，fps)有限，快照仍可能会错过关键时刻。当利用基于图像的算法(例如用于分类和识别的机器学习来协助物体跟踪以进行自适应快照)时，许多挑战会导致图像/视频质量不足和用户体验不佳。例如，挑战可能是时间滞后和高功耗、劫持、集中化、漂移和失去焦点。
[0005]电子图像稳定(Electronic Image Stabilization，EIS)基于图像内容检测来跟踪和补偿相机移动。与上述基于图像的物体跟踪类似(尽管使用不同的算法)，仍然存在可能导致EIS结果不完美的挑战。例如，挑战可能是劫持、时间滞后、高系统功耗和有效视野(Field of View，FoV)损失。

技术实现思路

[0006]为了解决上述问题，本专利技术提供了一种运动预测方法。该方法包括：接收无线电波传感器输出的空间信息，其中，空间信息包括至少一个点的位置和速度；接收相机拍摄的图像；根据空间信息和图像跟踪至少一个物体，得到跟踪结果；根据跟踪结果预测至少一物体的运动轨迹，得到预测结果；并根据预测结果控制相机。
[0007]根据上述方法，空间信息还包括帧级置信度指示符。
[0008]根据上述方法，帧级置信度指示符是基于无线电波传感器在帧内接收到的反射波的信号功率电平的稳定性确定的。
[0009]根据上述方法，基于空间信息和图像对至少一物体进行跟踪得到跟踪结果的步骤包括：对图像进行处理，得到图像中的至少一个物体的至少一种属性；将空间信息与图像中至少一物体的至少一属性融合，得到跟踪结果。
[0010]根据上述方法，通过使用人工智能(Artificial Intelligence，AI)、机器学习(Machine Learning，ML)内容检测和计算机视觉(Computer Vision，CV)中的至少一种对图像进行处理来获得图像中至少一个物体的至少一个属性。
[0011]根据上述方法，根据预测结果控制相机的步骤包括：根据预测结果设置相机参数和图像参数中的至少一种；根据设置的相机参数和设置的图像参数拍摄最终图像。
[0012]根据上述方法，相机参数包括基于预测结果的相机的快门时序、快门速度和焦距
中的至少一项，并且图像参数专用于图像处理。
[0013]根据上述方法，基于空间信息和图像跟踪至少一个物体以获得跟踪结果的步骤包括基于空间信息生成第一跟踪结果；基于图像生成第二跟踪结果；统一第一跟踪结果和第二跟踪结果，得到合并的跟踪结果。
[0014]根据上述方法，统一第一跟踪结果和第二跟踪结果的步骤包括：基于空间信息和图像中的至少一个设置第一跟踪结果和第二跟踪结果的权重；以及选择第一和第二跟踪结果中权重较高的一个作为合并的跟踪结果。
[0015]本专利技术还提供一种用于EIS的方法，包括：接收无线电波传感器输出的空间信息，其中，空间信息包括至少一个点的位置和速度；接收相机拍摄的图像；如果所述至少一个物体的运动与大多数其他物体的运动不一致，则基于所述空间信息和图像确定至少一个物体的运动是局部运动；如果至少一个物体的运动与大多数其他物体的运动一致，则基于空间信息和图像确定至少一个物体的运动是全局运动；并过滤EIS裁剪的全局运动。
[0016]本专利技术还提供一种电子设备。该电子设备包括无线电波传感器、照相机和处理器。无线电波传感器被配置为提供包括至少一个点的位置和速度的空间信息。相机被配置为提供图像。处理器被配置为执行以下步骤：接收包括至少一个点的位置和速度的空间信息；接收相机拍摄的图像；根据空间信息和图像跟踪至少一个物体，得到跟踪结果；根据跟踪结果预测至少一个物体的运动轨迹，得到预测结果；并根据预测结果控制相机。
[0017]根据上述的电子设备，所述空间信息还包括帧级置信度指符；帧级置信度指示符是根据无线电波传感器在帧内接收到的反射波的信号功率电平的稳定性确定的。
[0018]根据上述的电子设备，所述处理器用于基于所述空间信息和图像对所述至少一个物体进行跟踪，得到跟踪结果，包括：对图像进行处理，得到图像中至少一个物体的至少一个属性；并且将空间信息与图像中至少一个物体的至少一个属性融合，得到跟踪结果。
[0019]根据上述的电子设备，通过使用AI、ML内容检测和CV中的至少一种对图像进行处理来获得图像中至少一个物体的至少一个属性。
[0020]根据上述的电子设备，处理器用于根据空间信息和图像对至少一个物体进行跟踪以获得所述跟踪结果，包括：基于空间信息生成第一跟踪结果；基于图像生成第二跟踪结果；统一第一跟踪结果和第二跟踪结果，得到合并的跟踪结果。
[0021]根据上述的电子设备，处理器用于将第一跟踪结果和第二跟踪结果统一得到跟踪结果，包括：基于空间信息和图像中的至少一个设置第一跟踪结果和第二跟踪结果的权重；以及选择第一和第二跟踪结果中权重较高的一个作为合并的跟踪结果。
[0022]根据上述的电子设备，处理器用于根据预测结果控制相机，包括：根据预测结果设置相机参数和图像参数中的至少一种；根据设置的相机参数和设置的图像参数拍摄最终图像。
[0023]根据上述的电子设备，相机参数包括基于预测结果的相机的快门时序、快门速度和焦距中的至少一项，并且图像参数专用于图像处理。
[0024]本专利技术还提供一种用于EIS裁剪的电子设备。该电子设备包括无线电波传感器、照相机和处理器。无线电波传感器被配置为提供包括至少一个点的位置和速度的空间信息。相机被配置为提供图像。处理器用于执行以下步骤：接收无线电波传感器输出的空间信息；接收相机拍摄的图像；如果至少一个物体的运动与大多数其他物体的运动不一致，则基于
空间信息和图像确定至少一个物体的运动是局部运动；如果至少一个物体的运动与大多数其他物体的运动一致，则基于空间信息和图像确定至少一个物体的运动是全局运动；并过滤EIS裁剪的全局运动。
附图说明
[0025]通过参考附图阅读随后的详细描述，可以更充分地理解本专利技术。应当理解，这些图不是按照行业标准惯例按比例绘制的。实际上，为了清晰说明，允许任意放大或缩小组件的尺寸。这意味着公开了许多特殊的细节、关系和方法，以提供对公开内容的完整理解。
[0026]图1是根据本专利技术一些实施例的用于运动预测的方法的流程图。
[0027]图2是根据本专利技术的一些实施例的图1中的方法的第一应用的示意图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动预测方法，包括：接收无线电波传感器输出的空间信息，所述空间信息包括至少一个点的位置和速度；接收相机拍摄的图像；根据所述空间信息和所述图像跟踪至少一个物体，得到合并的跟踪结果；根据所述合并的跟踪结果，预测所述至少一物体的运动轨迹，得到预测结果；以及根据所述预测结果控制所述相机。2.根据权利要求1所述的方法，其特征在于，所述空间信息还包括帧级置信度指示符。3.根据权利要求2所述的方法，其特征在于，所述帧级置信度指示符是基于所述无线电波传感器在帧内接收到的反射波的信号功率电平的稳定性确定的。4.根据权利要求1所述的方法，其特征在于，根据所述空间信息和所述图像跟踪所述至少一个物体以得到所述合并的跟踪结果的步骤包括：处理所述图像以获得所述图像中所述至少一个物体的至少一个属性；将所述空间信息与所述图像中所述至少一个物体的所述至少一个属性融合，得到所述合并的跟踪结果。5.根据权利要求4所述的方法，其特征在于，通过使用人工智能、机器学习内容检测和计算机视觉中的至少一个处理所述图像得到所述图像中的所述至少一个物体的所述至少一个属性。6.根据权利要求1所述的方法，其特征在于，所述根据所述预测结果控制所述相机的步骤包括：根据所述预测结果设置相机参数和图像参数中的至少一种；以及根据所述设置的相机参数和所述设置的图像参数拍摄最终图像。7.根据权利要求6所述的方法，其特征在于，所述相机参数包括基于所述预测结果的所述相机的快门时序、快门速度和焦距中的至少一项；其中所述图像参数专用于图像处理。8.根据权利要求1所述的方法，其特征在于，根据所述空间信息和所述图像跟踪所述至少一个物体以获得所述合并的跟踪结果的步骤包括：基于所述空间信息生成第一跟踪结果；基于所述图像生成第二跟踪结果；以及统一所述第一跟踪结果和所述第二跟踪结果，得到所述合并的跟踪结果。9.根据权利要求8所述的方法，其特征在于，统一所述第一跟踪结果与所述第二跟踪结果的步骤包括：基于所述空间信息和所述图像中的至少一个，设置所述第一跟踪结果和所述第二跟踪结果的权重；以及选择所述第一跟踪结果和所述第二跟踪结果中权重较高的一个作为所述合并的跟踪结果。10.一种用于电子图像稳定裁剪的方法，包括：接收无线电波传感器输出的空间信息，所述空间信息包括至少一个点的位置和速度；接收相机拍摄的图像；如果至少一个物体的运动与大多数其他物体的运动不一致，则基于所述空间信息和所述图像确定所述至少一个物体的运动是局部运动；
如果所述至少一个物体的运动与大多数其他物体的运动一致，则基于所述空间信息和所述图像确定所述至少一个物体的运动是全局运动；以及过滤电子图像稳定裁剪的所述全局运动。11.一种用于运动预测的电子设备，包括：无线电波传感器，用于提供包括至少一个点的位置和速度的空间信息；相机，用于提供图像；处理器，用于执...

【专利技术属性】
技术研发人员：洪志铭，蔡忠宏，张绍兴，庄世荣，李俊男，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：