一种图像处理方法及相关设备技术

本申请实施例提供了一种图像处理方法及相关设备，用于在音像跟随中获得更清晰的追踪图像帧，包括：接收功能指令，判断是否进行音像跟随；若是则通过硬件虚拟层触发第一图像采集装置以超分辨率采集得到第一采集图像帧；在硬件虚拟层对第一采集图像帧进行裁剪，得到追踪图像帧；通过硬件虚拟层触发显示装置显示追踪图像帧；若否则触发第一图像采集装置以标称分辨率采集得到第二采集图像帧，通过硬件虚拟层触发显示装置显示第二采集图像帧。本申请实施例中，在进行音像跟随时，对分辨率更高的第一采集图像帧进行裁剪得到追踪图像帧，将追踪图像帧放大到与第二采集图像帧相同大小，显示的追踪图像帧清晰度更高。追踪图像帧清晰度更高。追踪图像帧清晰度更高。

An image processing method and related equipment

【技术实现步骤摘要】
一种图像处理方法及相关设备


[0001]本申请实施例涉及图像领域，具体涉及一种图像处理方法及相关设备。

技术介绍

[0002]画面声源跟随也被称为音像跟随，是指在直播或者视频录制时，追踪画面中的发言者或其他声源，例如在会议的直播过程中，通过音像跟随使得直播的画面中显示当前的发言者，并在更换了发言人时追踪新的发言者，使得直播的画面显示新的发言者。
[0003]现有的画面显示方法为了降低数据处理的冗余，从图像采集装置获取的采集图像帧的分辨率与显示装置的分辨率相同。进行画面声源跟随时，首先在采集图像帧中确定声源位置，然后根据一定比例对采集图像帧进行裁剪得到包括了声源位置的局部得到追踪图像帧，最后放大该追踪图像帧进行显示。例如，显示装置的分辨率为1920*1080，则从图像采集装置获取分辨率为1920*1080的采集图像帧。进行画面声源跟随时，首先在采集图像帧中定位发言者，然后将采集图像帧中分辨率为800*450的局部裁剪得到追踪图像帧，并将分辨率为800*450的追踪图像帧放大到分辨率1920*1080进行显示。
[0004]现有画面声源跟随技术，当需要对采集图像帧的局部进行放大时，采取的方式是对当前获取到的采集图像帧做裁剪得到追踪图像帧后放大，存在追踪图像帧放大后较为模糊的缺陷。

技术实现思路

[0005]本申请实施例提供了一种图像处理方法及相关设备，用于在音像跟随中获得更清晰的追踪图像帧。
[0006]本申请实施例的第一方面提供了一种图像处理方法，包括：
[0007]接收功能指令，根据功能指令判断是否进行音像跟随；
[0008]若进行音像跟随，则通过预设的硬件虚拟层触发第一图像采集装置以超分辨率采集得到第一采集图像帧；
[0009]在硬件虚拟层对第一采集图像帧进行裁剪，得到追踪图像帧；
[0010]通过硬件虚拟层触发显示装置显示追踪图像帧；
[0011]若不进行音像跟随，则触发第一图像采集装置以标称分辨率采集得到第二采集图像帧，通过硬件虚拟层触发显示装置显示第二采集图像帧。
[0012]基于本申请实施例的第一方面，本申请实施例第一方面的第一种实现方式中，在硬件虚拟层对第一采集图像帧进行裁剪，得到追踪图像帧，具体包括：
[0013]确定显示装置用于显示第二采集图像帧的显示区域的显示分辨率；
[0014]在硬件虚拟层对第一采集图像帧依据显示分辨率进行裁剪，得到追踪图像帧，使得追踪图像帧的分辨率等于显示分辨率。
[0015]本申请实施例中，使得追踪图像帧的分辨率等于显示分辨率，实现对追踪图像帧的无损放大，提高数据的利用率。
[0016]基于本申请实施例的第一方面或第一方面的第一种实现方式，本申请实施例第一方面的第二种实现方式中，在硬件虚拟层对第一采集图像帧进行裁剪，得到追踪图像帧，具体包括：
[0017]在第一采集图像帧中捕捉人脸图像，在人脸图像中确定唇部开合运动的目标人脸图像；
[0018]将包括目标人脸图像的局部裁剪为追踪图像帧。
[0019]本申请实施例中，对第一采集图像帧进行人脸识别和动作捕捉，确定正在进行发言或进行特定动作的目标人脸，将目标人脸裁剪仅追踪图像帧，实现了自动的音像跟随。
[0020]基于本申请实施例的第一方面、第一方面的第一种实现方式至第二种实现方式任一方案，本申请实施例第一方面的第三种实现方式中，方法还包括：
[0021]在硬件虚拟层设置N个图像区域，将第一采集图像帧复制进每个图像区域，N为大于或等于2的自然数，N个图像区域划分为1个第一图像区域和N
‑
1个第二图像区域，第一图像区域用于对第一采集图像帧进行处理得到追踪图像帧；
[0022]在N
‑
1个第二图像区域分别对第一采集图像帧进行处理，得到N
‑
1个第一待用图像帧；
[0023]触发N个应用程序从N
‑
1个第二图像区域分别获取N
‑
1个第一待用图像帧，从第一图像区域获取追踪图像帧，应用程序位于应用层。
[0024]本申请实施例中，在硬件虚拟层设置N个图像区域，利用图像区域对第一采集图像帧进行处理得到追踪图像帧和第一待用图像帧，使得N个应用程序能够从N个图像区域获取图像帧，实现多个应用程序同时使用第一采集图像帧，或同时使用对第一采集图像帧处理得到的图像帧。
[0025]基于本申请实施例的第一方面、第一方面的第一种实现方式至第三种实现方式任一方案，本申请实施例第一方面的第四种实现方式中，触发N个应用程序从N
‑
1个第二图像区域分别获取N
‑
1个第一待用图像帧，从第一图像区域获取追踪图像帧，具体包括：
[0026]为N个应用程序分别创建虚拟文件描述符，得到N个虚拟文件描述符；
[0027]将N个虚拟文件描述符与N个图像区域一一绑定；
[0028]触发N个应用程序根据各自的虚拟文件描述符从N
‑
1个第二图像区域分别获取N
‑
1个第一待用图像帧，从第一图像区域获取追踪图像帧。
[0029]本申请实施例中，使用虚拟文件描述符断开应用层与驱动层的直接关联，提供了本方案的可实现性。
[0030]基于本申请实施例的第一方面、第一方面的第一种实现方式至第四种实现方式任一方案，本申请实施例第一方面的第五种实现方式中，通过硬件虚拟层触发显示装置显示追踪图像帧前，方法还包括：
[0031]通过硬件虚拟层触发若干第二图像采集装置采集若干第三采集图像帧；
[0032]在硬件虚拟层对第三采集图像帧进行裁剪或缩放得到第二待用图像帧；
[0033]在硬件虚拟层将第二待用图像帧与追踪图像帧并列或重叠，得到第三待用图像帧；
[0034]通过硬件虚拟层触发显示装置显示追踪图像帧，具体包括：
[0035]通过硬件虚拟层触发显示装置显示第三待用图像帧。
[0036]本申请实施例中，将第一图像采集装置和第二图像采集装置获取的图像帧进行合并，得到第三待用图像帧，实现了同一应用程序同时获取多个图像采集装置采集的图像帧。
[0037]基于本申请实施例的第一方面、第一方面的第一种实现方式至第五种实现方式任一方案，本申请实施例第一方面的第六种实现方式中，通过硬件虚拟层触发第一图像采集装置以超分辨率采集得到第一采集图像帧前，方法还包括：
[0038]在硬件抽象层引入硬件虚拟层，硬件虚拟层包括硬件虚拟层功能主体、驱动层接口和应用层接口，硬件虚拟层功能主体用于对图像帧进行处理，驱动层接口用于连接硬件虚拟层和驱动层，应用层接口用于连接硬件虚拟层和应用层。
[0039]本申请实施例中，在硬件抽象层引入硬件虚拟层，硬件虚拟层包括硬件虚拟层功能主体、驱动层接口和应用层接口，提高了本方案的可实现性。
[0040]基于本申请实施例的第一方面、第一方面的第一种实现方式至第六种实现方式任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：接收功能指令，根据所述功能指令判断是否进行音像跟随；若进行音像跟随，则通过预设的硬件虚拟层触发第一图像采集装置以超分辨率采集得到第一采集图像帧；在所述硬件虚拟层对所述第一采集图像帧进行裁剪，得到追踪图像帧；通过所述硬件虚拟层触发显示装置显示所述追踪图像帧；若不进行音像跟随，则触发所述第一图像采集装置以标称分辨率采集得到第二采集图像帧，通过所述硬件虚拟层触发所述显示装置显示所述第二采集图像帧。2.根据权利要求1所述的图像处理方法，其特征在于，所述在所述硬件虚拟层对所述第一采集图像帧进行裁剪，得到追踪图像帧，具体包括：确定所述显示装置用于显示所述第二采集图像帧的显示区域的显示分辨率；在所述硬件虚拟层对所述第一采集图像帧依据所述显示分辨率进行裁剪，得到所述追踪图像帧，使得所述追踪图像帧的分辨率等于所述显示分辨率。3.根据权利要求1或2所述的图像处理方法，其特征在于，所述在所述硬件虚拟层对所述第一采集图像帧进行裁剪，得到追踪图像帧，具体包括：在所述第一采集图像帧中捕捉人脸图像，在所述人脸图像中确定唇部开合运动的目标人脸图像；将包括所述目标人脸图像的局部裁剪为所述追踪图像帧。4.根据权利要求1或2所述的图像处理方法，其特征在于，所述方法还包括：在所述硬件虚拟层设置N个图像区域，将所述第一采集图像帧复制进每个所述图像区域，N为大于或等于2的自然数，所述N个图像区域划分为1个第一图像区域和N
‑
1个第二图像区域，所述第一图像区域用于对所述第一采集图像帧进行处理得到所述追踪图像帧；在所述N
‑
1个第二图像区域分别对所述第一采集图像帧进行处理，得到N
‑
1个第一待用图像帧；触发N个应用程序从所述N
‑
1个第二图像区域分别获取所述N
‑
1个第一待用图像帧，从所述第一图像区域获取所述追踪图像帧，所述应用程序位于所述应用层。5.根据权利要求4所述的图像处理方法，其特征在于，所述触发N个应用程序从所述N
‑
1个第二图像区域分别获取所述N
‑
1个第一待用图像帧，从所述第一图像区域获取所述追踪图像帧，具体包括：为N个应用程序分别创建虚拟文件描述符，得到N个虚拟文件描述符；将所述N个虚拟文件描述符与所述N个图像区...

【专利技术属性】
技术研发人员：黄强，凌斌，胡锋，
申请(专利权)人：深圳市皓丽软件有限公司，
类型：发明
国别省市：