导播控制的方法、装置、存储介质和计算机程序产品制造方法及图纸

本申请实施例公开了一种导播控制的方法、装置、存储介质和计算机程序产品，属于通信技术领域。应用于导播控制系统，所述方法包括：控制设备在声源对象发声时，基于第一麦克风阵列的检测数据确定所述声源对象相对于所述第一麦克风阵列的方位角θ1，并基于第二麦克风阵列的检测数据确定所述声源对象相对于所述第二麦克风阵列的方位角θ2；所述控制设备基于所述方位角θ1、所述方位角θ2、所述第一麦克风阵列的位置和所述第二麦克风阵列的位置，确定所述声源对象的位置；所述控制设备基于所述声源对象的位置控制摄像机对所述声源对象进行拍摄，得到导播视频图像。采用本申请，可以准确识别发言者，从而提升自动导播的准确度。从而提升自动导播的准确度。从而提升自动导播的准确度。

【技术实现步骤摘要】
导播控制的方法、装置、存储介质和计算机程序产品
[0001]本申请要求于2021年11月25日提交的申请号为202111415949.4、专利技术名称为“一种分布式导播的硬件装置和方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及通信
，特别涉及一种导播控制的方法、装置、存储介质和计算机程序产品。

技术介绍

[0003]导播是指在视频拍摄过程中基于实时拍摄需求控制摄像机对场景中的关键对象(人或物)进行拍摄以输出视频图像。例如，在视频会议中，可以控制摄像机对当前的发言人进行拍摄，发言人变换时，可以控制摄像机对新的发言人进行拍摄。导播的过程中，为了得到包含关键对象的视频图像，可以对摄像机拍摄方向进行调整，也可以在多个摄像机中进行视频图像选择，还可以在视频图像中进行局部截取。
[0004]目前，随着计算机技术的发展，自动导播得到了飞速发展，正在逐渐取代人工导播。一般，自动导播的处理过程是：由控制设备对摄像机的实时拍摄的视频图像进行识别，确定图像中具有指定特征的对象(即上述的关键对象)，控制摄像机对该对象进行拍摄。例如，在会议场景中，控制设备可以识别实时拍摄的视频图像中站立或存在嘴部动作(在讲话)的人物，将该人物确定为发言者，然后控制摄像机拍摄发言者的特写进行播放。
[0005]然而，现有技术中的自动导播方法局限性比较明显，有时候导播的准确度较差。

技术实现思路

[0006]本申请实施例提供了一种导播控制方法，可以解决现有技术中导播准确度较差的问题。所述技术方案如下：
[0007]第一方面，提供了一种导播控制的方法，该方法应用于导播控制系统，导播控制系统包括第一麦克风阵列、第二麦克风阵列、摄像机和控制设备，该方法包括：控制设备确定第一麦克风阵列的位置以及摄像机的位置；在声源对象发声时，控制设备根据声源对象相对于第一麦克风阵列的位置、声源对象相对于第二麦克风阵列的位置、第一麦克风阵列的位置和第二麦克风阵列的位置，确定声源对象的位置；控制设备基于声源对象的位置以及摄像机的位置，确定对摄像机的导播操作。
[0008]在发言人讲话时，第一麦克风阵列中的每个麦克风可以检测到相应的音频数据，第一麦克风阵列将这些音频数据发送至控制设备。控制设备可以根据这些音频数据进行声源定位，确定发言人相对于第一麦克风阵列的方位角θ1，声源定位过程使用的算法可以是可控波束(steered
‑
response power，SRP)算法等。同样地，控制设备也可以根据第二麦克风阵列的麦克风检测到的音频数据进行声源定位，确定发言人相对于第二麦克风阵列的方位角θ2。
[0009]对于第一麦克风阵列和第二麦克风的偏角都为0度的情况，控制设备可以根据方位角θ1、方位角θ2、第一麦克风阵列的位置和第二麦克风阵列的位置，以及第一麦克风阵列、第二麦克风阵列和发言人之间的几何关系，通过计算得到发言人的位置。
[0010]对于第一麦克风阵列和第二麦克风阵列的偏角都不为0度的情况，控制设备可以根据第一麦克风阵列的偏角γ1、第二麦克风阵列的偏角γ2、方位角θ1、方位角θ2、第一麦克风阵列的位置和第二麦克风阵列的位置，以及第一麦克风阵列、第二麦克风阵列、发言人之间的几何关系，通过计算得到发言人的位置。
[0011]控制设备确定发言人的位置后，可以基于发言人的位置和摄像机的位置，计算发言人相对于摄像机的方位角以及发言人与摄像机的距离。该距离是平面等效距离，也即摄像机的等效中心和发言人的等效中心在平面内的投影距离。
[0012]可以基于发言人相对于摄像机的方位角，确定摄像机的导播旋转角。摄像机可以包括可旋转摄像头和固定底座，摄像头可以相对于固定底座进行旋转，可以为摄像头指定一个初始拍摄方向，初始拍摄方向和摄像头的基准方向可以相同，该导播旋转角可以是摄像头实时的拍摄方向相对于初始拍摄方向的角度，初始拍摄方向可以认为是0度方向，导播旋转角和发言人相对于摄像机的方位角可以相同。
[0013]在确定发言人相对于摄像机的距离之后，可以基于该距离，确定摄像机的导播焦距。控制设备可以查询预先存储的第一对应关系表，确定该距离对应的导播焦距。第一对应关系表中可以记录有发言人相对于摄像机的距离和摄像机焦距的对应关系。
[0014]对于摄像机的偏角为0度的情况，控制设备可以根据发言人的位置、摄像机的位置确定摄像机的导播旋转角和导播焦距，从而可以控制摄像机旋转至导播旋转角，并控制摄像机按照导播焦距进行拍摄。
[0015]对于摄像机的偏角不为0度的情况，控制设备可以根据摄像机的偏角、发言人的位置、摄像机的位置确定摄像机的导播旋转角和导播焦距，从而可以控制摄像机云台旋转至导播旋转角，并控制摄像机按照导播焦距进行拍摄。
[0016]需要说明的是，上述导播控制系统的示例中，可以添加多个摄像头布置在不同的位置，以更好地拍摄参会成员。
[0017]对于导播控制系统中存在至少两个摄像头的情况，控制设备可以基于发言人的位置和两个摄像机的位置，确定两个摄像机中与发言人距离较远的目标摄像机，基于发言人的位置以及目标摄像机的位置，确定对目标摄像机的导播操作。
[0018]控制设备可以基于声源对象的位置和多个摄像机的位置，控制多个摄像机对声源对象进行拍摄，得到多个视频图像。然后，可以对得到的多个视频图像进行图像识别，选取满足目标条件的视频图像作为导播视频图像。目标条件可以有多种，例如，选取人脸角度最接近正面的视频图像作为导播视频图像等，视频图像中的人脸角度可以使用人脸角度检测的机器学习模型来确定。
[0019]本申请实施例所示的方案，只要声源对象在发声，就可以基于声音对其进行定位。这样，避免了在基于图像识别进行声源对象定位时要求发言者必须具有明显动作(如明显的嘴部动作)的问题，这样，摆脱了现有技术中基于图像识别的自动导播方法的局限性，提高了导播的准确度。
[0020]在一种可能的实现方式中，第一麦克风阵列中集成有第一发声器，第二麦克风阵
列包括第一麦克风和第二麦克风，控制设备基于第一麦克风和第二麦克风接收到第一发声器发出的声音信号的时间以及第一发声器发出声音信号的时间确定第一发声器与第一麦克风之间的距离D1以及第一发声器与第二麦克风之间的距离D2；控制设备基于第一麦克风的位置、第二麦克风的位置、距离D1和距离D2，确定第一麦克风阵列相对于第二麦克风阵列的位置。
[0021]其中，第一发声器和第一麦克风阵列的等效中心可以相同，即第一发声器的位置和第一麦克风阵列的位置可以相同。第一麦克风阵列相对于第二麦克风阵列的位置，可以是第一麦克风阵列中的第一发声器相对于所述第二麦克风阵列的位置。具体实现中，可以利用坐标系来确定所述位置，比如，将坐标系的原点设置在第二麦克风阵列中心时，所述第一麦克风阵列的坐标体现的是所述第一麦克风阵列相对于所述第二麦克风阵列的位置。
[0022]获取第一发声器发出声音信号的时间的方式可以有多种，后续处理中发声器发出声音信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种导播控制的方法，其特征在于，所述方法应用于导播控制系统，所述导播控制系统包括第一麦克风阵列、第二麦克风阵列、摄像机和控制设备，所述方法包括：所述控制设备确定第一麦克风阵列的位置以及所述摄像机的位置；在声源对象发声时，所述控制设备根据所述声源对象相对于所述第一麦克风阵列的位置、所述声源对象相对于所述第二麦克风阵列的位置、所述第一麦克风阵列的位置和所述第二麦克风阵列的位置，确定所述声源对象的位置；所述控制设备基于所述声源对象的位置以及所述摄像机的位置，确定对所述摄像机的导播操作。2.根据权利要求1所述的方法，其特征在于，所述第一麦克风阵列中集成有第一发声器，所述第二麦克风阵列包括第一麦克风和第二麦克风，所述确定所述第一麦克风阵列的位置包括：所述控制设备基于所述第一麦克风和所述第二麦克风接收到所述第一发声器发出的声音信号的时间以及所述第一发声器发出声音信号的时间确定所述第一发声器与所述第一麦克风之间的距离D1以及所述第一发声器与所述第二麦克风之间的距离D2；所述控制设备基于所述第一麦克风的位置、所述第二麦克风的位置、所述距离D1和所述距离D2，确定所述第一麦克风阵列相对于所述第二麦克风阵列的位置。3.根据权利要求1或2所述的方法，其特征在于，所述导播控制系统还包括第二发声器和第三发声器，所述第二发声器和所述第三发声器与所述第二麦克风阵列集成在同一电子屏幕上，所述确定所述第一麦克风阵列的位置还包括：所述控制设备获得所述第一麦克风阵列发送的所述第二发声器相对于所述第一麦克风阵列的方位角θ3和所述第三发声器相对于所述第一麦克风阵列的方位角θ4；所述控制设备基于所述方位角θ3、所述方位角θ4、所述第二发声器的位置与所述第三发声器的位置，确定所述第一麦克风阵列的方位。4.根据权利要求1所述的方法，其特征在于，所述摄像机集成有第四发声器，所述第二麦克风阵列包括第一麦克风和第二麦克风，所述确定所述摄像机的位置包括：所述控制设备基于所述第一麦克风和所述第二麦克风接收到所述第四发声器发出声音信号的时间以及所述第四发声器发出声音信号的时间，确定所述第一麦克风与所述第四发声器的距离D3、以及所述第二麦克风与所述第四发声器的距离D4；所述控制设备基于所述第一麦克风的位置、所述第二麦克风的位置、所述距离D3和所述距离D4，确定所述摄像机相对于所述第二麦克风阵列的位置。5.根据权利要求3所述的方法，其特征在于，所述第一麦克风阵列集成有第一发声器，所述摄像机集成有第四发声器和第三麦克风阵列，所述确定所述摄像机的位置包括：所述控制设备基于所述第三麦克风阵列在所述第一发声器发出声音信号时的检测数据，确定所述第一发声器相对于所述第三麦克风阵列的方位角θ6，基于所述第一麦克风阵列在第四发声器发出声音信号时的检测数据，确定所述第四发声器相对于所述第一麦克风阵列的方位角θ7；所述控制设备基于所述方位角θ6、所述方位角θ7和所述第一麦克风阵列的方位，确定所述摄像机的偏角。6.根据权利要求3所述的方法，其特征在于，所述第一麦克风阵列集成有发光器，所述
摄像机集成有第四发声器，所述确定所述摄像机的位置包括：所述控制设备确定所述摄像机拍摄的图像中的发光点位置，所述图像是发光器发光时拍摄的，基于所述图像中的发光点位置以及所述摄像机的旋转角，确定所述发光器相对于所述摄像机的方位角θ9；所述控制设备基于所述第一麦克风阵列在所述第四发声器发出声音信号时的检测数据，确定所述第四发声器相对于所述第一麦克风阵列的方位角θ7；所述控制设备基于所述方位角θ9、所述方位角θ7和所述第一麦克风阵列的方位，确定所述摄像机的方位。7.根据权利要求1所述的方法，其特征在于，所述第一麦克风阵列集成有第一发声器，所述第二麦克风阵列包括第一麦克风和第二麦克风，所述确定所述第一麦克风阵列的位置包括：所述控制设备基于所述第二麦克风阵列在所述第一发声器发出声音信号时的检测数据确定所述第一发声器与所述第二麦克风阵列之间的距离D5以及所述第一发声器相对于所述第二麦克风阵列的方位角θ
10
；所述控制设备基于所述距离D5、所述方位角θ
10
和所述第二麦克风阵列的位置，确定所述第一麦克风阵列的位置。8.根据权利要求1所述的方法，其特征在于，所述第一麦克风阵列集成有第一发声器，第二麦克风阵列集成有第五发声器，所述确定第一麦克风阵列包括：所述控制设备基于所述第二麦克风阵列在所述第一发声器发出声音信号时的检测数据，确定所述第一发声器相对于所述第二麦克风阵列的方位角θ
10
，以及基于所述第一麦克风阵列在所述第五发声器发出声音信号时的检测数据，确定所述第五发声器相对于所述第一麦克风阵列的方位角θ
11
；所述控制设备基于所述方位角θ
10
、所述方位角θ
11
和所述第二麦克风阵列的方位，确定所述第一麦克风阵列的方位。9.根据权利要求1所述的方法，其特征在于，所述摄像机集成有第四发声器，所述方法还包括：所述控制设备基于所述第一麦克风阵列和所述第二麦克风阵列接收到所述第四发声器发出的声音信号的时间和所述第四发声器发出所述声音信号的时间，确定所述第一麦克风阵列与所述第四发声器的距离D6、以及所述第二麦克风阵列与所述第四发声器的距离D7；所述控制设备基于所述第一麦克风阵列的位置、所述第二麦克风阵列的位置、所述距离D6和所述距离D7，确定所述摄像机的位置。10.根据权利要求1所述的方法，其特征在于，所述控制设备基于所述声源对象的位置以及所述摄像机的位置，确定对所述摄像机的导播操作，包括：所述控制设备基于所述声源对象的位置和所述摄像机的位置，确定所述声源对象相对于所述摄像机的方位角、以及所述声源对象与所述摄像机的距离；所述控制设备基于所述声源对象相对于所述摄像机的方位角，确定所述摄像机的导播旋转角，并基于所述声源对象与所述摄像机的距离，确定所述摄像机的导播焦距。11.根据权利要求1所述的方法，其特征在于，所述导播控制系统还包括另一摄像机；所述控制设备基于所述声源对象的位置以及所述摄像机的位置，确定对所述摄像机的
导播操作，包括：所述控制设备基于所述声源对象的位置和所述两个摄像机的位置，确定两个摄像机中与所述声源对象距离较远的目标摄像机，基于所述声源对象的位置以及所述目标摄像机的位置，确定对所述目标摄像机的导播操作。12.一种导播控制的装置，其特征在于，所述装置应用于导播控制系统中的控制设备，...

【专利技术属性】
技术研发人员：张磊，刘智辉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：