控制平移倾斜变焦相机制造技术

本公开涉及控制平移倾斜变焦相机。用于控制平移倾斜变焦(PTZ)相机的方法和装置，包括计算机程序产品。由PTZ相机提供视频流。视频流包括主图像和较小的画中画覆盖层。主图像和覆盖层显示相同的视图。与主图像相比，覆盖层具有较高的帧率和较低的分辨率。由PTZ相机响应于对主图像和覆盖层中的至少一个的评估而接收移动控制指令。收移动控制指令。收移动控制指令。

【技术实现步骤摘要】
控制平移倾斜变焦相机


[0001]本专利技术涉及相机，并且更具体地，涉及在带宽受限环境中控制平移倾斜变焦(Pan
‑
Tilt
‑
Zoom，PTZ)相机。

技术介绍

[0002]PTZ相机是能够由用户远程定向和放大控制的网络相机，并且可以因此提供广域覆盖和大量细节两者。PTZ相机通常用于诸如监控、视频会议、现场直播、报告捕捉和远程学习的应用中。大多数时间，PTZ相机具有与计算机网络(诸如内联网或互联网)的有线连接，但是也存在使用临时相机设备并且PTZ相机无线地与网络连接的情形。这些情形的一些示例可以包括体育事件、以及各种类型的音乐节或美食节等。
[0003]当使用无线设置时，来自相机的信号在最终找到有线连接方式(诸如光纤)之前在无线发射器和接收器之间可能跳动数次。该重复跳动使得抖动和延迟两者被引入由相机发送的视频流中。结果，远程控制相机的用户可以感受到在执行由用户发起的动作的相机中的具有降级品质的图像和延迟，这两者在用户尝试将更大图像中的具体特征放大或尝试追踪由相机录制的视频内的移动人员或目标的情形中都不是理想的。应注意，尽管这些问题在无线网络中可能更普遍，但是在有线网络中也可能发生类似的问题。
[0004]已经尝试通过减小相机所需的带宽来减轻这些问题。可以通过两种主要方式来实现带宽减小：或者通过保持高分辨率视频并降低帧率，或者通过降低分辨率且保持高帧率。在第一种方法中，用户看到清晰的概览图，但是会发现相机更难以控制，这在用户追踪视频中的人或物体时将是问题。在第二种方法中，用户感受相机的响应更快，但是较低的分辨率使用户难以分辨图像中的人或物体。因此，每种方法都有其自身的缺点，并且将希望找到更好的方式来在带宽受限环境中实现交互式PTZ相机控制，同时保留高分辨率图像。

技术实现思路

[0005]根据第一方面，本专利技术涉及一种在计算机系统中用于控制平移倾斜变焦(PTZ)相机的方法。该方法包括：
[0006]由PTZ相机提供包括主图像和较小的画中画覆盖层的视频流，其中，主图像和覆盖层显示相同的视图，并且其中，覆盖层与主图像相比具有较高的帧率和较低的分辨率；以及
[0007]由PTZ相机响应于主图像和覆盖层的至少一个的评估而接收移动控制指令。
[0008]这为相机用户提供了示出相同视图的两个替代图像，并且使得用户能够决定将哪种图像用于当前的特定情形。例如，用户可以查看更大、更高分辨率的图像以识别感兴趣的人员或物体。如果人员或物体开始移动，则相机用户可以将其注意力转移到具有较高帧率的覆盖层图像，并且可以在追踪人员或物体时使用该图像来帮助控制相机的移动。当人员或物体随后停止时，用户可以返回关注主图像以更高分辨率查看感兴趣的人员或物体。这促进了用户对相机的控制，并且改善了用户体验。在改善了用户交互性的同时，还节省了由相机大量使用的带宽。例如，在一个实施方式中，覆盖层可以是60FPS、360p的视频流，并且
主图像可以是6FPS、4k的视频流。当将这两个视频流所需的带宽与60FPS、4k视频流所需的带宽进行比较时，明显可以显著降低比特率。
[0009]根据一个实施例，响应于由用户针对PTZ相机触发移动事件来显示覆盖层。即，当不移动相机时，不显示覆盖层，但是一旦相机从相机用户接收到开始平移倾斜变焦操作的指令，则显示覆盖层。这在相机静止期间进一步节省了带宽，并且还允许用户在这些时间期间完全无阻碍地查看主图像。
[0010]根据一个实施例，主图像内的覆盖层的大小和位置能由用户配置。这允许用户配置覆盖层，以便覆盖层不会阻挡主图像的用户可能认为特别感兴趣的某些区域。进一步，当控制相机时，一些用户可能发现具有较大的覆盖层是有帮助的，因为当相机追踪人员或物体时，他们可能对主图像不那么感兴趣。因此，具有可配置大小和位置的覆盖层为用户提供了进一步的灵活性。
[0011]根据一个实施例，在对视频流进行编码之前，由视频后处理(VPP)部件将覆盖层添加到主图像。通过在对视频进行编码之前添加覆盖层，向编码器呈现其中单个帧已经分别包括主图像和覆盖层的视频流。编码器由此可以继续进行视频流的常规编码，并且不需要进行修改以考虑覆盖层的可能存在。然而，应当注意，在一些实施例中，可以为编码器提供附加信息，这可以进一步帮助编码处理。以下将在本文档的具体实施方式部分进一步详细讨论这些实施例。
[0012]根据一个实施例，提供视频流可以包括：接收由PTZ相机捕获的图像数据；使用接收到的图像数据作为主图像的图像数据；缩小接收到的图像数据以创建具有期望大小和分辨率的覆盖层图片；将第一个覆盖层图片放置到主图像上；以及将主图像和覆盖层图片编码为帧内和帧间图片的序列，以创建视频流。这些操作中的许多是图像编码领域中的“常规”操作，因此使在现有系统中更易于实现本专利技术。
[0013]根据一个实施例，将主图像和覆盖层编码可以包括：以第一帧率将主图像编码为帧内帧，接着是帧间帧的序列，直到已经达到图片组的长度；以及以较快的第二帧率将覆盖层编码为参考了主图像的最近帧内帧或帧间帧的帧间帧的序列，直到已经达到图片组的长度。帧内编码和帧间编码是本领域的普通技术人员所熟悉的众所周知的技术。通过将具有较快帧率的覆盖层编码为参考了主图像的最近的帧内帧或帧间帧的帧间帧，由于仅当前帧和前一帧之间的“差异”被编码，因此可以节省大量带宽。
[0014]根据一个实施例，第一个帧内帧被编码为不显示图像。如下面在具体实施方式中所描述的，第一个帧内帧的图像数据是由相机捕获的原始图像数据(即，没有覆盖层)。通过在已编码的视频流中包括这种数据作为不显示图像，并且将覆盖层图像作为具有相同显示时间的P帧，可以如本专利技术中以上所述在第一实例中查看具有覆盖层图像的视频。稍后，可以修剪覆盖层P帧，并且可以翻转帧内帧的不显示标志，以便在查看录制的视频时可以删除覆盖层图像。这需要自定义解码器或者自定义视频播放器才能处理视频。因此，使用这种类型的编码，能够创建视频流，该视频流可以在“常规”客户端中被解码，但是也可以由定制客户端解码以删除覆盖层并且仅显示原始图像。这既可以在现场进行，也可以在稍后的时间点回放期间进行，例如，出于法庭论证的目的。
[0015]根据一个实施例，覆盖层的帧率近似为主图像的帧率的十倍。这样可以在移动相机时获得平滑的视图，同时可以充分频繁地更新主图像。例如，可以以60FPS的速率更新覆
盖层，并且可以以6FPS的速率更新主图像。使用这种设置，如果操作者正在查看主图像，操作者将在1/6秒内注意到场景中发生的变化。如果相机操作者查看覆盖层图像，相应的时间将仅为1/60秒。这些类型的“反应时间”在大多数实际应用中已经足够了。
[0016]根据一个实施例，其中以下视频编码格式之一对视频进行编码：高效图像文件格式、高级视频编码、H.264、H.265、H.266、VP9、VP10和AV1。即，由于本文描述的方法遵循这种视频编码格式的标准，因此可以通过支持编码器所使用的视频编码格式的的标准视频流来对已编码的视频流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种控制平移倾斜变焦PTZ相机的方法，包括：由所述PTZ相机提供包括主图像和较小的画中画覆盖层的视频流，其中，所述主图像和所述覆盖层显示相同的视图，并且其中，所述覆盖层与所述主图像相比具有较高的帧率和较低的分辨率；以及由所述PTZ相机响应于对所述主图像和所述覆盖层中的至少一个的评估而接收移动控制指令。2.根据权利要求1所述的方法，其中，响应于由用户针对所述PTZ相机触发的移动事件来显示所述覆盖层。3.根据权利要求1所述的方法，其中，所述主图像内的所述覆盖层的大小和位置能由用户配置。4.根据权利要求1所述的方法，其中，在对所述视频流进行编码之前，由视频后处理部件将所述覆盖层添加到所述主图像。5.根据权利要求1所述的方法，其中，提供视频流包括：接收由所述PTZ相机捕获的图像数据；使用接收到的所述图像数据作为主图像的图像数据；缩小接收到的所述图像数据以创建具有期望大小和分辨率的覆盖层图片；将第一个所述覆盖层图片放置到所述主图像上；以及将所述主图像和所述覆盖层图片编码为帧内和帧间图片的序列，以创建所述视频流。6.根据权利要求5所述的方法，其中，将所述主图像和覆盖层编码包括：以第一帧率将所述主图像编码为帧内帧，接着是帧间帧的序列，直到已经达到图片组的长度；以及以较快的第二帧率将所述覆盖层编码为参考所述主图像的最近的帧内帧或帧间帧的帧间帧的序列，直到已经达到图片组的长度。7.根据权利要求6所述的方法，其中，第一个所述帧内帧被...

【专利技术属性】
技术研发人员：阿克塞尔，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：