用于处理摄影机中的视频流的方法和装置制造方法及图纸

一种用于处理视频装置中的图像的方法，包括：读取图像；并且通过将与所述图像相关的元数据嵌入所述图像中或嵌有所述图像，将所述图像与所述元数据组合。所述方法进一步包括：在编码器中对所述图像编码且利用所述元数据作为进一步处理中的输入之前，将变换所述图像和从所述图像提取所述元数据组合。

【技术实现步骤摘要】

本申请涉及用于处理视频流的方法，具体涉及用于处理摄影机内的视频流的方法。
技术介绍
在摄影机中，图像传感器用于获取经由摄影机的成像光学器件所获取的图像。图像传感器典型地是对辐射(典型地采用光的形式)敏感的像素矩阵。从图像传感器读取的原始图像通常不适合直接显示，并且针对这种情况存在若干原因，因此图像在被转发用于显示之前经受实质处理。摄影机的一般目的在于获取图像并且制备图像用于观察。在如本文所使用的摄影机中，该摄影机大多数用于监控操作，例如监视。在这种摄影机中，图像作为视频流中的一帧离开摄影机，并且像这样的摄影机将包括制备和转发视频流的编码器。处理步骤可以包括对像这样的图像执行的操作，例如去马赛克、平衡强度、平衡颜色、校正图像失真，并且此外该图像可被调整尺寸、旋转以及最终在编码器中被处理。所述步骤仅仅是示例，并且不以任何特定顺序给出。当处理图像时，可以使用元数据，例如从原始图像推导出的数据。仅仅给出几个相关的示例，元数据可以涉及：图像各个部分的信噪比(SNR)。SNR数据可以用于配置或改变摄影机内部的滤波器，例如噪音过滤，并且SNR也可以用于触发外部光以改进光状况。如果摄影机用于监控或监视目的，对已经检测到移动的区域的识别被典型地识别，其中图像中的变化典型地识别感兴趣的事件。对关于图像处理特别感兴趣(或者通过用户被识别为特别令人感兴趣)的预设的感兴趣区域(ROI)的识别，例如面部、特定的形状等。这种类型的元数据的最终示例涉及用于图像的压缩图谱(map)。压缩图谱可以是提供给编码器以在空间上改变其压缩参数的表格，并且压缩图谱可能与压缩水平有关、与具有常数和阈值的表格有关、或者与用于块类型决策的常数有关。通过将该图像与之前的图像进行比较，可以生成指示可以如何根据特定协议对图像编码的图谱。当原始图像已经从图像传感器被读取时，元数据的上述示例可以从原始图像提取，
并且可用于下游过程。元数据不必包括从图像提取的在本公开上下文中被认为是元数据的信息。这种类型的元数据的示例可以与各种掩模(mask)有关，各种掩模在图像处理的后期阶段用于校正或调节图像。另一个示例可以与用户预设的感兴趣区域相关。元数据也可以与用户定义的感兴趣区域、隐私掩模、优先区域(根据需要图像质量应当被优先化的图谱)、以及涉及摄影机设置的信息或者来自传感器的输入、缩放水平、快门速度、倾斜传感器相关。摄影机的成像光学器件常常会将一定程度的失真引入到图像。一些常见的示例是桶形失真和枕形失真。其它类型的失真可以包括色差、单色像差以及相关的子组。失真将意味着从图像传感器读取的图像不适合以其目前的形式显示；在显示该图像之前可能存在对变换的需求。所描述的图像处理可以在编码器、代码转换器或者视频管理系统(只提及摄影机的一些可替代方案)中执行，即处理可以相同或类似，而不管图像是从图像传感器读取的还是由文件提供的。
技术实现思路
为了努力简化图像的处理，尤其是当处理包括图像变换时，本申请公开了一种用于处理视频装置中的图像的方法。该方法包括一系列的步骤，该一系列的步骤可以按照或可以不按照列出的顺序执行，并且包括：读取图像；通过将与图像相关的元数据嵌入图像中或者通过将该元数据嵌有图像，来将图像与元数据组合；变换图像；从图像提取元数据；在编码器中对图像编码；以及在进一步处理中利用元数据作为输入。当元数据在变换之前被嵌有图像或嵌入图像中时，该方法尤其是有利的，因为与图像的特定区域(像素、像素块等)相关的元数据在变换期间将跟随该区域。进一步的效果是针对每组原数据和图像仅必须执行一次变换，而不是一个接一个的变换它们。在一个或多个实施例中，进一步的处理包括对该图像的处理或对后续图像的处理，即例如在对特定图像编码期间，从一个图像提取的元数据可以用于处理该特定图像，但是元数据也可以例如通过改变设置用于处理后续图像，以作为在特定图像区域中特定信噪比的结果。在其它或相关实施例中，处理可以包括像这样的以与图像隔离的方式处理元数据。处理可以包括对SNR元数据、移动元数据、对象识别元数据的估算等。SNR元数据可以用于避免在边缘检测中的错误，并且移动元数据可以用于在执行移动检测时支持分析部分，上述仅仅是提及一些不同的使用情况。在相关的或分离的实施例中，进一步的处理可以包括诸如图像分析、视觉应用、码率控制或者帧拼接之类的过程。这些过程显然地可以隔离地执行或组合地执行。图像分析意味着包括用于分析物体图像、移动或者其它基本信息的过程，其它基本信息例如移动检测、对象检测、面部检测等。视觉应用设想处理图像从而理解该图像、模仿人类视觉和认知方法；并且示例包括对象识别、面部识别和人数统计等。这种处理的结果或基础可以从元数据形式的图像或图像序列得到，并且元数据可以隔离使用和/或用于支持其它过程。在一个或几个实施例中，嵌入图像中的元数据或嵌有图像的元数据已经从图像得到，即图像已经使用各种算法被分析来获得各种类型的元数据。这将在具体实施方式中进一步图示出。在该方法用于摄影机中的情况中，该实施例多半会是可应用的。原始图像使用不同的算法来估算，并且结果可以采用元数据的形式。这种元数据然后为了方便可以嵌有图像或嵌入图像中。在一个或多个实施例中，在变换图像之前执行将图像从光栅格式转换到块格式，并且其中在使用元数据作为输入来处理图像之前执行将图像从块格式转换回光栅格式。在一个或几个实施例中，该方法包括在变换图像之前和/或在变换图像之后将图像与元数据组合，其中元数据采用叠层的形式。关于本专利技术描述的几个优点被结合到在执行变换之前元数据的嵌入，然而也存在仅在变换之后增加元数据的情况。在一个或其它实施例中，通过将元数据作为附加颜色空间分量嵌入对应的像素块，来将元数据嵌有图像。在一个或多个其它实施例中，通过利用对应于特定像素块的元数据填补特定像素块的颜色空间分量，来将元数据嵌有图像。在更多其它实施例中，通过替代图像中的颜色或亮度信息的一部分，来将元数据嵌入图像中。在图像是块格式化图像的实施例中，元数据可以被附加到在块格式化图像中的每个宏块。在一个或几个实施例中，在将图像转发到编码器之前，使元数据与图像分离，而不是仅仅被提取。如果使用标准编码器，那么在将元数据发送到编码器之前移除元数据是有利的，因为存在嵌入图像中的元数据可能引起编码器中的故障或冲突。在一个或多个实施例中，元数据可以从包括下列的组中选择：信噪元数据、压缩元数据、移动元数据、隐私掩模元数据和感兴趣区域元数据、以及其组合。在任何实施例中或者附加实施例中，视频装置可以是摄影机、编码器、代码转换
器、或者视频管理系统(VMS)中的组件。根据另一个方面，本专利技术涉及一种被配置成执行前述或下述实施例中的一个或多个实施例的方法的视频装置。该视频装置可以包括：图像处理管线，被配置成从图像提取元数据，并且进一步被配置成将所述元数据或其它元数据嵌入到图像中；变换器，被配置成接收具有被嵌入的元数据的图像，并且根据已定义的设置来变换具有被嵌入的元数据的图像；提取器，被配置成从具有元数据的变换后图像提取元数据，并且转发该图像，例如到图像编码器，图像编码器被配置成根据特定协议来压缩该图像。在一个或多个实施例中，元数据的至少所选择的部分也被转发以便进一步处理，并且所选择的本文档来自技高网...

【技术保护点】
一种用于处理视频装置中的图像的方法，包括：读取图像；通过将与所述图像相关的元数据嵌入所述图像中，来将所述图像与所述元数据组合；变换具有被嵌入的元数据的所述图像，其中与像素或像素块相关联的元数据跟随这种像素或像素块的移动；从所述图像提取所述元数据，并且将所述该图像转发到编码器；在所述编码器中对所述图像编码；在进一步处理中利用所述元数据作为输入。

【技术特征摘要】
2015.04.23 EP 15164848.21.一种用于处理视频装置中的图像的方法，包括：读取图像；通过将与所述图像相关的元数据嵌入所述图像中，来将所述图像与所述元数据组合；变换具有被嵌入的元数据的所述图像，其中与像素或像素块相关联的元数据跟随这种像素或像素块的移动；从所述图像提取所述元数据，并且将所述该图像转发到编码器；在所述编码器中对所述图像编码；在进一步处理中利用所述元数据作为输入。2.根据权利要求1所述的方法，其中所述进一步处理包括对所述图像的处理或对后续图像的处理。3.根据权利要求1所述的方法，其中所述进一步处理包括处理所述元数据。4.根据权利要求1所述的方法，其中所述进一步处理包括图像分析、视觉应用、码率控制或帧拼接、及其组合；执行码率控制、帧拼接、动作触发；支持图像分析工具及其组合。5.根据权利要求1所述的方法，进一步包括在将所述元数据嵌入所述图像之前从所述图像获取所述元数据。6.根据权利要求1所述的方法，其中在变换所述图像之前执行将所述图像从光栅格式转换成块格式，并且其中在使用所述元数据作为输入来处理所述图像之前将所述图像从块格式转换回光栅格式。7.根据权利要求1所述的方法，包括在变换所述图像之前和/或在变换所述图像之后将所述图像与元数据组合，其中所述元数据采用叠层的形式。8.根据权利要求1所述的方法，其中通过将所述元数据作为附加颜色空间分量嵌入对应的像素...

【专利技术属性】
技术研发人员：袁嵩，亚历山大·马丁斯，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典;SE