图像信号处理器资源管理制造技术

各个方面涉及以变化帧速率处理帧的图像信号处理器。一种示例方法包括由图像信号处理器以第一帧速率从图像传感器接收第一图像帧序列；以第一帧速率处理第一图像帧序列的每个图像帧；以及从图像传感器接收从第一帧速率到第二帧速率的图像传感器的帧速率变化的指示。该方法还包括配置图像信号处理器的一个或多个滤波器以响应于从图像传感器接收到帧速率变化的指示来处理来自图像传感器的图像帧；以第二帧速率从图像传感器接收第二图像帧序列；以及以第二帧速率处理第二图像帧序列的每个图像帧。图像帧。图像帧。

【技术实现步骤摘要】
【国外来华专利技术】图像信号处理器资源管理
[0001]本申请要求于2020年5月14日递交的美国申请No.15/931,770的优先权，其全部内容通过引用并入本文。


[0002]本公开总体上涉及图像或视频捕获设备，包括图像信号处理器的资源管理，该图像信号处理器以变化的帧速率处理帧。

技术介绍

[0003]许多设备包括一个或多个可使用来捕获视频的图像帧序列的图像传感器。例如，智能手机或平板电脑包括一个或多个用于捕获视频的图像传感器。设备可以调整帧速率以用于捕获和处理图像帧。例如，图像传感器可能能够以多个帧速率捕获图像帧。该设备指示图像传感器以特定的帧速率捕获图像帧，并且图像传感器以指示的帧速率捕获图像帧序列。图像帧的每个由图像信号处理器处理，并且可以对已处理的该图像帧序列进行编码以生成视频。

技术实现思路

[0004]提供本
技术实现思路
以简化形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本
技术实现思路
既不是旨在标识所要求保护的主题的关键特征或必要特征，也不是旨在限制所要求保护的主题的范围。
[0005]本公开的一些方面涉及图像信号处理器的资源管理，该图像信号处理器以变化的帧速率处理帧。示例方法包括由图像信号处理器以第一帧速率从图像传感器接收第一图像帧序列。该方法还包括由图像信号处理器以第一帧速率处理第一图像帧序列的每个图像帧。该方法还包括由图像信号处理器从图像传感器接收图像传感器从第一帧速率到第二帧速率的帧速率变化的指示。该方法还包括响应于从图像传感器接收到帧速率变化的指示，配置图像信号处理器的一个或多个滤波器以处理来自图像传感器的图像帧。该方法还包括由图像信号处理器以第二帧速率从图像传感器接收第二图像帧序列。该方法还包括由图像信号处理器以第二帧速率处理第二图像帧序列的每个图像帧。
[0006]在一些实施方式中，帧速率变化的指示被包括在来自图像传感器的第一图像帧序列之后的图像帧的元数据中。该方法可以还包括在来自第二图像帧序列的一批(batch)多个图像帧期间由图像信号处理器向应用处理器指示一次帧速率变化。该批中的图像帧的数量可以由图像信号处理器基于接收到的帧速率变化的指示来确定。在一些实施方式中，该批中的图像帧的数量是基于与该批相关联的帧速率的。在一些实施方式中，图像信号处理器在配置一个或多个滤波器之后向应用处理器指示帧速率变化。
[0007]该方法可以还包括由图像信号处理器处理第一图像帧序列的图像帧的第一间隔以生成第一部分预览流。第一间隔是基于第一帧速率的。该方法可以还包括由图像信号处理器处理第二图像帧序列的图像帧的第二间隔以生成第二部分预览流。第二间隔是基于第
二帧速率的。该方法可以还包括由图像信号处理器生成包括已处理的第一图像帧序列和已处理的第二图像帧序列的视频流，由图像信号处理器输出用于显示的预览流，以及由图像信号处理器输出视频流。在一些实施方式中，预览流采用固定的帧速率，并且视频流采用变化的帧速率。
[0008]该方法可以还包括由存储器存储查找表，该查找表将不同的帧速率映射到用于配置一个或多个滤波器的设置。图像信号处理器基于帧速率变化使用查找表来配置一个或多个滤波器。在一些实施方式中，查找表还将不同的帧速率映射到每批图像帧的数量，用于由图像信号处理器与应用处理器进行通信。
[0009]该方法可以还包括由编码器对第一图像帧序列和第二图像帧序列进行编码来产生视频流。
[0010]一种示例设备，包括图像信号处理器，其被配置来以第一帧速率从图像传感器接收第一图像帧序列；以第一帧速率处理第一图像帧序列中的每个图像帧；从图像传感器接收图像传感器从第一帧速率到第二帧速率的帧速率变化的指示；响应于从图像传感器接收到帧速率变化的指示，配置图像信号处理器的一个或多个滤波器以处理来自图像传感器的图像帧；以第二帧速率从图像传感器接收第二图像帧序列；以及以第二帧速率处理第二图像帧序列的每个图像帧。在一些实施方式中，帧速率变化的指示被包括在来自图像传感器的第一图像帧序列之后的图像帧的元数据中。
[0011]图像信号处理器可以还被配置来在来自第二图像帧序列的一批多个图像帧期间向应用处理器指示一次帧速率变化。该批中的图像帧的数量由图像信号处理器基于接收到的帧速率变化的指示来确定。在一些实施方式中，该批中的图像帧的数量是基于与该批相关联的帧速率的。
[0012]图像信号处理器可以还被配置来在配置一个或多个滤波器之后向应用处理器指示帧速率变化。图像信号处理器可以还被配置来处理第一图像帧序列的图像帧的第一间隔以生成第一部分预览流(第一间隔是基于第一帧速率的)；处理第二图像帧序列的图像帧的第二间隔以生成第二部分预览流(第二间隔是基于第二帧速率的)；生成包括已处理的第一图像帧序列和已处理的第二图像帧序列的视频流；输出用于显示的预览流；以及输出视频流。在一些实施方式中，预览流采用固定的帧速率，并且视频流采用变化的帧速率。
[0013]在一些实施方式中，该设备还包括存储器以存储查找表，该查找表将不同的帧速率映射到用于配置一个或多个滤波器的设置。图像信号处理器还被配置来基于帧速率变化使用查找表配置一个或多个滤波器。查找表可以还将不同的帧速率映射到每批图像帧的数量，用于由图像信号处理器与应用处理器进行通信。
[0014]在一些实施方式中，该设备包括编码器以对第一图像帧序列和第二图像帧序列进行编码来产生视频流。该设备可以包括显示器以显示预览流。该设备可以还包括应用处理器以执行与第一图像帧序列和第二图像帧序列相关联的相机应用。该设备可以还包括图像传感器，其被配置来捕获第一图像帧序列；捕获第二图像帧序列；以及向图像信号处理器指示帧速率变化。
[0015]一种存储指令的示例非暂时性计算机可读介质，该指令在由设备的一个或多个处理器执行时导致该设备由图像信号处理器以第一帧速率从图像传感器接收第一图像帧序列；由图像信号处理器以第一帧速率处理第一图像帧序列中的每个图像帧；由图像信号处
理器从图像传感器接收从第一帧速率到第二帧速率的帧速率变化的指示；响应于从图像传感器接收到帧速率变化的指示，配置图像信号处理器的一个或多个滤波器以处理来自图像传感器的图像帧；由图像信号处理器以第二帧速率从图像传感器接收第二图像帧序列；以及由图像信号处理器以第二帧速率处理第二图像帧序列的每个图像帧。在一些实施方式中，帧速率变化的指示被包括在来自图像传感器的第一图像帧序列之后的图像帧的元数据中。
[0016]该指令的执行可以可以还导致该设备：在来自第二图像帧序列的一批多个图像帧期间由图像信号处理器向应用处理器指示一次帧速率变化。该批中的图像帧的数量由图像信号处理器基于接收到的帧速率变化的指示来确定。在一些实施方式中，该批中的图像帧的数量是基于与该批相关联的帧速率的。在一些实施方式中，图像信号处理器在配置一个或多个滤波器之后向应用处理器指示帧速率变化。
[0017]该指令的执行可以还导致该设备由图像信号处理器处理第一图像帧序列的图像帧的第一间隔以生成第一部分预览流(第一间隔是基于第一帧速率的)；由图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于数字图像处理的方法，包括：由图像信号处理器以第一帧速率从图像传感器接收第一图像帧序列；由所述图像信号处理器以所述第一帧速率处理所述第一图像帧序列中的每个图像帧；由所述图像信号处理器从所述图像传感器接收从所述第一帧速率到第二帧速率的图像传感器的帧速率变化的指示；响应于从所述图像传感器接收到所述帧速率变化的指示，配置所述图像信号处理器的一个或多个滤波器以处理来自所述图像传感器的图像帧；由所述图像信号处理器以所述第二帧速率从所述图像传感器接收第二图像帧序列；以及由所述图像信号处理器以所述第二帧速率处理所述第二图像帧序列的每个图像帧。2.如权利要求1所述的方法，其中，所述帧速率变化的指示被包括在来自所述图像传感器的所述第一图像帧序列之后的图像帧的元数据中。3.如权利要求1所述的方法，还包括：在来自所述第二图像帧序列的一批多个图像帧期间由所述图像信号处理器向应用处理器指示一次所述帧速率变化，其中，所述批中的图像帧的数量由所述图像信号处理器基于接收到的所述帧速率变化的指示来确定。4.如权利要求3所述的方法，其中，所述批中的图像帧的所述数量是基于与所述批相关联的帧速率。5.如权利要求1所述的方法，其中，所述图像信号处理器在配置所述一个或多个滤波器之后向所述应用处理器指示所述帧速率变化。6.如权利要求1所述的方法，还包括：由所述图像信号处理器处理所述第一图像帧序列的图像帧的第一间隔以生成第一部分预览流，其中，所述第一间隔是基于所述第一帧速率；由所述图像信号处理器处理所述第二图像帧序列的图像帧的第二间隔以生成第二部分预览流，其中，所述第二间隔是基于所述第二帧速率；由所述图像信号处理器生成包括已处理的第一图像帧序列和已处理的第二图像帧序列的视频流；由所述图像信号处理器输出用于显示的所述预览流；以及由所述图像信号处理器输出所述视频流。7.如权利要求6所述的方法，其中，所述预览流是采用固定的帧速率，并且所述视频流是采用变化的帧速率。8.如权利要求6所述的方法，还包括由编码器对所述第一图像帧序列和所述第二图像帧序列进行编码来产生所述视频流。9.如权利要求1所述的方法，还包括：由存储器存储查找表，所述查找表将不同的帧速率映射到用于配置所述一个或多个滤波器的设置，其中，所述图像信号处理器基于所述帧速率变化使用所述查找表来配置所述一个或多个滤波器。10.如权利要求9所述的方法，其中，所述查找表还将不同的帧速率映射到每批图像帧的所述数量，用于由所述图像信号处理器与应用处理器进行通信。
11.一种用于数字图像处理的设备，包括：图像信号处理器，被配置为：以第一帧速率从图像传感器接收第一图像帧序列；以所述第一帧速率处理所述第一图像帧序列中的每个图像帧；从所述图像传感器接收从所述第一帧速率到第二帧速率的图像传感器的帧速率变化的指示；响应于从所述图像传感器接收到所述帧速率变化的指示，配置所述图像信号处理器的一个或多个滤波器以处理来自所述图像传感器的图像帧；以所述第二帧速率从所述图像传感器接收第二图像帧序列；以及以所述第二帧速率处理所述第二图像帧序列的每个图像帧。12.如权利要求11所述的设备，其中，所述帧速率变化的指示被包括在来自所述图像传感器的所述第一图像帧序列之后的图像帧的元数据中。13.如权利要求11所述的设备，其中，所述图像信号处理器还被配置来：在来自所述第二图像帧序列的一批多个图像帧期间向应用处理器指示一次所述帧速率变化，其中，所述批中的图像帧的数量由所述图像信号处理器基于接收到的所述帧速率变化的指示来确定。14.如权利要求13所述的设备，其中，所述批中的图像帧的所述数量是基于与所述批相关联的帧速率。15.如权利要求13所述的设备，其中，所述图像信号处理器还被配置来在配置所述一个或多个滤波器之后向所述应用处理器指示所述帧速率变化。16.如权利要求11所述的设备，其中，所述图像信号处理器还被配置为：处理所述第一图像帧序列的图像帧的第一间隔以生成第一部分预览流，其中，所述第一间隔是基于所述第一帧速率；处理所述第二图像帧序列的图像帧的第二间隔以生成第二部分预览流，其中，所述第二间隔是基于所述第二帧速率；生成包括已处理的第一图像帧序列和已处理的第二图像帧序列的视频流；输出用于显示的所述预览流；以及输出所述视频流。17.如权利要求16所述的设备，其中，所述预览流是采用固定的帧速率，并且所述视频流是采用变化的帧速率。18.如权利要求16所述的设备，还包括编码器以对所述第一图像帧序列和所述第二图像帧序列进行编码来产生所述视频流。19.如权利要求16所述的设备，还包括显示器以显示所述预览流。20.如权利要求13所述的设备，还包括所述应用处理器以执行与所述第一图像帧序列和所述第二图像帧序列相关联的相机应用。21.如权利要求11所述的设备，还包括：存储器，以存储查找表，所述查找表将不同的帧速率映射到用于配置所述一个或多个滤波器的设置，其中，所述图像信号处理器还被配置来基于所述帧速率变化使用所述查找表配置所述一个或多个滤波器。
22.如权利要求21所述的设备，其中，所述查找表还将不同的帧速率映射到每批图像帧的所述数量，用于由所述图像信号处理器与应用处理器进行通信。23.如权利要求11所述的设备，还包括所述图像传感器，被配置为：捕获所述第一图像帧序列；捕获所述第二图像帧序列；以及向所述图像信号处理...

【专利技术属性】
技术研发人员：R迪赛，S程，S蔡，R萨纳姆，A劳特，ML库尔特，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：