本发明专利技术提高图像传感器中使用的识别处理的精度。一种固态成像装置包括像素阵列、转换器、图像处理单元、数字信号处理单元和控制单元。像素阵列具有执行光电转换的多个像素。转换器将从像素阵列输出的模拟像素信号转换成数字图像数据。图像处理单元对数字图像数据执行图像处理。数字信号处理单元对由图像处理单元输出的数字图像数据执行识别处理。控制单元基于识别处理的结果执行关于在模拟像素信号的获取、数字图像数据的获取和识别处理的结果的获取中的至少一个获取处理的优化。的获取中的至少一个获取处理的优化。的获取中的至少一个获取处理的优化。
【技术实现步骤摘要】
【国外来华专利技术】固态成像装置、电子设备和成像系统
[0001]相关申请的交叉引用
[0002]本申请是于2020年1月30日提交的美国临时专利申请号62/967,869的相关申请，要求该临时申请的优先权，其全部内容通过引用结合在此。
[0003]本公开涉及固态成像装置、电子设备和成像系统。
技术介绍
[0004]近年来，已经要求对由图像传感器捕获的图像数据以高速执行各种信号处理。此外，随着半导体工艺技术的发展，已经提出了多个芯片(诸如图像传感器芯片、存储器芯片和信号处理芯片)通过凸块连接至封装件的半导体装置以及包括设置在其中的图像传感器的裸片和设置在其中的包括存储器、信号处理电路等的裸片层压至封装件的半导体装置。
[0005]在结合图像传感器和信号处理电路的半导体装置(在下文中，称为成像装置)安装在诸如智能电话的电子设备中的情况下，成像装置中的信号处理电路在许多情况下响应于来自安装在电子设备中的应用处理器的命令执行各种信号处理。例如，通过在信号处理电路中执行神经网络处理并且输出结果，可以改善将捕获的图像传输至外部然后对其进行处理的延迟，并且通过将捕获的图像传输至外部来改善隐私和安全性。因此，需要用于提高在利用内置的信号处理电路执行估计处理等时使用的神经网络的识别率的技术。
[0006][引用列表][0007][专利文献][0008][专利文献1][0009]WO 2018/051809 A1。
技术实现思路
[0010][技术问题][0011]因此，本公开提供一种能够提高图像传感器中使用的神经网络的处理精度的固态成像装置、电子设备和成像系统。
[0012][问题的解决方案][0013]根据一个实施方式，一种固态成像装置包括：像素阵列，具有执行光电转换的多个像素；转换器，将从像素阵列输出的模拟像素信号转换成数字图像数据；图像处理单元，对所述数字图像数据执行图像处理；数字信号处理单元，对由所述图像处理单元输出的所述数字图像数据执行识别处理；以及控制单元，基于识别处理的结果执行关于模拟像素信号的获取、数字图像数据的获取和识别处理的结果的获取之中的至少一个获取处理操作的优化。
[0014]控制单元可反馈识别处理的结果以执行优化。
[0015]当识别处理的识别率降低时，控制单元可执行关于在模拟像素信号的获取、数字
图像数据的获取和识别处理的结果的获取之中的至少一个获取处理操作的优化。
[0016]控制单元可控制像素阵列的像素的曝光时间。
[0017]控制单元可优化与图像处理单元的图像处理有关的参数。
[0018]数字信号处理单元可使用经训练的神经网络模型来执行识别处理。
[0019]控制单元可重新训练神经网络模型。
[0020]固态成像装置可进一步包括半导体装置，该半导体装置包括：第一基板，像素阵列布置在第一基板上；以及第二基板，层压在第一基板上，并且转换器、图像处理单元、数字信号处理单元和控制单元布置在第二基板上。
[0021]第一基板和第二基板可以通过CoC(芯片上芯片)方法、CoW(晶圆上芯片)方法和WoW(晶圆上晶圆)方法中的任何一种接合。
[0022]固态成像装置可进一步包括选择器，用于选择来自转换器、图像处理单元和数字信号处理单元中的至少一个的输出，并将数据输出至外部。
[0023]当输出图像信息时，可仅选择并输出受关注区域中的信息。
[0024]当输出图像信息时，可使用不同的压缩方法来输出受关注区域中的信息和其他区域中的信息。
[0025]受关注区域中的信息和其他区域中的信息可以用不同的压缩率压缩并输出。
[0026]当识别处理中的识别率已经降低时，可以一起输出图像信息和识别处理的结果。
[0027]根据一个实施方式，一种电子设备包括上述固态成像装置和独立于半导体装置的基板上的应用处理器，其中，应用处理器经由选择器输入/输出数据。
[0028]根据一个实施方式，成像系统包括：上述固态成像装置；以及经由网络连接至固态成像装置的服务器，其中，固态成像装置输出转换器的输出和/或图像处理单元的输出，所述数字信号处理单元的输出与所述服务器相关联，并且所述服务器执行关于在所述模拟像素信号的获取，获取数字图像数据以及基于接收的信息获取识别处理的结果之中的至少一个获取处理操作的优化，并将优化的信息部署到固态成像装置。
附图说明
[0029]图1是示出根据实施方式的包括成像装置的电子设备的概要的框图。
[0030]图2是示出根据实施方式的成像装置的处理的框图。
[0031]图3是示出根据实施方式的成像装置的处理的框图。
[0032]图4是示出根据实施方式的成像系统的概要的框图。
[0033]图5是示出根据实施方式的获取的图像的示例的示图。
[0034]图6是示出根据实施方式的成像装置的半导体基板的配置示例的示图。
具体实施方式
[0035]在下文中，将参考附图描述成像装置和电子设备的实施方式。尽管以下将主要描述成像装置和电子设备的主要组件，但是成像装置和电子设备可包括未示出或解释的组件和功能。以下描述不旨在排除未展示或解释的组件和功能。
[0036](第一实施方式)
[0037]图1是示出根据实施方式的包括成像装置1的电子设备2的示意性配置的框图。电
子设备2包括成像装置1和应用处理器(下文称为AP 20)。电子设备2是具有成像功能的智能电话、移动电话、平板终端、PC、数码相机、数码摄像机等，并且设备的具体模式不受限制。
[0038]成像装置1可以实现为半导体装置。该半导体装置也可被称为图像传感器或固态成像装置。成像装置1至少包括CMOS图像传感器(下文称为CIS 10)、图像处理单元(下文称为ISP 11)、数字信号处理单元(下文称为DSP 12)、控制单元(下文称为CPU 13)、存储单元14、快门15和选择器(下文称为SEL 16)。
[0039]CIS 10是具有光学系统100、包括像素阵列102的成像单元和模拟数字转换电路(以下称为ADC 104)的图像传感器。
[0040]光学系统100包括例如变焦透镜、单聚焦透镜、光圈等。光学系统100将入射光引导至像素阵列102。
[0041]像素阵列102具有在二维方向上布置的多个像素。每个像素可以由诸如RGB的多种颜色的多个单位像素组成。每个单位像素具有诸如光电二极管的光接收元件。光接收元件光电转换入射光并且输出模拟像素信号。入射在成像单元上的光经由光学系统100被成像在布置有多个光接收元件的光接收表面上，并且每个光接收元件根据入射光的强度累积电荷并且输出对应于累积电荷量的模拟像素信号。
[0042]ADC 104将从像素阵列102输出的模拟像素信号转换成数字图像数据。由于ADC 104执行A/D转换，因此ISP 11、DSP 12、CPU 13、存储单元14、快门15和SEL 16在ADC 104的后级处理数本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种固态成像装置，包括：像素阵列，具有执行光电转换的多个像素；转换器，将从所述像素阵列输出的模拟像素信号转换成数字图像数据；图像处理单元，对所述数字图像数据执行图像处理；数字信号处理单元，对由所述图像处理单元输出的所述数字图像数据执行识别处理；以及控制单元，基于所述识别处理的结果，执行关于在所述模拟像素信号的获取、所述数字图像数据的获取以及所述识别处理的结果的获取中的至少一个获取处理操作的优化。2.根据权利要求1所述的固态成像装置，其中，所述控制单元反馈所述识别处理的结果以执行所述优化。3.根据权利要求2所述的固态成像装置，其中，当所述识别处理的识别率降低时，所述控制单元执行关于在所述模拟像素信号的获取、所述数字图像数据的获取以及所述识别处理的结果的获取中的所述至少一个获取处理操作的优化。4.根据权利要求2所述的固态成像装置，其中，所述控制单元控制所述像素阵列的所述像素的曝光时间。5.根据权利要求2所述的固态成像装置，其中，所述控制单元优化与所述图像处理单元的所述图像处理有关的参数。6.根据权利要求2所述的固态成像装置，其中，所述数字信号处理单元使用训练的神经网络模型执行所述识别处理。7.根据权利要求6所述的固态成像装置，其中，所述控制单元重新训练神经网络模型。8.根据权利要求1所述的固态成像装置，还包括半导体装置，所述半导体装置包括：第一基板，所述像素阵列被布置在所述第一基板上；以及第二基板，层压在所述第一基板上，并且所述转换器、所述图像处理单元、所述数字信号处理单元和所述控制单元布置在所述第二基板上。9.根据权利要求8所述的固态...
【专利技术属性】
技术研发人员：日比野智一，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。