基于动物视角的照相方法、装置、设备及存储介质制造方法及图纸

本申请涉及计算摄影领域，公开了一种基于动物视角的照相方法、装置、设备及存储介质。该方法包括：接收经所述仿生镜头折射的目标光源，调用所述仿生光学传感器对所述目标光源执行光电转换，得到所述目标光源对应的电子信号；调用所述模拟前端将所述电子信号转换为模拟信号；对所述模拟信号执行模数转换，得到所述目标光源对应的数字信号；响应于用户按下所述仿生相机的快门，基于所述数字信号生成初始图像；调用预置的动物视角模拟模型处理所述初始图像，得到目标图像，其中，所述动物视角模拟模型对应模拟目标类型动物的视角。本发明专利技术能够模拟动物的视角，从而为用户带来有趣的拍摄体验。验。验。

【技术实现步骤摘要】
基于动物视角的照相方法、装置、设备及存储介质


[0001]本申请涉及计算摄影领域，尤其涉及一种基于动物视角的照相方法、装置、设备及存储介质。

技术介绍

[0002]相机是人们生活中常用的数码产品，用于拍摄瞬时图像。当前市场上的相机系统，主要以人类为主体进行图像捕捉与拍摄。
[0003]在现有的技术中，通常基于人类的视觉主体来拍摄照片，当前亟需一种基于动物视角的照相方法，通过模拟动物对世界的视觉感知，从而为用户带来有趣的拍摄体验。
[0004]申请内容
[0005]本申请实施例提供一种基于动物视角的照相方法，能够模拟动物的视角，从而为用户带来有趣的拍摄体验。
[0006]第一方面，本申请实施例提供一种基于动物视角的照相方法，应用于仿生相机，仿生相机包括仿生镜头、仿生光学传感器和模拟前端，包括：接收经仿生镜头折射的目标光源，调用仿生光学传感器对目标光源执行光电转换，以将目标光源由光子转换为电子进行存储；调用模拟前端读取所存储的电子并转换为模拟信号；对模拟信号执行模数转换，得到目标光源对应的数字信号；响应于用户按下仿生相机的快门，基于数字信号生成初始图像；调用预置的动物视角模拟模型处理初始图像，得到目标图像，其中，动物视角模拟模型对应模拟目标类型动物的视角。
[0007]基于本申请实施例提供的方法，通过模仿某种动物的眼睛结构构造的仿生镜头来折射被拍摄物体反射的光线，通过仿生光学传感器将不同的光子(包括人眼不可见光，如紫外线、红外线等)转换为电子，通过模拟前端将电子组成的模拟信号转换为数字信号，从而生成初始图像，最后在结合普通图像转换至某种动物视角下图像的仿生算法模型处理该图像，从而得到动物视角下的图像，进而为用户带来有趣的拍摄体验。
[0008]在一种可能的实现方式中，仿生光学传感器包括多个传感器阵列，接收经仿生镜头折射的目标光源，调用仿生光学传感器对目标光源执行光电转换，以将目标光源由光子转换为电子进行存储包括：接收经仿生镜头折射的目标光源，调用多个传感器阵列对目标光源执行光电转换，以将目标光源由光子转换为电子进行存储。
[0009]在一种可能的实现方式中，每个传感器阵列中包括微透镜、颜色滤镜或不可见光滤镜、光电二极管以及势阱，颜色滤镜对应一种颜色的可见光线，不可见光滤镜对应一种类型的不可见光线，接收经仿生镜头折射的目标光源，调用多个传感器阵列对目标光源执行光电转换，以将目标光源由光子转换为电子进行存储包括：接收经仿生镜头折射的目标光源，调用目标传感器阵列中的微透镜汇聚目标光源的光线，其中，目标传感器阵列为多个传感器阵列中的任意一个传感器阵列；调用目标传感器阵列中的颜色滤镜吸收对应颜色的可见光线，或调用目标传感器阵列中的不可见光滤镜吸收对应类型的不可见光线，并将所吸收光线的能量传输给目标传感器阵列中的光电二极管；调用目标传感器阵列中的光电二极
管，根据所传输的能量发生光电效应以得到多个电子；调用目标传感器阵列中的势阱存储光电效应所得到的多个电子。
[0010]这样一来，可通过颜色滤镜和不可见光滤镜来记录动物视角中各种光线(例如鸟的视网膜接收的光线波长范围和人类的相比是很宽的，它可以接收紫外线)，从而还原动物真实的视角图像。
[0011]在一种可能的实现方式中，调用预置的动物视角模拟模型处理初始图像，得到目标图像，其中，动物视角模拟模型对应模拟目标类型动物的视角之前，还包括：构建目标类型动物的动物视角训练图像集，其中，动物视角训练图像集中包括多个图像对，每个图像对中包括一张原始训练图像和一张原始验证图像，原始验证图像为原始训练图像在目标类型动物的视角下所呈现的图像；对动物视角训练图像集中的每张图像执行图像预处理；构建深度卷积生成对抗网络DCGAN；基于图像预处理后的动物视角训练图像集对深度卷积生成对抗网络DCGAN执行动物视角图像生成训练，得到动物视角模拟模型。
[0012]这样一来，通过博弈式图像生成与判别训练，得到原始图像数据分布变换至动物视角下的验证图像数据分布的动物视角模拟模型，无需构建具体的仿生视觉变换算法，基于无监督学习在已知数据分布的条件下仿射至目标数据分布。
[0013]在一种可能的实现方式中，构建目标类型动物的动物视角训练图像集包括：获取多张原始训练图像，并对每张原始训练图像执行灰度化处理；将每张灰度化处理后的原始训练图像呈现给目标类型动物观看，并在每次观看后扫描目标类型动物的大脑视觉皮层所产生的生物神经信号；根据扫描所得的生物神经信号绘制目标类型动物的视角下所呈现的原始验证图像；根据每张原始训练图像和每张原始训练图像对应的原始验证图像构建图像对，得到多个图像对；基于多个图像对构建目标类型动物的动物视角训练图像集。
[0014]在一种可能的实现方式中，深度卷积生成对抗网络DCGAN中包括生成子网络和判别子网络，基于图像预处理后的动物视角训练图像集对深度卷积生成对抗网络DCGAN执行动物视角图像生成训练，得到动物视角模拟模型包括：确定动物视角训练图像集中待训练的目标图像对，其中，目标图像对中包括目标训练图像和目标验证图像；对生成子网络和判别子网络执行多次交替训练，得到动物视角模拟模型，其中，每次交替训练包括：调用生成子网络，提取目标训练图像的原始数据分布，并根据原始数据分布以及当前生成子网络的网络参数，生成目标预测图像；调用判别子网络，计算目标预测图像为目标验证图像的目标概率值；根据预置的判别损失函数，计算目标概率值对应的判别损失结果；根据判别损失结果调整判别子网络的网络参数；计算生成子网络中卷积神经网络与目标类型动物的生物神经网络之间的相似性损失结果；根据目标概率值和相似性损失结果调整生成子网络的网络参数。
[0015]在一种可能的实现方式中，计算生成子网络中卷积神经网络与目标类型动物的生物神经网络之间的相似性损失结果包括：分别计算生成子网络中多层卷积网络所提取的图像特征相互之间的相似性，并基于预置的正则化加权算法计算卷积神经网络的第一特征相似性；根据对目标类型动物扫描所得的生物神经信号，计算生物神经信号之间的第二特征相似性；基于预置的相似性损失函数，计算第一特征相似性与第二特征相似性之间的相似性损失结果。
[0016]这样一来，通过正则化方式，计算所建立神经网络与动物神经网络之间的相似性
损失，从而引导神经网络学习动物的神经信号模式，使模型学习到和生物视觉系统更为相近的视觉表征，进而生成更加真实的动物视角图像。
[0017]在一种可能的实现方式中，响应于用户按下仿生相机的快门，基于数字信号生成初始图像之后，基于预置的动物视角模拟模型对初始图像执行图像增强，得到目标图像之前，还包括：对初始图像依次执行图像白平衡、去马赛克、降噪、颜色空间转换、色调重建以及图像压缩以预处理初始图像。
[0018]这样一来，通过图像白平衡、去马赛克、降噪、颜色空间转换、色调重建以及图像压缩预处理图像，从而得到更佳的图像。
[0019]第二方面，本申请实施例提供一种基于动物视角的照相装置，应用于仿生相机，仿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动物视角的照相方法，应用于仿生相机，所述仿生相机包括仿生镜头、仿生光学传感器和模拟前端，其特征在于，所述基于动物视角的照相方法包括：接收经所述仿生镜头折射的目标光源，调用所述仿生光学传感器对所述目标光源执行光电转换，以将所述目标光源由光子转换为电子进行存储；调用所述模拟前端读取所存储的电子并转换为模拟信号；对所述模拟信号执行模数转换，得到所述目标光源对应的数字信号；响应于用户按下所述仿生相机的快门，基于所述数字信号生成初始图像；调用预置的动物视角模拟模型处理所述初始图像，得到目标图像，其中，所述动物视角模拟模型对应模拟目标类型动物的视角。2.根据权利要求1所述的基于动物视角的照相方法，其特征在于，所述仿生光学传感器包括多个传感器阵列，所述接收经所述仿生镜头折射的目标光源，调用所述仿生光学传感器对所述目标光源执行光电转换，以将所述目标光源由光子转换为电子进行存储包括：接收经所述仿生镜头折射的目标光源，调用所述多个传感器阵列对所述目标光源执行光电转换，以将所述目标光源由光子转换为电子进行存储。3.根据权利要求2所述的基于动物视角的照相方法，其特征在于，每个传感器阵列中包括微透镜、颜色滤镜或不可见光滤镜、光电二极管以及势阱，颜色滤镜对应一种颜色的可见光线，不可见光滤镜对应一种类型的不可见光线，所述接收经所述仿生镜头折射的目标光源，调用所述多个传感器阵列对所述目标光源执行光电转换，以将所述目标光源由光子转换为电子进行存储包括：接收经所述仿生镜头折射的目标光源，调用目标传感器阵列中的微透镜汇聚所述目标光源的光线，其中，所述目标传感器阵列为所述多个传感器阵列中的任意一个传感器阵列；调用所述目标传感器阵列中的颜色滤镜吸收对应颜色的可见光线，或调用所述目标传感器阵列中的不可见光滤镜吸收对应类型的不可见光线，并将所吸收光线的能量传输给所述目标传感器阵列中的光电二极管；调用所述目标传感器阵列中的光电二极管，根据所传输的能量发生光电效应以得到多个电子；调用所述目标传感器阵列中的势阱存储光电效应所得到的多个电子。4.根据权利要求1所述的基于动物视角的照相方法，其特征在于，所述调用预置的动物视角模拟模型处理所述初始图像，得到目标图像，其中，所述动物视角模拟模型对应模拟目标类型动物的视角之前，还包括：构建目标类型动物的动物视角训练图像集，其中，所述动物视角训练图像集中包括多个图像对，每个图像对中包括一张原始训练图像和一张原始验证图像，所述原始验证图像为所述原始训练图像在所述目标类型动物的视角下所呈现的图像；对所述动物视角训练图像集中的每张图像执行图像预处理；构建深度卷积生成对抗网络DCGAN；基于图像预处理后的动物视角训练图像集对所述深度卷积生成对抗网络DCGAN执行动物视角图像生成训练，得到动物视角模拟模型。5.根据权利要求4所述的基于动物视角的照相方法，其特征在于，所述构建目标类型动物的动物视角训练图像集包括：
获取多张原始训练图像，并对每张原始训练图像执行灰度化处理；将每张灰度化处理后的原始训练图像呈现给所述目标类型动物观看，并在每次观看后扫描所述目标类型动物的大脑视觉皮层所产生的生物神经信号；根据扫描所得的...

【专利技术属性】
技术研发人员：曹自强，
申请(专利权)人：珠海市魅族科技有限公司，
类型：发明
国别省市：