光场消息传递制造技术

一种光信息传递方法，其中经由从显示设备发射并使用相机检索的编码图像传输隐藏信息，包括训练相机显示器传递模型，该相机显示器传递模型从嵌入模型接收具有隐藏消息的图像，并基于说明显示器和相机的属性的训练数据生成修改的编码图像，将修改的编码图像传送到恢复模型，该恢复模型解码隐藏消息并输出隐藏消息确定，使用CDTF模型和训练数据训练嵌入和恢复模型，以最小化输入的隐藏消息和隐藏消息确定之间的差异。在训练CDTF模型和其他模型之后，使用嵌入模型在载体图像中嵌入隐藏消息，使用显示设备显示编码图像，在相机处接收编码图像，并且使用恢复模型检索隐藏消息。并且使用恢复模型检索隐藏消息。并且使用恢复模型检索隐藏消息。

【技术实现步骤摘要】
【国外来华专利技术】光场消息传递


[0001]本专利技术涉及在数据通信中嵌入隐藏信息，并且更具体地，涉及通过光场消息传递(LFM)在电子显示的图像和视频中嵌入和检索隐写(steganographically)隐藏信息的方法。

技术介绍

[0002]在光场消息传递中，隐藏信息嵌入在由电子设备显示的图像或视频(本文统称为“图像”)中，并且相机捕获图像。电子屏幕上显示图像的照明是自由空间中的光源，其特征是光场。相机通过对该光场进行采样来捕获图像。相机的准确位置和方向未知，在3D空间中也不固定。然后使用共置在相机上或单独设备中的处理器对接收的图像和视频进行算法解码，以检索嵌入其中的信息。因此，光场消息传递有时被称为屏幕相机通信(也称为可见光消息传递、相机显示器消息传递)。视觉隐藏信息有许多应用，诸如交互式视觉媒体、增强现实、自动驾驶车辆的道路标志、机器人和物体的隐藏标签以及私密通信。
[0003]当使用相机从屏幕图像中捕获隐藏信息时，解码任务不同于传统的隐写术(steganography)。隐写术通常涉及数字域，其中图像作为数字信号进行处理和传输。数字隐写术的早期工作可分为空间和转换技术。空间技术的范围从最低有效强度比特(LSB)的简单改变到更复杂的固定滤波器转换域技术，再到使用深度网络的学习滤波器。像素值的微小变化很难在视觉上检测到，并可用于存储相对大量的信息。实际上，简单的LSB隐写术并不常用，但更复杂的LSB方法可以与图像压缩结合使用，以实现更好的不可检测性。转换域技术使用过滤后的信号和消息进行嵌入，使得嵌入的消息被隐藏而无法视觉观察。然而，对于光场消息传递中的光传输，空间和转换技术都不是鲁棒的。
[0004]最近，机器学习技术，包括深度卷积神经网络，已被应用于数字图像隐写术。研究人员已经证明，使用联合学习的特征和分类器的深度学习通常比使用手工选择的图像特征的更成熟的隐写术分析方法表现得更好。此外，已经探索了结构化神经学习方法，该方法集成了传统的空间域和转换域隐写术技术，诸如用于基于文本的消息的载体图像中的LSB选择。
[0005]例如，Baluja已经公开了深度前馈卷积神经网络，该网络可以直接学习特征表示以将消息图像嵌入到载体图像中。区别于约束网络选择载体图像中适合嵌入的像素，神经网络使用保持载体和消息图像质量的约束来训练神经网络。见S.Baluja，“Hiding images in plain sight:Deep steganography”，载于Advances in Neural Information Processing Systems，第2006
‑
2076页(2017)。Hayes等人已经公开了一种基于深度神经网络的类似隐写算法，该算法利用对抗性学习来保持载体图像的质量并限制隐藏消息检测。J.Hayes和G.Danezis，“Generating steganographic images via adversarial training”，载于Advances in Neural Information Processing Systems，1951
‑
1960页(2017)。然而，这些和类似的技术也涉及数字隐写术，并且当应用于摄影隐写术和光场消息传递时，也不能很好地执行。
[0006]图1是最近公开的数字隐写术技术的示意图。图1示出了示例性载体图像102和对消息104进行编码的示例性二维图案。消息104嵌入到载体图像中，将载体图像转换为编码图像108。编码图像显示在电子显示器110上，并且使用相机115捕获显示编码图像。从显示器到相机的传输称为相机显示器传递(CDT)，其特征在于相机显示器传递函数(CDTF)。传输具有失真效应，其会损坏或破坏隐写编码在相机图像中的信息。在图1中，虽然捕获的编码图像122看起来类似于显示的编码图像108，但是由于相机显示器传递的影响，恢复的消息124根本不类似于原始消息104。
[0007]特别是在光场消息传递和可见光通信领域，早期的系统专注于屏幕相机传输，而不寻求在显示图像中隐藏信号。在计算摄影中，单通道系统已经被开发出来，可以为投影相机系统生成最优模式。在计算机视觉领域，显示图像中隐藏信息的通信从Pixnet和可视MIMO开始，并在诸如InFrame和DisCo的其他近期工作成果中继续进行。在这些双通道方法中，显示器通过相机捕获视频独立于可见图像传送隐藏消息。在以前的方法中，消息已经使用固定的滤波技术嵌入，包括多分辨率空间嵌入或时间嵌入，其需要高频显示器和高速相机来利用人类感知的局限性。已经发现，这些光消息传递技术在性能方面受到影响，这是由于相机显示器传递效应、隐藏消息的可感知伪影以及同步电子显示器和相机的问题。
[0008]因此，需要一种光场消息传递方法，该方法不依赖于时间变化来将隐藏消息从编码图像中分离出来，因为这些技术需要相机和显示器之间的时间同步。

技术实现思路

[0009]本文公开了一种光消息传递方法，其中隐藏消息在编码图像中被传输，该编码图像从显示设备发射并由相机捕获。处理相机捕获的编码图像版本以检索消息。该方法包括学习函数以近似相机显示器传递的效果。在一些实施例中，该函数被实现为相机显示器传递函数模型，该模型从嵌入模型接收用隐藏消息编码的图像，并基于训练图像数据生成模拟相机显示器失真的修改的编码图像，将修改的编码图像传递到恢复模型，该恢复模型被配置为从修改的编码图像解码隐藏消息并输出隐藏消息确定，使用先前训练的CDTF模型和训练图像数据训练嵌入模型和恢复模型两者以最小化输入的隐藏消息和隐藏消息确定之间的差异，在训练CDTF之后，嵌入和恢复模型：使用训练的嵌入模型在载体图像中嵌入进一步的隐藏消息，将载体图像转换为编码图像，使用显示设备显示编码图像，在相机处接收编码图像，以及使用训练的恢复模型检索嵌入在编码图像中的进一步的隐藏消息。
[0010]在某些实施例中，使用包括感知损失正则化器的损失函数来训练CDTF模型。
[0011]在进一步的实施例中，训练图像数据包括由在相机类型以及相机位置/方向上变化的多个相机捕获的照片。训练图像数据还可以包括在多个显示设备上显示的图像。数据是在各种照明和曝光条件下收集的。然而，需要注意的是，在对模型进行训练之后，该模型可以与训练图像数据中使用的那些不同的相机/显示器组合一起使用。
[0012]在某些实施例中，嵌入模型包括用于消息的第一处理路径和用于隐藏消息被嵌入其中的载体图像的第二处理路径。在某些实现中，载体图像和消息的特征由第一和第二处理路径共享。
[0013]一种使用相机显示器失真模型的光消息传递方法，该相机显示器失真模型包括：嵌入模型，被配置为将隐藏消息嵌入载体图像并将载体图像转换为编码图像；相机显示器
传递函数模型，被配置为从嵌入模型接收编码图像，并基于训练图像数据生成模拟相机显示器失真的修改的编码图像；以及恢复模型，被配置为从修改的编码图像检索隐藏消息。该方法包括：接收由显示设备发射的图像，其中使用用CDTF模型训练的嵌入模本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种光消息传递方法，其中隐藏消息在从显示设备发射的编码图像中传输并使用相机从所述编码图像检索，包括：训练相机显示器传递模型，所述相机显示器传递模型从嵌入模型接收用隐藏消息编码的图像，并基于训练图像数据生成模拟相机显示器失真的修改的编码图像，所述修改的编码图像被传送到恢复模型，所述恢复模型被配置为从所述修改的编码图像解码所述隐藏消息并输出隐藏消息确定；使用先前训练的CDTF模型和所述训练图像数据训练所述嵌入模型和所述恢复模型两者，以最小化输入的隐藏消息和所述隐藏消息确定之间的差异；在训练所述CDTF模型之后，嵌入模型和恢复模型：使用训练的嵌入模型在载体图像中嵌入进一步的隐藏消息，将所述载体图像转换为编码图像；使用所述显示设备显示所述编码图像；在所述相机处接收所述编码图像；以及使用训练的恢复模型检索嵌入在所述编码图像中的所述进一步的隐藏消息。2.根据权利要求1所述的方法，其中，所述CDTF模型是使用机器学习技术来实现的。3.根据权利要求2所述的方法，其中，实现所述CDTF模型的神经网络包括具有至少一个卷积神经网络的神经网络系统。4.根据权利要求2所述的方法，其中，所述CDTF模型是使用包括感知度量的损失函数来训练的。5.根据权利要求1所述的方法，其中，所述训练图像数据包括由多个相机捕获的照片。6.根据权利要求1所述的方法，其中，所述训练图像数据包括显示在多个显示设备上的图像。7.根据权利要求1所述的方法，其中，所述嵌入模型包括用于消息的第一处理路径和用于所述隐藏消息被嵌入其中的载体图像的第二处理路径。8.根据权利要求7所述的方法，其中，所述载体图像和消息的特征由所述第一处理路径和所述第二处理路径共享。9.根据权利要求1所述的方法，其中，与从中获得了所述训练图像数据的显示器和相机设备相比，是使用不同的显示器和相机设备在所述载体图像中显示和捕获所述编码图像的。10.根据权利要求1所述的方法，其中，所述编码图像由所述嵌入模型在空间上编码，使得使用所述恢复模型解码所述编码图像不需要基于时间的同步。11.一种使用相机显示器失真模型的光消息传递方法，所述相机显示器失真模型包括：嵌入模型，被配置为将隐藏消息嵌入载体图像中并将所述载体图像转换为编码图像；相机显示器传递模型，被配置为从所述嵌入模型接收所述编码图像并生成模拟相机显示器失真的修改的编码图像；以及恢复模型，被配置为从所述修改的编码图像检索所述隐藏消息，所述方法包括：接收由显示设备发射的、其中使用用CDTF模型训练的嵌入模型嵌入消息的图...

【专利技术属性】
技术研发人员：E温格罗夫斯基，K达纳，
申请(专利权)人：罗格斯，新泽西州立大学，
类型：发明
国别省市：