【技术实现步骤摘要】
本申请涉及视觉数据处理，尤其涉及一种面向机器视觉的数据处理方法、装置、设备及介质。
技术介绍
1、视觉数据指的是以图像、视频等视觉形式存在的数据。在数字化信息快速发展的背景下，将海量视觉数据高效地从一处传到另一处，尤其是将视觉数据从端侧设备传输到边/云侧处理系统的需求越来越迫切。
2、相关技术中，对待传输的原始视觉数据（如视频、图像等）进行压缩处理得到连续视觉特征，并基于连续视觉特征实现原始视觉数据从端侧设备到边/云侧处理系统的传输。然而，受到通信带宽的制约，端侧以及边云侧难以实时汇聚大量压缩数据，进而导致视觉数据的传输效率低。
技术实现思路
1、本申请实施例的主要目的在于提出一种面向机器视觉的数据处理方法、装置、设备及介质，旨在提高视觉数据的传输效率。
2、为实现上述目的，本申请实施例的第一方面提出了一种面向机器视觉的数据处理方法，应用于端侧设备，端侧设备和边云侧系统中均设置有相同的视觉码本，面向机器视觉的数据处理方法包括：
3、获取待传输的初始视觉信息；
4、将初始视觉信息输入到预先训练好的端侧压缩模型中，通过多层次编码器对初始视觉信息进行不同类型的特征提取，得到各个层次下相应类型的编码特征；
5、基于视觉码本，对各个类型下的编码特征分别进行矢量量化处理，得到相应类型的压缩信息；
6、将相应类型的压缩信息发送至边云侧系统，以使边云侧系统将各类型下的压缩信息输入到预先训练好的边云侧解码模型中，通过多层次解码器
7、在一些实施例中，多层次编码器包括浅层次编码块和深层次编码块；编码特征包括纹理编码特征和语义编码特征；
8、通过多层次编码器对初始视觉信息进行不同类型的特征提取，得到各个层次下相应类型的编码特征，包括：
9、基于浅层次编码块对初始视觉信息进行纹理编码，得到纹理类型下的纹理编码特征；
10、基于深层次编码块对纹理编码特征进行语义编码，得到语义类型下的语义编码特征。
11、在一些实施例中，视觉码本中包括多个以码向量索引为标识的码向量；
12、基于视觉码本，对各个类型下的编码特征分别进行矢量量化处理，得到相应类型的压缩信息，包括：
13、对纹理编码特征进行降维处理，得到纹理编码特征降维后的多个第一基本特征单元；
14、从多个码向量中确定与第一基本特征单元匹配的第一码向量，将第一码向量相应的码向量索引作为纹理类型下的压缩信息；
15、或者，确定语义编码特征的多个第二基本特征单元，从多个码向量中确定与第二基本特征单元匹配的第二码向量，将第二码向量相应的码向量索引作为语义类型下的压缩信息。
16、在一些实施例中，视觉码本是通过以下步骤得到的，步骤包括：
17、获取待传输的样本初始视觉信息；
18、将样本初始视觉信息输入到预先构建好的端侧压缩模型中，通过多层次编码器对样本初始视觉信息进行不同类型的特征提取，得到各个层次下相应类型的样本编码特征；
19、基于预先设定的初始码本，对各个类型下的样本编码特征分别进行矢量量化处理，得到相应类型的样本压缩信息；
20、基于样本压缩信息、预设的第一梯度停止算子和预设的第一权重因子，计算得到第一量化损失值；
21、根据第一量化损失值对初始码本进行更新，得到视觉码本。
22、为实现上述目的，本申请实施例的第二方面提出了一种面向机器视觉的数据处理方法，应用于边云侧系统，端侧设备和边云侧系统中均设置有相同的视觉码本，面向机器视觉的数据处理方法包括：
23、接收来自端侧设备发送的各类型下的压缩信息，其中，压缩信息是端侧设备基于视觉码本，对各个类型下的编码特征分别进行矢量量化处理得到的；各个类型下的编码特征是将获取到的初始视觉信息输入到预先训练好的端侧压缩模型中，通过多层次编码器对初始视觉信息进行不同类型的特征提取得到的；
24、将各类型下的压缩信息输入到预先训练好的边云侧解码模型中，通过多层次解码器对不同类型压缩信息表征的编码特征进行特征重构，得到各个层次下相应类型的解码特征；
25、融合不同类型下的解码特征，得到与初始视觉信息匹配的目标视觉信息。
26、在一些实施例中，视觉码本是通过以下步骤得到的，步骤包括：
27、获取待传输的样本初始视觉信息；
28、将样本初始视觉信息输入到预先构建好的端侧压缩模型中，通过多层次编码器对样本初始视觉信息进行不同类型的特征提取，得到各个层次下相应类型的样本编码特征；
29、基于预先设定的初始码本，对各个类型下的样本编码特征分别进行矢量量化处理，得到相应类型的样本压缩信息；
30、基于样本压缩信息、预设的第一梯度停止算子和预设的第一权重因子，计算得到第一量化损失值；
31、根据第一量化损失值对初始码本进行更新，得到视觉码本。
32、在一些实施例中，边云侧解码模型是通过以下步骤训练得到的，步骤包括：
33、接收来自端侧设备发送的各类型下的样本压缩信息，其中，样本压缩信息是端侧设备基于视觉码本，对各个类型下的样本编码特征分别进行矢量量化处理得到的；各个类型下的样本编码特征是将获取到的样本初始视觉信息输入到预先训练好的端侧压缩模型中，通过多层次编码器对样本初始视觉信息进行不同类型的特征提取得到的；
34、将各类型下的样本压缩信息输入到预先构建好的边云侧解码模型中，通过多层次解码器对不同类型样本压缩信息表征的样本编码特征进行特征重构，得到各个层次下相应类型的样本解码特征；
35、融合不同类型下的样本解码特征，得到与样本初始视觉信息匹配的样本目标视觉信息；
36、基于样本初始视觉信息和样本目标视觉信息，计算得到像素损失值和感知损失值，根据像素损失值和感知损失值对边云侧解码模型的边云侧参数进行调整，得到训练好的边云侧解码模型。
37、在一些实施例中，端侧压缩模型和边云侧解码模型均是通过以下步骤联合训练得到的，步骤包括：
38、基于预设的第二梯度停止算子和第二权重因子，计算得到同一类型下样本编码特征和样本解码特征的第二量化损失值；
39、根据第二量化损失值对端侧参数和边云侧参数进行联合调整，得到训练好的端侧压缩模型和边云侧解码模型。
40、在一些实施例中，端侧压缩模型和边云侧解码模型均是通过以下步骤联合训练得到的，步骤还包括：
41、基于预先引入的判别器，对样本初始视觉信息进行判别处理得到第一判别值，对样本目标视觉信息进行判别处理得到第二判别值；
42、叠加第一判别值的对数处理结果和第二判别值的对数处理结果，得到对抗损失值，根据本文档来自技高网...
【技术保护点】
1.一种面向机器视觉的数据处理方法，其特征在于，应用于端侧设备，所述端侧设备和边云侧系统中均设置有相同的视觉码本，所述面向机器视觉的数据处理方法包括：
2.根据权利要求1所述的面向机器视觉的数据处理方法，其特征在于，所述多层次编码器包括浅层次编码块和深层次编码块；所述编码特征包括纹理编码特征和语义编码特征；
3.根据权利要求2所述的面向机器视觉的数据处理方法，其特征在于，所述视觉码本中包括多个以码向量索引为标识的码向量；
4.一种面向机器视觉的数据处理方法，其特征在于，应用于边云侧系统，端侧设备和所述边云侧系统中均设置有相同的视觉码本，所述面向机器视觉的数据处理方法包括：
5.根据权利要求4所述的面向机器视觉的数据处理方法，其特征在于，所述视觉码本是通过以下步骤得到的，所述步骤包括：
6.根据权利要求5所述的面向机器视觉的数据处理方法，其特征在于，所述边云侧解码模型是通过以下步骤训练得到的，所述步骤包括：
7.根据权利要求6所述的面向机器视觉的数据处理方法，其特征在于，所述端侧压缩模型和所述边云侧解码模型均是
8.根据权利要求7所述的面向机器视觉的数据处理方法，其特征在于，所述端侧压缩模型和所述边云侧解码模型均是通过以下步骤联合训练得到的，所述步骤还包括：
9.根据权利要求8所述的面向机器视觉的数据处理方法，其特征在于，所述端侧压缩模型和所述边云侧解码模型均是通过以下步骤联合训练得到的，所述步骤还包括：
10.根据权利要求9所述的面向机器视觉的数据处理方法，其特征在于，所述端侧压缩模型和所述边云侧解码模型均是通过以下步骤联合训练得到的，所述步骤还包括：
11.一种面向机器视觉的数据处理装置，其特征在于，所述面向机器视觉的数据处理装置中设置有视觉码本，所述装置包括：
12.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述的面向机器视觉的数据处理方法或权利要求4至10任一项所述的面向机器视觉的数据处理方法。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任一项所述的面向机器视觉的数据处理方法或权利要求4至10任一项所述的面向机器视觉的数据处理方法。
...【技术特征摘要】
1.一种面向机器视觉的数据处理方法，其特征在于，应用于端侧设备，所述端侧设备和边云侧系统中均设置有相同的视觉码本，所述面向机器视觉的数据处理方法包括：
2.根据权利要求1所述的面向机器视觉的数据处理方法，其特征在于，所述多层次编码器包括浅层次编码块和深层次编码块；所述编码特征包括纹理编码特征和语义编码特征；
3.根据权利要求2所述的面向机器视觉的数据处理方法，其特征在于，所述视觉码本中包括多个以码向量索引为标识的码向量；
4.一种面向机器视觉的数据处理方法，其特征在于，应用于边云侧系统，端侧设备和所述边云侧系统中均设置有相同的视觉码本，所述面向机器视觉的数据处理方法包括：
5.根据权利要求4所述的面向机器视觉的数据处理方法，其特征在于，所述视觉码本是通过以下步骤得到的，所述步骤包括：
6.根据权利要求5所述的面向机器视觉的数据处理方法，其特征在于，所述边云侧解码模型是通过以下步骤训练得到的，所述步骤包括：
7.根据权利要求6所述的面向机器视觉的数据处理方法，其特征在于，所述端侧压缩模型和所述边云侧解码模型均是通过以下步骤联合训练得到的，所述步骤包括：
8.根据权利要求7所...
【专利技术属性】
技术研发人员：周子坤，王新宇，王耀威，蒋冬梅，郑清芳，王鸿鹏，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。