箱体图像三维重建方法、计算设备及存储介质技术

本发明专利技术公开了一种箱体图像三维重建方法、计算设备及存储介质，涉及自动化技术领域，为将二维箱体图像转换为三维箱体图像而发明专利技术。本发明专利技术的方法采集包含箱体所有细节信息的多个拍摄角度的二维箱体图像，通过全连接深度网络将多张二维图像转换为三维图像，与现有技术中分别查看多张二维图像相比，三维图像能够提供连续平滑的视角变换功能，操作者可以对该三维图像进行任意角度的操作和查看，能够大大提高验箱效率。

【技术实现步骤摘要】
箱体图像三维重建方法、计算设备及存储介质
本专利技术涉及自动化
，尤其涉及一种箱体图像三维重建方法、计算设备及存储介质。
技术介绍
随着运输业的日渐发展，物流运输量也以惊人的速度增加。集装箱作为物流运输的主要载体，在货物运输环节起到了至关重要的作用。在运输之前需要查验集装箱箱体损伤情况，这就要求对集装箱实施箱体检查，也称为验箱。随着科学技术的进步，现阶段的验箱环节原来趋向高效和智能，许多智能验箱环节应运而生。现有的许多智能验箱的方法多利用摄像机、移动图像采集设备代替人工过程来验查集装箱箱体是否完好。现阶段的验箱过程多依靠二维图像或者视频信息来进行箱体校验，由于单张二维图像可提供的信息有限，需要反复校验和比对多张图像，大大降低了验箱过程的准确性和效率。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的箱体图像三维重建方法、计算设备及存储介质。第一方面，本专利技术提供了一种箱体图像三维重建方法，该方法包括：采集箱体在多个视角上的二维箱体图像，所述二维箱体图像包含三维重建的全部图像信息，包括角度、光照、阴影、物体表面细节；将摄像机光线穿过三维场景生成一组三维采样点；将三维场景中采样点的五维参数输入到全连接深度网络，获得所述采样点的体积密度和RGB值，其中，五维参数包括所述采样点的X,Y,Z坐标及采样点上的观察方向；通过体渲染技术将所述体积密度和所述RGB值叠加到所述二维箱体图像上，形成三维箱体图像。r>第二方面，本专利技术提供了一种计算设备，包括：摄像头、处理器、存储器、通信接口、通信总线和输出单元，所述摄像头、所述处理器、所述存储器、所述通信接口和所述输出单元通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令用于控制所述计算设备执行以下操作：采集箱体在多个视角上的二维箱体图像，所述二维箱体图像包含三维重建的全部图像信息，包括角度、光照、阴影、物体表面细节；将摄像机光线穿过三维场景生成一组三维采样点；将三维场景中采样点的五维参数输入到全连接深度网络，获得所述采样点的体积密度和RGB值，其中，五维参数包括所述采样点的X,Y,Z坐标及采样点上的观察方向；通过体渲染技术将所述体积密度和所述RGB值叠加到所述二维箱体图像上，形成三维箱体图像。第三方面，本专利技术提供了一种计算机存储介质，该计算机存储介质中存储有至少一可执行指令，该可执行指令用于执行以下操作：采集箱体在多个视角上的二维箱体图像，所述二维箱体图像包含三维重建的全部图像信息，包括角度、光照、阴影、物体表面细节；将摄像机光线穿过三维场景生成一组三维采样点；将三维场景中采样点的五维参数输入到全连接深度网络，获得所述采样点的体积密度和RGB值，其中，五维参数包括所述采样点的X,Y,Z坐标及采样点上的观察方向；通过体渲染技术将所述体积密度和所述RGB值叠加到所述二维箱体图像上，形成三维箱体图像。本专利技术提供的箱体图像三维重建方法、计算设备及存储介质，采集多张不同角度的二维箱体图像，通过全连接深度网络将二维图像转换为三维图像，与现有技术中分别查看多张二维图像相比，三维图像能够提供连续平滑的视角变换功能，操作者可以对该三维图像进行任意角度的操作和查看。本专利技术实现了验箱过程中的三维立体分析方案，突破了现有数字验箱的二维屏障，提供了验箱所需的更多图像信息，避免了反复查验集装箱各个视角的过程，提高了验箱的效率和准确性。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例提供的一种箱体图像三维重建方法的流程图；图2示出了本专利技术实施例提供的全连接深度网络的示意图；图3示出了本专利技术实施例提供的一种计算设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。实施例一本专利技术实施例提供一种箱体图像三维重建方法，该方法通过采集设备采集箱体不同角度的二维图像，然后回传给计算设备进行三维转换。其中所述采集设备可以是固定检测场景下，设置于检测通道四周固定机位上的图像采集设备，也可以非固定检测场景下，采集者手持的便携式图像采集设备，包括但不限于是手机、相机、摄像机、平板电脑等。计算设备可以是服务器，通常部署于远端机房中，或者也可将计算能力部署上云。采集设备与计算设备之间，通过GSM、3G、4G、5G等移动数据网络、无线热点或有线网络进行数据传输。如图1所示，本专利技术的方法包括：S101、采集箱体在多个视角上的二维箱体图像。该二维箱体图像包含三维重建的全部图像信息，包括角度、光照、阴影、物体表面细节。在一种实现方式中，可以通过8个角度的图像采集覆盖箱体内外的全部图像信息，这8个拍摄角度包括：集装箱外部左后侧方向、集装箱外部右后侧方向、集装箱外部左前侧方向、集装箱外部右前侧方向、集装箱外部正面箱门闭合方向、集装箱外部正面箱门对开方向、集装箱内部由外向内方向和集装箱内部由内向外方向。S102、将摄像机光线穿过三维场景生成一组三维采样点。S103、将三维场景中采样点的五维参数输入到全连接深度网络，获得所述采样点的体积密度和RGB值。其中，五维参数包括所述采样点的X,Y,Z坐标及采样点上的观察方向；综合各视角的二维箱体图像进行三维重建的算法核心是，输入一组稀疏的视角图像，通过优化一个连续体函数得到各位置的体积密度和RGB值，然后采用体绘制技术进行三维重建。本实施例采用全连接深度网络（MLP），其中输入为五维参数（X,Y,Z,），表示空间位置（xy,z）和表示观察视角方向（），输出为体积密度和该空间位置的RGB值，然后采用经典的体渲染技术将输出的颜色和密度投影到二维箱体图像中，完成三维重建。其中，体积密度()的作用相当于控制光线通过三维空间坐标(x,y,z)时累积的辐射度的差分不透明度，而RGB值则为三维空间坐标(x,y,z)上对应的图像颜色。如图2所示，其本质是将一个特定场景看成一个连续的5D函数，空间上的点（x，y，z）和该点的观察方向（）作为输入，该点的体积密度和RGB值作为输出，采用全连接深度网络来表示这个5D函数，实现将一个单独的5D坐标（x,y本文档来自技高网...

【技术保护点】
1.一种箱体图像三维重建方法，其特征在于，所述方法包括：/n采集箱体在多个视角上的二维箱体图像，所述二维箱体图像包含三维重建的全部图像信息，包括角度、光照、阴影、物体表面细节；/n将摄像机光线穿过三维场景生成一组三维采样点；/n将三维场景中采样点的五维参数输入到全连接深度网络，获得所述采样点的体积密度和RGB值，其中，五维参数包括所述采样点的X,Y,Z坐标及采样点上的观察方向

【技术特征摘要】
1.一种箱体图像三维重建方法，其特征在于，所述方法包括：
采集箱体在多个视角上的二维箱体图像，所述二维箱体图像包含三维重建的全部图像信息，包括角度、光照、阴影、物体表面细节；
将摄像机光线穿过三维场景生成一组三维采样点；
将三维场景中采样点的五维参数输入到全连接深度网络，获得所述采样点的体积密度和RGB值，其中，五维参数包括所述采样点的X,Y,Z坐标及采样点上的观察方向；
通过体渲染技术将所述体积密度和所述RGB值叠加到所述二维箱体图像上，形成三维箱体图像。


2.根据权利要求1所述的方法，其特征在于，所述将三维场景中采样点的五维参数输入到全连接深度网络，获得所述采样点的体积密度和RGB值，包括：
通过优化所述全连接深度网络各层权值，将输入的每个五维参数映射到对应的体积密度和RGB值上。


3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
约束体积密度仅与位置X,Y,Z相关，RGB值同时与位置X,Y,Z和观察方向相关，以保证多视角的一致性。


4.根据权利要求3所述的方法，其特征在于，所述将三维场景中采样点的五维参数输入到全连接深度网络，获得所述采样点的体积密度和RGB值，包括：
所述全连接深度网络采用8个全连接层处理输入的坐标X,Y,Z，输出所述体积密度及256维特征向量；
将所述256维特征向量和观察方向进行串联，输入到4个附加全连接层，输出RGB值。


5.根据权利要求4所述的方法，其特征在于，所述8个全连接层使用ReLU激活且每层设置256个通道，所述4个附加全连接层采用ReLU激活，每层设置128个通道。


6.根据权利要求1所述的方法，其特征在于，所述通过体渲染技术将所述体积密度和所述RGB值叠加到所述二维箱体图像上，形成三维箱体图像，包括：
将摄像机光线的上下限范围[tn，tf]分成N个均匀分布的容器，并从每个容器内随机均匀地...

【专利技术属性】
技术研发人员：池浩塬，
申请(专利权)人：上海撬动网络科技有限公司，
类型：发明
国别省市：上海;31