System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及图像处理,特别是涉及一种水岸线分割模型、方法和装置。
技术介绍
1、内河航运作为一种运载量大、成本低下的运输方式,具有良好的货物适应能力,在物流运输中发挥着重要作用,占据着十分重要的经济地位。伴随着近年来信息、计算机、通信、网络、新能源、人工智能等技术的发展以及物联网、大数据、多源传感信息综合系统的应用,航运事业也面临着智能化发展的需求,作为其核心载运工具的内河船舶也需要进行智能化改造。相较于传统船舶,智能船突出表现在更强的感知能力、学习思考能力以及行为决策能力,其终极目标是实现自主航行,而要达到这一目标就需要充分感知周围的环境信息并且能够像人一样去理解这些信息,从而形成对整个驾驶场景的理解,其中需要攻克的难点是获取有效的自动驾驶控制决策先验信息,也即是驾驶场景中的关键导航信息。对于内河驾驶场景来说,水岸线信息是一类导航关键信息,可以用来指示当前驾驶场景中大致的航行边界,通过进一步的测距定位能够有效的指导当前操舵员的驾驶行为,内河驾驶场景水岸线信息提取可以为实现完全自主航行奠定基础。
2、目前来说,关于水岸线提取相关的研究工作,由于水岸线本身是相对比较明确的边缘特征,大部分的研究是基于这一特点通过机器学习手段展开的,但水岸线的边缘信息会因为水面倒影的影响变得模糊,仅依靠边缘特征进行水岸线提取是不可靠的,实验证明这些工作基本上也都存在单一场景有效、可迁移能力不强、鲁棒性差等问题。
3、鉴于此,克服该现有技术所存在的缺陷是本
亟待解决的问题。
技术实现思路>
1、本专利技术要解决的技术问题是由于水岸线的边缘信息会因为水面倒影的影响变得模糊,导致现有技术中的水岸线提取存在不可靠、场景适应性差、可迁移性不强和鲁棒性差的问题。
2、本专利技术采用如下技术方案:
3、第一方面,本专利技术提供了一种水岸线分割模型,包括特征提取模块、空间信息捕获模块和输出模块;所述特征提取模块的输出端连接至所述空间信息捕获模块的输入端,所述空间信息捕捉模块的输出端连接至所述输出模块的输入端;
4、所述特征提取模块用于从图像中提取特征信息;
5、所述空间信息捕获模块用于对所述特征信息从高度上进行行切分,得到多个行切片,对行切片进行自上而下的逐片卷积,得到第一切片;
6、所述空间信息捕获模块还用于对所述特征信息从宽度上进行列切分,得到多个列切片,对列切片进行自左而右的逐片卷积,得到第二切片;将所述第一切片和第二切片相加,得到语义信息;其中,所述多个行切片之间共享卷积核,所述多个列切片之间共享卷积核;
7、所述输出模块用于根据所述语义信息,输出水岸线分割结果。
8、优选的,所述特征提取模块依次包括2个第一卷积层、第一池化层、2个第二卷积层、第二池化层、3个第三卷积层、第三池化层、3个第四卷积层、3个空洞卷积层和隐藏层,以扩大感受野,融合更多的特征信息;其中,所述第一卷积层、第二卷积层、第三卷积层和第四卷积层均为连续卷积层。
9、优选的,所述3个空洞卷积层的所有空洞率系数的公约数小于预设阈值。
10、优选的,所述模型的损失函数为其中,为像素语义分割损失,为类别分类损失,λbackgroud为背景损失系数,λ表示像素语义分割损失在整体损失函数中的占比权重,ym为实际标签值,为预测标签值。
11、优选的,所述输出模块包括分类分支和预测分支,所述语义信息被输入到分类分支和预测分支中,所述分类分支是一个1*n一维向量,用于描述图像中岸线的种类;
12、所述预测分支包括n个分割mask,n为岸线的种类,mask的宽高尺寸与输入图片的宽高尺寸保持一致,用于描述像素被分类为岸线标记的概率。
13、第二方面,本专利技术提供了一种水岸线分割方法,包括:
14、构建初始分割模型;其中,所述初始分割模型为第一方面所述的水岸线分割模型;
15、采集航道周边图像,对航道周边图像中的水岸线信息进行标注,并使用不同的标签区分不同的岸线标记,生成数据集;
16、使用所述数据集对所述初始分割模型进行训练,得到实际分割模型,将待分割图像输入至所述实际分割模型,得到所述待分割图像的水岸线分割结果。
17、优选的,在所述对航道周边图像中的水岸线信息进行标注之前,方法还包括:对航道周边图像进行预处理,具体包括:
18、将航道周边图像映射至hsv颜色空间下,并分离通道得到航道周边图像的原始亮度分量v、色调h和饱和度s;
19、使用不同核尺寸的双边滤波器对所述原始亮度分量v进行双边滤波,得到多尺度的光照分量i;
20、使用第一函数对所述航道周边图像的原始亮度分量进行校正,得到校正亮度分量;其中,所述第一函数为其中,m为所有光照分量i的平均值;vcorrect(x,y)为航道周边图像在坐标(x,y)位置的校正亮度分量,v(x,y)为航道周边图像在坐标(x,y)位置的原始亮度分量,i(x,y)为航道周边图像在坐标(x,y)位置的光照分量;
21、将所述校正亮度分量与所述航道周边图像的色调h以及饱和度s进行通道合并,并转换至rgb颜色空间下,得到用于进行标注的优化航道周边图像。
22、优选的,在使用所述数据集对所述初始分割模型进行训练后,方法还包括:对初始分割模型的训练效果进行测试,具体包括:
23、从数据集中选取测试样本,将测试样本输入至训练完成的初始分割模型,得到测试结果;
24、统计测试结果中被预测为岸线并且置信度大于预设置信度的点的数量ci,计算所述训练完成的初始分割模型对于该测试样本的预测准确率iconfidence>0.5;其中,si为测试样本中被标记为岸线的点的数量。
25、第三方面,本专利技术还提供了一种水岸线分割装置,用于实现第二方面所述的水岸线分割方法,所述装置包括:
26、至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述处理器执行,用于执行第二方面所述的水岸线分割方法。
27、第四方面,本专利技术还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,用于完成第二方面所述的水岸线分割方法。
28、第五方面,本专利技术还提供了一种芯片,包括:处理器和接口,用于从存储器中调用并运行存储器中存储的计算机程序,执行如第二方面所述的水岸线分割方法。
29、第六方面,本专利技术还提供了一种包含指令的计算机程序产品,当该指令在计算机或处理器上运行时,使得计算机或处理器执行如第二方面所述的水岸线分割方法。
30、本专利技术通过在空间信息捕捉模块中使用逐片卷积的方式替代传统的逐通道卷积,其按照顶部隐藏层的高和宽分别进行行切分和列切分,对切片进行自上而下与自左至右两个方向逐片卷积,为了降低计算的复杂性,单本文档来自技高网...
【技术保护点】
1.一种水岸线分割模型,其特征在于,包括特征提取模块、空间信息捕获模块和输出模块;所述特征提取模块的输出端连接至所述空间信息捕获模块的输入端,所述空间信息捕捉模块的输出端连接至所述输出模块的输入端;
2.根据权利要求1所述的水岸线分割模型,其特征在于,所述特征提取模块依次包括2个第一卷积层、第一池化层、2个第二卷积层、第二池化层、3个第三卷积层、第三池化层、3个第四卷积层、3个空洞卷积层和隐藏层,以扩大感受野,融合更多的特征信息;其中,所述第一卷积层、第二卷积层、第三卷积层和第四卷积层均为连续卷积层。
3.根据权利要求2所述的水岸线分割模型,其特征在于,所述3个空洞卷积层的所有空洞率系数的公约数小于预设阈值。
4.根据权利要求1所述的水岸线分割模型,其特征在于,所述模型的损失函数为其中,为像素语义分割损失,为类别分类损失,λbackgroud为背景损失系数,λ表示像素语义分割损失在整体损失函数中的占比权重,ym为实际标签值,为预测标签值。
5.根据权利要求1所述的水岸线分割模型,其特征在于,所述输出模块包括分类分支和预测分支,所述语
6.一种水岸线分割方法,其特征在于,包括:
7.根据权利要求6所述的水岸线分割方法,其特征在于,在所述对航道周边图像中的水岸线信息进行标注之前,方法还包括:对航道周边图像进行预处理,具体包括:
8.根据权利要求6所述的水岸线分割方法,其特征在于,在使用所述数据集对所述初始分割模型进行训练后,方法还包括:对初始分割模型的训练效果进行测试,具体包括:
9.一种水岸线分割装置,其特征在于,所述装置包括:
10.一种非易失性计算机存储介质,其特征在于,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,用于完成权利要求6-8任一所述的水岸线分割方法。
...【技术特征摘要】
1.一种水岸线分割模型,其特征在于,包括特征提取模块、空间信息捕获模块和输出模块;所述特征提取模块的输出端连接至所述空间信息捕获模块的输入端,所述空间信息捕捉模块的输出端连接至所述输出模块的输入端;
2.根据权利要求1所述的水岸线分割模型,其特征在于,所述特征提取模块依次包括2个第一卷积层、第一池化层、2个第二卷积层、第二池化层、3个第三卷积层、第三池化层、3个第四卷积层、3个空洞卷积层和隐藏层,以扩大感受野,融合更多的特征信息;其中,所述第一卷积层、第二卷积层、第三卷积层和第四卷积层均为连续卷积层。
3.根据权利要求2所述的水岸线分割模型,其特征在于,所述3个空洞卷积层的所有空洞率系数的公约数小于预设阈值。
4.根据权利要求1所述的水岸线分割模型,其特征在于,所述模型的损失函数为其中,为像素语义分割损失,为类别分类损失,λbackgroud为背景损失系数,λ表示像素语义分割损失在整体损失函数中的占比权重,ym为实际标...
【专利技术属性】
技术研发人员:王宁,李宁安,吴亚楠,
申请(专利权)人:中国船舶集团有限公司第七〇九研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。