您好、欢迎来到现金彩票网!
当前位置:刘伯温论坛 > 图像几何学 >

【泡泡图灵智库】学习场景几何在有挑战条件下进行视觉定位(ICRA

发布时间:2019-08-09 06:11 来源:未知 编辑:admin

  我们提出了一种新的基于图像的户外大规模图像定位方法,可以处理跨季节、跨天气、昼夜和长时期定位等具有挑战性的场景。该方法的关键部分是一种新的学习全局图像描述符,它可以在训练期间有效地利用场景几何信息。在测试时,我们的系统能够推断与查询图像相关的深度图,并使用它来提高定位精度。

  我们能够在跨天气和长期定位场景中提高2.15%的性能,在具有挑战性的冬季/夏季定位序列与现有技术方法相比提高4.24%。我们的方法还可以使用弱标注的参考数据集,实现白天图像定位夜间图像。

  本文提出了一种图像描述符,它从图像中学习相应的场景几何特征,以处理具有挑战性的户外大规模基于图像的定位场景。我们在训练步骤中引入几何信息,使我们的新描述符对在不同时间拍摄的图像之间发生的视觉变化具有鲁棒性。一旦训练好模型,我们的系统只需要输入图像即可构建表达描述符实现图像检索。这种系统设计也称为辅助信息学习,因为它仅在训练步骤期间使用几何和辐射信息(激光雷达数据),而且仅使用辐射测量数据实现图像定位。

  我们为基于图像的定位任务设计了一种新的全局图像描述方法。我们首先使用卷积神经网络编码器(EI)从输入图像中提取密集特征图。随后,这些特征图用于构建场景的紧凑表示(dI)。现有技术特征聚合方法可用于构建图像描述符,例如MAC或NetVLAD。我们使用仅在训练过程中可获得的深度图信息来增强此标准图像描述符。为此,使用深度全卷积神经网络解码器(DG)根据输入图像重建相应的深度图。然后使用重建的深度来提取全局深度图描述符。我们遵循之前使用的相同过程:在构建描述符(dD)之前,我们使用编码器(ED)提取深度特征图。最后,图像描述符和深度图描述符被L2归一化以连接成单个全局描述符。图1总结了我们方法的整个过程。一旦使用几何和辐射信息进行训练,所提出的方法仅用于图像,以创建适合图像定位的描述符。

  图一:使用辅助深度数据进行图像描述符训练(本文的工作):两个编码器用于从主图像形态和辅助重建深度图(从本文的深度解码器推断)中提取深度特征图。这些特征用于创建最猴连接到一个最终图像描中的中间描述符。

  图二:用于图像描述符学习的Hallucination网络:我们训练了一个Hallucination网络,用于全局图像描述的任务。与所提出的方法(参见图一)不同,Hallucination网络再现了由深度图训练的网络而不是深度图本身获得的特征图。

  图三:测试图像举例。我们评估了四个具有挑战性场景的定位序列,共1688张参考图像。

  我们在同一空间区域(与用于训练和验证的区域不同)提出了四种测试方案。参考数据集由沿着2km的路径每5米拍摄一次的1688幅图像组成。这四个查询集分别是:

  4,夜间/白天:在夜间采集的查询集,与参考图像相比发生了根本性的视觉变化。

  图四. 将我们的方法与Hallucination网络和仅用图像训练的网络的比较:我们的方法(-o-)在几乎所有面对Hallucination网络(-x-)的场景中都是优越的。它还以很大的优势击败仅使用图像(-)训练的网络。NetVLAD描述符(蓝色和青色曲线)优于MAC(红色和品红色曲线),特别是在精度方面(Recall @ D曲线)。夜/日数据集仍然是最具挑战性的数据集。

  图五. 夜间图像微调对解码器输出的影响:使用白天图像训练的解码器无法重建场景几何图形(底线对的图像对网络进行微调,夜间获取的深度图大大改善了生成的深度图的外观,地图最好用颜色查看。

  图六. 微调后的夜间/日间查询结果:通过仅使用弱注释数据微调我们网络的解码器部分,我们能够极大地改善夜间/日挑战场景的本地化性能,曲线最好用颜色看。

http://airgomusic.com/tuxiangjihexue/678.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有