使用相机和深度学习制作伪LiDAR

2020-07-24 08:57

1．监督深度估计

“监督”深度学习背后的概念很简单,收集RGB图像及其相应的深度图,训练类似于“自动编码器”的体系结构进行深度估计。(尽管训练起来不那么简单,但如果不通过训练过程整合一些特殊技巧,FCN就永远无法真正发挥作用:)。

尽管此方法更易于掌握,但在现实生活中收集深度图是一项昂贵的任务。LiDAR数据可用于训练这类网络,因此,如果我们对由LiDAR收集的数据进行训练,则神经网络的性能将明显优于LiDAR,但仍然可以,因为我们不需要那种级别的准确性来驾驶汽车例如,知道树上是否有叶子的确切距离。

2．无监督深度估计

仅在一系列环境中记录质量深度数据是一个具有挑战性的问题。无监督方法可以在没有地面真实深度图的情况下学习深度!

“这种方法只是查看未标记的视频,并找到一种方法来创建深度图,方法不是尝试正确,而是尝试保持一致。”

3．神经网络架构

该网络具有类似于U-Net的架构,编码器部分是在ImageNet数据集上训练的预训练DenseNet模型。解码器部分使用双线性上采样而不是简单的上采样。

简而言之,我们使用双线性上采样是因为它在上采样后会整体上产生“平滑”图像。输出是深度图,深度图是图像大小的一半,这有助于网络学习更快。

4．图像增强

对于图像增强,可以使用以下技术:图像翻转,输入图像的色彩通道改组,向输入图像添加噪点,增加输入图像的对比度,亮度,温度等。这样可以确保模型在整个训练过程中始终看到新数据,并更好地泛化未见数据。

目前,深度估计在AR / VR中已经得到了许多应用。

<上一页 1 2

声明： 本文由入驻维科号的作者撰写，观点仅代表作者本人，不代表OFweek立场。如有侵权或其他问题，请联系举报。

共0条评论，0人参与

登录登录即可访问所有OFweek服务

请输入评论内容...

请输入评论/评论长度6~500个字

暂无评论

图片新闻

行业报告