车用传感器孰优孰劣？

目前汽车中使用的传感器主要是雷达、LiDAR和摄像头，各有长短，用处不同。这些传感器协同工作，提供外部世界车辆、行人、骑自行车的人、标志等原始数据，其重叠功能会产生冗余（图中颜色重叠部分），确保一个系统出现故障时，另一个系统继续运行。

ADAS完整愿景将融合多种RF技术和立体视觉等传感器，形成一个完整的360°数字处理环境

比较一下特斯拉的车载传感器配置，距未来愿景主要是少了LiDAR，冗余也不够，当然未来数量还会不断增加。

特斯拉车载传感器配置

雷达：只是一种成本较低而可靠的技术，能够在一定距离内探测较大的物体，在弱光和恶劣天气下表现良好，但它只适用于倒车或泊车时的安全辅助装置，是主要感测方式的重要补充。由于使用无线电波而不是光来探测物体，所以雷达在雨、雾、雪和烟中都能“看”得很清楚。

LiDAR：通过测量激光信号从物体上返回到本地传感器所需的时间来确定车辆与环境或物体之间的距离

立体视觉：它基于从相邻的两个视角（双目或多目摄像头）获取同一环境的两幅独立图像来估计距离，即视觉信息的三角测量。它是使用算法处理器对现实环境进行密集的3D数字表示。

三目摄像头示意图

立体视觉和LiDAR都能进行距离测量、深度估计和密集点云生成（即3D环境地图）。两者都可产生丰富的数据集，不仅可以用来感测物体，而且可以在高速、各种环境、长距离和短距离下识别物体。作为车辆自动驾驶的主要传感器系统，两者也都可以同时部署以产生冗余。

因为这两种感知方式都是光学技术，所以与人眼一样容易受到同样的挑战：要“看到”道路，就要求有良好的视线，并且远离污垢和其他污染物。那么，两者的利弊如何呢？

早期LiDAR优势明显

不可否认，信号的数量越多，可能实现的距离测量数量就越多。LiDAR是通过多个旋转（物理或通过逻辑）的激光器来实现的，以360度视野扫描车辆周围环境。在自动驾驶发展史上，LiDAR一直是一项重要的传感技术。开创性的自动驾驶原型依靠LiDAR实现了精确的距离测量、可靠性和易用性。例如，2004年开始的由美国国防部高级研究计划局（DARPA）赞助的自动驾驶挑战赛中，大多数参赛者都依赖LiDAR技术。

LiDAR没有辜负人们的期望，优势显而易见，包括：

高精度（测量精度达到厘米级）

高数据速率（机械式旋转LiDAR每秒旋转20转以上）

经验证稳定可靠

感测效果不受温度和光照的影响

尽管LiDAR有诸多优点，但也确实有一定的技术局限性：

在雨、雾和灰尘等恶劣天气条件下会因反射造成误报。专用算法处理可能解决这些问题，但比较复杂

眼睛安全条例对LiDAR的信号强度有所限制，使分辨率限制了视场和视场之间的距离

LiDAR测量的有效性与物体的反射率有关。如果信号遇到反射性差的障碍物，如黑色车辆，信号的能量只返回很小一部分，因此感测的可靠性会降低。幸运的是，大多数交通参与者都有足够的反射能力，所以LiDAR在的应用相当广泛

立体视觉后来居上

在车辆自动驾驶的早期（90年代末到21世纪初），计算机视觉科学还处于起步阶段，加上半导体技术等因素造成的许多问题，阻碍了立体视觉作为自动驾驶主要感测模式的采用。

这段时间，立体视觉最受诟病的问题是：

摄像头分辨率低，远距离图像质量差

弱光环境下性能差

计算资源要求高（计算机视觉处理需要多台PC机）

驾驶过程中未经校准的摄像头需要手动调整

当时，这些问题的严重性足以阻碍立体视觉作为一种可行的自动驾驶感知替代品的部署。在没有竞争者的情况下，LiDAR得以蓬勃发展。

不过，从那时起，立体视觉慢慢走上了更具吸引力的发展之路，出现了大逆转，目前已具备了和LiDAR竞争的能力：

低成本、高分辨率摄像头（目前为800万像素摄像头）

适用于夜间驾驶的具有HDR（高动态范围图像）和微光图像处理功能的高级ISP（图像信号处理

专门为实时计算机视觉处理而设计的嵌入式SoC（系统级芯片

自动动态摄像头校准

正是这些发展将立体视觉从一种小众自动驾驶技术变成了一种强有力的竞争者，成为车辆自动驾驶的主要感测方式。

为什么自动驾驶更需要对象类型？

克鲁日（Cluj－Napoca）技术大学的研究人员称，密集立体视觉系统的一般处理流程是图像采集、立体处理、视差到3D映射，最后是感测算法的应用。

立体视觉硬件使用两个摄像头，以24fps的最大帧速率获取一系列优化的图像。通过产生输出函数的专用硬件板对被跟踪图像的进行3D重建——可以是两个处理后的图像之间的视差图或用于生成基于左摄像头的X－Y坐标系的Z－map。

立体视觉系统能够生成两种类型的环境数据：一是基于高程（elevation）测量的复杂驾驶环境密度图，二是由参数化车道、跟踪长方体和行人组成的一系列几何元素。过去，传统双目摄像头不区分对象类型，仅仅是将前方障碍物检测或测量出来。这使其在实际应用中存在一些问题。因为计算元素既耗时又密集，为了根据接收到的环境数据进行实时决策，系统需要大量的数据带宽和处理能力，因此必须使用并行计算。

虽然LiDAR也是一种常用的测距技术，也能够精确地进行3D物体感测，而单目摄像头也可以用来推断或预测与深度相关的信息，但立体视觉在提供对3D环境的高度详细和准确的360度理解方面具有独特优势。立体视觉利用两个同步自动校准的摄像头信息生成3D深度图，是自动驾驶系统中视觉感知、运动预测和路径规划的重要组成部分。

在一个城市交叉口的图像中可以看到，包括车辆、行人、自行车和路标、护栏等障碍物。

立体视觉视图和嵌入图像

将上图中较大的立体视觉视图与右下角的嵌入图像进行比较，可以清楚地区分左侧的路标、人行横道上的行人、附近的骑车人、从左侧进入交叉口的最近的两辆车，以及道路两侧的背景元素。立体视觉视图中的颜色表示距离，较暖的颜色（如橙色）表示距离车辆较近，较冷的颜色（如紫色）表示距离较远。另外，小图中3D边界框颜色表示对象类型：车辆轮廓为绿色，行人轮廓为蓝色，自行车轮廓为白色。

虽然道路场景很具有挑战性，照明条件可能会发生很大变化，车辆、行人、自行车、碎片和其他障碍物是常态，但立体视觉解决方案也能有效地在复杂环境中实现。以夜间驾驶为例，在黑暗中基于立体的障碍物感测（同时感测正面和负面障碍物，如坑洞）需要鲁棒的深度估计，包括视差有效性度量才能成功。

比如，计算机视觉芯片开发商Ambarella将短距离和长距离立体摄像头模块的多个输出组合在一起，通过生成密集点云以惊人的细节对环境可视化。其立体摄像头生成的数据进行了以下一些处理：

深度映射：创建深度映射可以感测场景中的一般对象（从车辆和行人到电线杆、垃圾箱、坑洞和碎片，包括其准确大小、位置和距离，而无需对系统进行明确训练

道路建模：对不同道路形状精确建模，有助于下坡和上坡运动

数据融合：由于颜色相关信息与深度数据一起由同一传感器提供，因此可以同时运行单目算法（例如，通过卷积神经网络（CNN）进行车道标记或交通标志感测），然后将此数据与深度图融合

360度可视化：立体摄像头可用于鱼眼镜头的短程感知，在低速移动时可360度查看场景

自动驾驶，分辨率定输赢

Ambarella总经理、帕尔马大学计算机工程教授Alberto Broggi认为：“在当今的自动驾驶障碍物识别技术中，最重要的性能指标就是分辨率，也就是图像密度，即每秒可以提供距离测量数的多少。数值越高，汽车周围的3D表现就越精确。”

一般来说，使用当今摄像头的立体视觉可以提供大约2000个垂直样本／秒。LiDAR呢？才128个垂直样本／秒，分辨率低了15倍以上。

立体（上）和LiDAR（下）图像密度比较

Broggi解释道：“在两幅图像中，彩色像素表示传感器的测量值，颜色表示每个传感器标度上的测量距离。我们可以看到，左侧的立体解决方案提供了更大的环境覆盖范围，而右侧的LiDAR输出的区域覆盖非常稀疏。”

由此可见两者的明显差异：立体视觉生成的数据更为丰富，从而使障碍物感测更容易。通过对上面两张图像的特写对比，可以看到立体密度（左）和LiDAR密度（右）的区别。

立体和LiDAR的密度天壤之别

他指出，虽然这两种技术都可用于自动驾驶车辆的目标感测，但效果差异很大。上述演示发生在白天，而在弱光情况下，立体的分辨率也很高。下图显示了夜间驾驶时的密度对比。

夜间立体（左）和LiDAR（右）密度比较

Broggi解释说，精度是另一个重要的衡量标准，它提供的不是直接的距离测量，而是立体视觉。对于立体，距离是一个导出量，是通过处理两个亮度图像获得的间接测量。不管怎样，立体视觉在远距离（不强制要求精确测量距离）和短程（要求高精度执行精确移动）方面都能提供自动驾驶应用所需的精度水平。例如，在短距离内，立体可以提供毫米级距离的感测。

除了分辨率和精度，现代立体视觉还有以下优点：

立体的一对摄像头都可以作为独立的单目摄像头使用，提供内置冗余

立体摄像头提供的双图像可以在一个芯片上并行执行单目CNN算法，如目标分类

立体视觉提供了感测一般3D形状的能力，即使那些没有被归类为已知障碍物的形状，例如，从另一辆车上掉落的石头、各种碎片或随机物体（如梯子或床垫）会被立体系统感测到；即使是负面障碍，如坑洞，也可以准确感测到

立体摄像头相对便宜，是大容量应用的重要考虑因素；也没有移动部件，可以自动认证，并消耗最少的电力

立体视觉以帧速率运行（每秒30帧超高清图像），因为立体引擎是硬连线到立体功能芯片，可以实现极高的数据率

立体摄像头可以自动校准，使两个摄像头的位置保持相对固定，否则测量数据将不正确

在典型驾驶条件下，振动和冲击是一种常态，这对立体系统来说是一个挑战。一些公司开发的实时自动校准程序可以补偿通常在正常车辆运行期间发生的摄像头移动，确保立体视觉处理的精确度。

立体视觉是ADAS和AD的未来

如今，视觉感知已进入深水区，算法将决定谁是赢家。双目的算法要求比普通单目要高，而且在车辆生命周期内必须保持感测的稳定性能，使两个镜头保持位置相对不变才能感知准确，或者采用自校准能力很强的算法。Ambarella高级算法工程师Francesca Ghidini博士认为，立体视觉可能是全自动驾驶汽车的关键，它是互联技术网格（mesh）的一部分，将为全自动车辆铺平道路。

崔凯认为：“全球范围能够量产双目的厂家也就是个位数，预计L3级别以上自动驾驶车辆采用双目摄像头会成为主流，而主机厂选择双目没啥难度。”

孙路认为：“感知的准确性首先要提高算法的性能，同时要依赖结构设计、产线设计多年积累的丰富经验。主机厂采用双目没有难度，但由于尺寸较单目大，所以需要内饰布置，一般不会集成到域控制器中。”

Cadence电气工程技术专家Adrian Gibbons则表示：“过去几年，ADAS一直在不断发展，在现阶段，立体视觉处理技术的下一步进展将有助于ADAS的普及。”