我们应该如何为自动驾驶整合来自互补性传感器的表征? 基于几何学的融合已显示出对感知的承诺(e.g.物体检测,运动预测).然而,在端到端驾驶的背景下,我们发现,基于现有传感器融合方法的模仿学习在具有高密度动态代理的复杂驾驶场景中表现不佳。.因此,我们提出了TransFuser,一种利用自我注意来整合图像和LiDAR表征的机制。.我们的方法使用多分辨率的变换器模块来融合透视图和鸟瞰图的特征图。.我们在一个具有挑战性的长路线和密集交通的新基准上,以及在CARLA城市驾驶模拟器的官方领导板上,实验验证了其功效。.在提交报告时,TransFuser在CARLA排行榜上的驾驶得分远远超过了之前的所有工作。.与基于几何的融合相比,TransFuser将每公里的平均碰撞次数减少了48%。.

《TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving》

论文地址:http://arxiv.org/abs/2205.15997v1

全新一代transporter(基于变压器的传感器融合的模仿)(1)

全新一代transporter(基于变压器的传感器融合的模仿)(2)

全新一代transporter(基于变压器的传感器融合的模仿)(3)

全新一代transporter(基于变压器的传感器融合的模仿)(4)

全新一代transporter(基于变压器的传感器融合的模仿)(5)

全新一代transporter(基于变压器的传感器融合的模仿)(6)

全新一代transporter(基于变压器的传感器融合的模仿)(7)

全新一代transporter(基于变压器的传感器融合的模仿)(8)

全新一代transporter(基于变压器的传感器融合的模仿)(9)

全新一代transporter(基于变压器的传感器融合的模仿)(10)

全新一代transporter(基于变压器的传感器融合的模仿)(11)

全新一代transporter(基于变压器的传感器融合的模仿)(12)

全新一代transporter(基于变压器的传感器融合的模仿)(13)

全新一代transporter(基于变压器的传感器融合的模仿)(14)

全新一代transporter(基于变压器的传感器融合的模仿)(15)

全新一代transporter(基于变压器的传感器融合的模仿)(16)

全新一代transporter(基于变压器的传感器融合的模仿)(17)

,