CVPR最佳论文:大模型成就端到端自动驾驶|焦点分析-环球今头条

时间:2023-06-26 18:51:29     来源:36氪新媒体

文丨李安琪

编辑丨李勤


(资料图片)

与自动驾驶相关文章,首次获得全球顶级计算机视觉会议CVPR的最佳论文。

6月22日,全球顶级计算机视觉会议CVPR 2023公布了最佳论文等奖项。一篇名为《Planning-oriented Autonomous Driving》(以路径规划为导向的自动驾驶)论文,成功从9155篇投稿、2359篇接收论文、12篇入选最佳论文候选名单中脱颖而出。

这也是近十年来,CVPR会议上第一篇以中国学术机构作为第一单位的最佳论文。该论文由上海人工智能实验室、武汉大学及商汤科技联合完成。

CVPR在学术界及产业界的影响力毋庸置疑,与ICCV、ECCV并列为计算机视觉领域三大顶级会议。全球最聪明的头脑汇聚于此,特斯拉也连续几年在CVPR上公布其自动驾驶技术最新进展。

今年的竞争相当激烈。据公开信息,今年12篇入选最佳论文候选名单机构,不仅有谷歌、Stability AI等人工智能领域顶尖企业,也有上海人工智能实验室、斯坦福大学、康奈尔大学、香港中文大学、香港科技大学、南洋理工大学等研究机构及高校。

而上海人工智能实验室、武汉大学及商汤科技联合获奖的关键在于,提出了一个感知决策一体化的自动驾驶通用大模型UniAD。

大会官方组委会认为,论文提出的端到端感知决策一体框架,融合了多任务联合学习的新范式,使得进行更有效的信息交换,协调感知预测决策,以进一步提升路径规划能力。

这证明了大模型与自动驾驶产业结合的潜力。今年初,ChatGPT的爆火,让机器学习与理解人类语言的能力有了本质飞跃。而大模型,也有望为自动驾驶产业落地指出更清晰的方向。

端到端的自动驾驶大模型UniAD

论文指出,随着深度学习发展,自动驾驶算法被组装成一系列任务,包括目标检测与跟踪、在线建图、轨迹预测、占据栅格预测等子任务。

基于这些子任务,行业有着多种自动驾驶系统框架设计:模块化设计,多任务框架,但两种方案都面临着累积错误或任务协调不足的困扰。

比如自动驾驶公司Waymo、Cruise采用的模块化设计方案,每个独立的模块负责单独的子任务。这种方案具备简化研发团队分工,便于问题回溯,易于调试迭代等优点。但由于将不同任务解耦,各个模块相对于最终的驾驶规划目标存在信息损失问题,且多个模块间优化目标不一致,误差会在模块间传递。

论文认为,多任务框架是更优雅的一种设计方案,代表性企业有美国特斯拉、中国小鹏汽车等。方案中不同任务使用同一个特征提取器,具备便于任务拓展、节省计算资源等优点。但不同任务之间仍存在预测不一致、表征冲突的问题。

a为模块化设计、b为多任务框架、c1/c2为两种端到端方案、c3为UniAD方案示意 图源论文

相比之下,端到端自动驾驶方案将感知、预测和规划所有节点视为一个整体,但现有的两种端到端方案也还面临挑战。

一种简单的方式直接以传感器信号作为输入、以轨迹/控制作为输出,能够在仿真中取得较好结果,但缺乏可解释性与实际应用安全性,尤其是在复杂的城市道路场景。

另一种方案是,对模型进行显式设计,将整个架构分为感知-预测-规划模块,使其具有部分中间结果表达。但这种方式面临检测结果在模块间不可微导致无法端到端优化,稠密BEV预测时长有限,过去-未来、物体-场景等多维度信息难以高效利用等困难。

因此,本篇论文提出了一个端到端方案Unified Autonomous Driving,即UniAD。上海人工智能实验室指出,UniAD能够成功解决不同任务融合难的问题,从而实现多任务和高性能的关键在于以下两点。

一是多组查询向量的全Transformer 模型:UniAD利用多组 query 实现了全栈 Transformer 的端到端模型,可以从具体 Transformer 的输入输出感受到信息融合。二是以最终“规划”为目标,全部模块通过输出特定的特征来帮助实现最终的目标“规划”。

自动驾驶端到端架构 (UniAD) 的流程 图源论文

从论文来看,UniAD 将感知、预测、规划等三大类主任务、六小类子任务(目标检测、目标跟踪、场景建图、轨迹预测、栅格预测和路径规划)整合到统一的端到端网络框架下。

具体来说,将一系列多摄像头图像输入特征提取器,并通过 BEVFormer 转换为统一的鸟瞰图(BEV)。这部分可以快速替换为其他BEV模型,具有较好可拓展性。

在感知环节中,UniAD的目标检测与跟踪模块可以实现对动态元素的特征提取、帧间物体跟踪;在线建图模块实现了对静态物体的特征提取、实例级地图预测;

在预测模块,UniAD可以实现动静态元素交互与长时序轨迹预测;占据栅格预测模块实现了短时序全场景BEV、实例级预测;

在规划模块,UniAD实现基于自车query的轨迹预测和基于占据栅格的碰撞优化。

论文表示,UniAD 的培训分两个阶段:首先联合训练感知部分,即目标跟踪和建图模块,这将持续几个阶段(在实验中为 6个阶段),然后使用所有感知、预测和规划模块端到端地训练模型20个阶段。

从结果来看,论文表示,在 nuScenes 真实场景数据集下,所有任务均达到领域最佳性能(State-of-the-art),尤其是预测和规划效果远超之前最好方案。其中,多目标跟踪准确率超越SOTA 20%,车道线预测准确率提升30%,预测运动位移和规划的误差则分别降低了38%和28%。

在晴天直行场景中,UniAD 可以感知左前方等待的黑色车辆,预测其未来轨迹(即将左转驶入自车的车道),并立即减速以进行避让,待黑车驶离后再恢复正常速度直行 图源上海人工智能实验室

在雨天转弯场景中,即便面对视野干扰较大且场景复杂的十字路口,UniAD 能通过分割模块生成十字路口的整体道路结构(如右侧 BEV图中的绿色分割结果所示),并完成大幅度的左转 图源上海人工智能实验室

从论文到产业还要多久?

当然,从前瞻学术论文到产业跟进、技术大规模惠普,所需要的时间并不短。

以当下被行业火热讨论的BEV为例。2021年特斯拉首次基于Transformer将摄像头2D图像拼接转化成3D图景,生成鸟瞰图 “Bird"s Eye View”,简称“BEV”。这是大模型在自动驾驶感知环节的应用。

两年时间过去,当下国内企业虽已纷纷跟进,但仅有少数几家能拿出先期成果。

而UniAD大模型是更为庞大的、涉及感知、预测、规划的复杂系统工程,其中的技术优化与工程化落地只会比BEV更艰难。

论文本身也指出,协调这样一个具有多个任务的综合系统并非易事,需要大量的计算能力,尤其是经过时间历史训练的计算能力。如何为轻量级部署设计和管理系统值得未来探索。

论文作者之一、上海人工智能实验室青年科学家李弘扬博士表示,UniAD提供了全套关键自动驾驶任务配置,其充分的可解释性、安全性、与多模块的可持续迭代性,是目前为止最具希望实际部署的端到端模型。这套基于视觉的全栈自动驾驶框架,据初步测算,每年节省激光雷达与标注成本可达千万级。

部分玩家已经在行动。据36氪了解,小鹏和理想汽车都在筹备研发全栈端到端自动驾驶方案。“目前效果还不太好,但潜力很大。”有内部人士透露。

总而言之,新的技术的种子已经播下,行业新一轮竞赛也可能已经开始。接下来,就看谁能给出更肥沃的土壤与更恒久的耐心。

文章参考:

1.《Planning-oriented Autonomous Driving》

2.《AIR学术|上海人工智能实验室李弘扬、陈立:端到端自动驾驶算法设计思考》

3.《上海AI实验室联合团队获CVPR最佳论文奖 | CVPR 2023》

标签:

最新文章推荐