毫末顾维灏：中国首个自动驾驶数据智能体系 MANA 将以产品服务方式对外合作开放

2023-04-11
湖北
本文字数：3014 字
阅读完需：约 10 分钟

“DriveGPT 雪湖·海若将重塑汽车智能化技术路线,面向全行业开放。毫未有信心在中国第一个进入自动驾驶 3.0 时代。”在 4 月 11 日举行的第八届 HAOMO AI DAY 上,毫末智行 CEO 顾维灏在《DriveGPT 雪湖·海若驱动自动驾驶 3.0 时代加速到来》的演讲中,重磅发布自动驾驶生成式大模型 DriveGPT,中文名“雪湖·海若”,并分享了围绕大模型的应用能力,以及介绍了中国首个自动驾驶数据智能体系 MANA 和中国自动驾驶行业最大智算中心 MANA OASIS 雪湖·绿洲最新升级。同时,顾维灏还宣布雪湖·海若智能驾驶能力首发车型将落地在即将量产上市的新摩卡 DHT-PHEV 上。

(毫末智行 CEO 顾维灏)

重塑汽车智能化技术路线,毫末发布自动驾驶生成式大模型 DriveGPT 雪湖·海若

当下,AI 大模型的落地应用再度引发广泛关注,而不同行业领域的从业者,也在积极探索面向各自细分行业行之有效的 AI 大模型。在 AI 自动驾驶领域,毫末是大模型研发和应用的先行者。AI DAY 现场,顾维灏重磅发布自动驾驶生成式大模型 DriveGPT,中文名雪湖·海若。

(毫末自动驾驶生成式大模型毫末 DriveGPT,中文名“雪湖·海若”)

“海若”出自《庄子·秋水》。《庄子·秋水》中有两个神话人物河伯和北海若。河伯请教北海若,何谓大小之分,北海若教导,不因天地而觉大,不因毫末而觉小。因此,毫末把 DriveGPT 中文名命名为“雪湖·海若”,寓意着智慧包容、海纳百川,为行业发展贡献力量。

毫末 DriveGPT 雪湖·海若通过引入驾驶数据建立 RLHF(人类反馈强化学习)技术,对自动驾驶认知决策模型进行持续优化。DriveGPT 雪湖·海若的目标是实现端到端自动驾驶,现阶段主要用于解决自动驾驶的认知决策问题,后续持续会将毫末多个大模型的能力整合到 DriveGPT 雪湖·海若。目前,毫末 DriveGPT 雪湖·海若实现了模型架构与参数规模的升级,参数规模达到 1200 亿,预训练阶段引入 4000 万公里量产车驾驶数据,RLHF 阶段引入 5 万段人工精选的困难场景接管 Clips。

DriveGPT 雪湖·海若的底层模型采用 GPT(Generative Pre-trained Transformer)生成式预训练大模型,与 ChatGPT 使用自然语言进行输入与输出不同,DriveGPT 雪湖·海若面向自动驾驶场景,输入是感知融合后的文本序列,输出是自动驾驶场景文本序列,即将自动驾驶场景 Token 化,形成“Drive Language”,最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。

(DriveGPT 雪湖·海若的技术原理介绍)

顾维灏对 DriveGPT 雪湖·海若的实现过程进行了详细的解释。首先在预训练阶段通过引入量产驾驶数据,训练初始模型,再通过引入驾驶接管 Clips 数据完成反馈模型(Reward Model)的训练,然后再通过强化学习的方式,使用反馈模型去不断优化迭代初始模型,形成对自动驾驶认知决策模型的持续优化。同时,DriveGPT 雪湖·海若还会根据输入端的提示语以及毫末 CSS 自动驾驶场景库的决策样本去训练模型,让模型学习推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。

(DriveGPT 雪湖·海若的实现过程)

顾维灏还在现场宣布雪湖·海若智能驾驶能力首发车型是即将量产上市的新摩卡 DHT-PHEV。他表示,雪湖·海若可以逐步应用到城市 NOH、捷径推荐、智能陪练以及脱困场景中。有了雪湖·海若的加持,车辆行驶会更安全,动作更人性、更丝滑,并有合理的逻辑告诉驾驶者,车辆为何选择这样的决策动作。对于普通用户来说,车辆越来越像老司机,用户对智能产品的信任感会更强,理解到车辆的行为都是可预期、可理解的。

(毫末雪湖·海若智能驾驶能力首发车型:新摩卡 DHT-PHEV)

目前,毫末 DriveGPT 雪湖·海若已正式对行业开放,开启对限量首批客户的合作,北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等已经加人。DriveGPT 雪湖·海若对行业提供开放服务,将促进自动驾驶的从业者和研究机构快速构建基础能力,释放创新。

(毫末自动驾驶生成式大模型雪湖·海若对行业开放)

当前,毫末在使用数据过程中,逐步建立起一套基于 4D Clips 驾驶场景识别方案,具备极高性价比。在行业上,给出正确的标注结果,一张图片需要约 5 元;如果使用 DriveGPT 雪湖·海若的场景识别服务,一张图片的价格将下降到 0.5 元。单帧图片整体标注成本仅相当于行业的 1/10。接下来,毫末会将图像帧及 4D Clips 自场景识别服务逐步向行业开放使用,这将大幅降低行业使用数据的成本,提高数据质量,从而加速自动驾驶技术的快速发展。

(雪湖·海若场景识别能力对外开放,价格为行业当前水平的十分之一)

MANA OASIS 升级三大能力,为 DriveGPT 雪湖·海若提供算力支持

云端算力对于大模型平稳落地运行不可或缺。此前,毫末已经构建了中国自动驾驶行业最大的智算中心 MANA OASIS(雪湖·绿洲)。活动上,顾维灏介绍,在 DriveGPT 雪湖·海若的算力支持方面, MANA OASIS 从算力优化等层面升级了三大能力。

(MANA OASIS 雪湖·绿洲)

首先,毫末与火山引擎全新搭建了“全套大模型训练保障框架”,实现了异常任务分钟级捕获和恢复能力,可以保证千卡任务连续训练数个月没有任何非正常中断,有效保证了大模型训练稳定性。

其次,将“增量式学习”推广到大模型训练,构建 DriveGPT 雪湖·海若大模型学习系统。毫末研发出以真实数据回传为核心的增量学习技术,并将其推广到了大模型训练,构建了一个大模型持续学习系统,自主研发任务级弹性伸缩调度器,分钟级调度资源,集群计算资源利用率达到 95%。

最后,优化关键算子,以提升数据吞吐量,提升 DriveGPT 雪湖·海若大模型训练效率。MANA OASIS 通过引入火山引擎提供的 Lego 算子库实现算子融合,端到端吞吐提升 84%,满足大模型训练的效率要求。

MANA 视觉感知能力持续提升,MANA 架构全线升级开放赋能

毫末打造的中国首个自动驾驶数据智能体系 MANA,在经过一年多的应用迭代后,本次 AI DAY 也迎来了全面的升级。顾维灏介绍,首先,感知和认知相关大模型能力统一整合到 DriveGPT 雪湖·海若;其次,计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化,并集成到 OASIS 当中;第三,增加了使用 NeRF 技术的数据合成服务,降低 Corner Case 数据的获取成本;最后,还针对多种芯片和多种车型的快速交付难题,优化了异构部署工具和车型适配工具。

(中国首个自动驾驶数据智能体系 MANA 全面升级,开放赋能)

此外,MANA 的视觉感知能力持续提升,一方面可同时学习三维空间结构和图片纹理,并将纯视觉测距精度超过了超声波雷达,也使得 BEV 方案也拥有了更强的通用性和适配性;另一方面,可实现单趟和多趟纯视觉 NeRF 三维重建,道路场景更逼真,肉眼几乎看不出差异。通过 NeRF 进行场景重建后,可以编辑合成真实环境难以收集到的 CornerCase。在原有的全局视角修改、添加光照/天气效果的基础上,新增合成虚拟动态物体的能力,可以在原有设定的运动轨迹上,合成各种 Hard Case,模拟城市复杂交通环境,用更低成本测试提升城市 NOH 能力边界,更好提升应对城市复杂交通环境。

(MANA 视觉感知能力进展)

值得一提的是,面对目前行业里最难的视觉任务之一——单目视觉测量,继特斯拉后,毫末也在中国率先开始验证能否使用鱼眼相机代替超声波雷达进行测距,以满足泊车要求。毫末把视觉 BEV 感知框架引入到了车端鱼眼相机,做到了在 15 米范围内达到 30cm 的测量精度,2 米内精度高于 10cm 的视觉精度效果。泊车场景使用纯视觉测距来取代超声波雷达,将进一步降低整体智驾成本。