中国自动驾驶行业最大智算中心亮相 毫末顾维灏：毫末车端感知架构实现跨代升级

“毫末智行的智算中心‘雪湖·绿洲’(MANA OASIS)可以为自动驾驶技术的持续迭代提供充足动力,在 MANA OASIS 加持下,毫末将实现算力充沛、数据充沛、时空无距,助力毫末奔跑进入自动驾驶 3.0 时代。”在 1 月 5 日举行的第七届 HAOMO AI DAY 上,毫末智行 CEO 顾维灏在《走向大算力、大模型、大数据,毫末的自动驾驶 3.0 时代》主题演讲中,重磅宣布中国自动驾驶行业最大智算中心正式成立,并分享了在 OASIS 助力下,毫末数据智能体系 MANA 五大模型的最新成果。同时还首次公布了毫末城市 NOH 产品规划:预计 2024 年上半年落地将达到 100 城,2025 年迈向全无人驾驶。

(毫末智行 CEO 顾维灏在第七届 HAOMO AI DAY 发表主题演讲)

毫末发布中国自动驾驶行业最大智算中心,冲刺进入自动驾驶 3.0 时代

“‘绿洲’是从毫末数据智能体系 MANA 雪湖中孕育生长而出,绿洲原本是浩瀚沙漠中的片片沃土,水草丰茂,生机勃勃。毫末‘雪湖·绿洲’的名字意味着毫末拥有的超级计算、充沛的算力及数据,一切生机勃勃,充满期待。” 顾维灏在演讲中对“绿洲”名字由来及含义进行了解释。同时在活动现场,顾维灏与火山引擎总裁谭待共同宣布中国自动驾驶行业最大智算中心——雪湖·绿洲(MANA OASIS)正式成立。

在现场,顾维灏详细阐释了建设 MANA OASIS 的底层逻辑。首先,自动驾驶对智算中心的第一要求肯定是算力。智算中心的超大算力代表了有多少的 AI 工程师在这个练武场中能够做出什么大模型,能训练多少大模型。其次,智算中心对数以百亿计的自动驾驶小文件数据随机存储的效率,决定了模型的训练效率。第三,大模型训练的大量交换数据要求高性能的存储带宽,让大量数据在大模型中顺畅流动。第四,海量数据的计算要求在多台服务器协同工作,对智算中心集群的通讯带宽提出了较高要求。第五,自动驾驶所需的大模型,会要求更好的并行计算框架,在训练的时候把硬件资源都利用起来。最后,新的人工智能算法层出不穷,要求通过智算中心能够尽快引入新技术和新模型来实现技术的升级。

据介绍,MANA OASIS 由毫末智行与火山引擎联合打造,算力高达 67 亿亿次/秒,配备了存储带宽 2T/秒的高性能存储和通信带宽 800G/秒的高性能网络。“毫末训练平台部署到 OASIS 上后,可以运行包括云端大模型训练、车端模型训练、标注、仿真等各类应用。”顾维灏表示,基于火山引擎丰富的大数据积累和底层技术,MANA OASIS 实现的计算、存储、通讯能力,可以让 GPU 不再等待数据,数据转化成知识的速度也会更快。毫末数据、算力、训练效率也迎来全面提升。

(毫末智行智算中心“雪湖·绿洲”每秒浮点运算达 67 亿亿次)

具体来看,在数据管理能力方面,为充分发挥智算中心价值,让 GPU 持续饱和运行,毫末历经 2 年研发,建立了全套面向大规模训练的 Data Engine,实现了百 P 数据筛选速度提升 10 倍、百亿小文件随机读写延迟小于 500us。在算力优化方面,毫末与火山引擎合作,部署了 Lego 高性能算子库、ByteCCL 通信优化能力,以及大模型训练框架。软硬一体,把算力优化到极致。在训练效率方面,基于 Sparse MoE,通过训练平台的持续优化,毫末可实现单机训练百亿参数大模型,以及实现跨机共享 expert 的方法,完成千亿参数规模大模型训练,训练成本降低到百卡周级别,训练效率提升 100 倍。

(MANA OASIS 基础能力展示)

“MANA OASIS 可以为自动驾驶技术的持续迭代提供充足动力,在 MANA OASIS 加持下,毫末将实现算力充沛、数据充沛、时空无距,助力毫末奔跑进入自动驾驶 3.0 时代。”顾维灏表示,在 2022 年 9 月举行的第六届 HAOMO AI DAY 上,毫末在业内首提了自动驾驶 3.0 时代概念。毫末一直在为自动驾驶 3.0 时代做准备,在感知、认知、模式上,都是按照数据驱动方式建设,冲刺进入自动驾驶 3.0 时代。毫末智算中心的成立,将助力其加速这一进程。

MANA 五大模型全新亮相升级 HPilot 未来三年迭代计划公布

“在 MANA OASIS 上,我们目前有五个大模型来解决自动驾驶中的一些关键问题。”顾维灏现场分享了毫末最新研发的 MANA 五大模型,在应对城市复杂路况上锁提出的最新技术成果。

(MANA 五大大模型助力自动驾驶能力发展)

首先是,视频自监督大模型,可以完成 4D Cip 的自动标注;为了更低成本、更高效获取更多高价值数据,需要解决从离散帧自动化扩充到 Cips 形态的问题。毫末首先利用海量 videoCip,通过视频自监督方式,预训练出一个大模型,用少量人工标注好的 Cip 数据进行 Finetune(微调),训练检测跟踪模型,使得模型具备自动标注的能力;然后,将已经标注好的千万级单帧数据所对应的原始视频提取出来组织成 Cip,其中 10%是标注帧,90%是未标注帧,再将这些 Cip 输入到模型,完成对 90%未标注帧的自动标注,进而实现所有单帧标注向 Cip 标注的 100%的自动转化,同时降低 98%的 Cip 标注成本。目前,视频自监督大模型已经取得极佳的泛化效果,针对一些困难场景,都可以准确完成自动标注。

(视觉自监督大模型,可以完成 4D Cip 的自动标注)

其次,3D 重建大模型,可实现数据“无中生有”,轻松获得海量 corner case。面对“完全从真实数据中积累的 corner case 困难且昂贵”的行业难题,毫末将 NeRF 技术应用在自动驾驶场景重建和数据生成中,它通过改变视角、光照、纹理材质的方法,生成高真实感数据,例如通过视角变化可以模拟变道、绕行、调头等各种主车行为,甚至模拟一些即将碰撞的高危险性场景数据。顾维灏表示:“经过大量实验我们发现,通过这种方法生成的数据比人工显式建模再渲染纹理的传统方法效果更好,更适合自动驾驶需求。”目前毫末的成果是增加 NeRF 生成的数据之后可以将感知的错误率在原来的基础上降低 30%以上,并且整个数据生成过程基本不需要人工参与,可以实现全自动化。接下来,毫末将依托绿洲的计算能力,将过去积累的全部场景 3D 重建化。

(3D 重建大模型,用更低成本解决数据分布问题,提升感知效果)

第三,多模态大模型,能够精准识别各类异形障碍物,让车辆仿佛具备“火眼金睛”。在成功实现车道线和常见障碍物的精准检测后,针对城市多种异形障碍物的稳定检测问题,毫末正在思考和探索更加通用的解决方案。多模态大模型引入了激光雷达作为视觉监督信号,直接使用视频数据来推理场景的通用结构表达。顾维灏在现场举了两个例子,一个是城市路口场景,一个是城市当中非常常见的公交站点。得益于多模态大模型的帮助,毫末目前在异形物判断和精细结构的表达方面取得了巨大的进步。通用结构的检测很好的补充了已有的语义障碍物检测,对于提升在城市复杂工况下的通过性有非常大的帮助。

(多模态互监督大模型,可以完成通用障碍物的识别)

第四,动态环境大模型,可以精准预测道路的拓扑关系,让车辆始终行驶在正确的道路中。在重感知技术路线下,毫末为了将对高精地图的依赖度降到最低,面临着“道路拓扑结构实时推断”的挑战。为此,毫末在 BEV 的 feature map(特征图)基础上,以高精地图作为引导信息,使用自回归编解码网络,将 BEV 特征,解码为结构化的拓扑点序列,实现车道拓扑预测,让毫末的感知能力,能像人类一样在标准地图的导航提示下就可以实现对道路拓扑结构的实时推断。顾维灏表示:“我们的算法在保定和北京 85%的路口拓扑预测上,准确率高达 95%,即便是非常复杂、非常不规则的路口,我们也能准确预测,可以说比老司机还老司机。”

(动态环境大模型,让毫末进一步使用重感知技术,降低对高精地图依赖)

最后是,人驾自监督认知大模型,可掌握高水平司机的开车技法,使得驾驶决策更聪明。在探索“使用大量人驾数据,直接训练模型做出拟人化决策”方面,毫末为了让模型能够学习到高水平专业司机的优秀开车方法,全新引入了用户真实的接管数据,同时用 RLHF(从人类反馈中强化学习)思路先训练一个 reward model(奖励模型),来挑选出更好的驾驶决策。通过这种方式,使毫末在掉头、环岛等公认的困难场景中,通过率提升 30%以上。这一方法与 AGI(通用人工智能)领域爆火的 ChatGPT 的思路不谋而合,即通过人类行为反馈来选出最优答案。

(人驾自监督认知大模型,毫末的驾驶策略更加拟人化,安全及顺畅)

“在五大模型助力下,MANA 最新的车端感知架构,实现了一个跨代升级。”顾维灏现场展示了大模型赋能下 MANA 最新的车端感知架构变化,从过去分散的多个下游任务都集成到一起,形成一个更加端到端架构,包括局部路网、预测等任务,均实现了跨代升级。这意味着毫末的感知能力更强,产品力更强,向全无人驾驶加速迈进。

(MANA 五大模型助力毫末感知架构实现跨代升级)

“重感知的技术路线、大模型的技术应用、用户闭环的数据建设领先,这是毫末城市 NOH 率先实现‘进城’的三大决定因素。”顾维灏在演讲中首次分享毫末做到中国第一个可大规模落地的城市 NOH 的原因,并正式公布了毫末 HPilot 的迭代计划:预计到 2024 年上半年,毫末将完成 HPilot 落地中国 100 个城市的计划,实现点点互达。到 2025 年,更大规模全场景的 NOH 将更快落地,全无人驾驶即将来临。

(毫末 HPilot 发展规划)

安全是毫末自动驾驶永恒不变的主题 毫末自研 AEB 算法获用户及国际权威机构认可

   “安全是毫末自动驾驶永恒不变的主题,自动驾驶,安全先行。”顾维灏在现场多次强调了安全之于毫末的重要性,并重点分享了毫末自研的 AEB 算法在 2022 年的优异表现。

“安全一直是我们产品的基础,AEB 是汽车安全行驶的守门员,我们希望能够给用户带来更加安全和舒适的驾乘体验。”顾维灏表示,在长城魏牌 App 上,大量真实用户分享了驾车紧急情况下,毫末自研 AEB 算法紧急刹停,保障行车安全的经历,并反馈:AEB 真是帮了大忙。

(毫末自研 AEB 受到用户广泛认可)

用户肯定的同时,毫末自研 AEB 算法也受到了国际权威机构的认可。顾维灏现场介绍“毫末自研 AEB 算法在 2022 年助力魏牌、欧拉、坦克总计四款车型拿到 E-NCAP、ANCAP 五星安全认证,毫末也成为中国首个出海量产落地的自动驾驶公司。”

(毫末自研 AEB 受到国际权威机构认可)

上述成绩的取得离不开日常的积累。顾维灏分享到,为了保障安全,毫末日常会开展大量的主动安全真实场景测试,包括在不同环境、不同速度、不同场景中的测试。例如在速度 50～60km/h,车对车静态正面碰撞测试、车对车静态消失前车测试、行人横穿碰撞测试、儿童鬼探头碰撞测试场景等。此外,毫末还在日常大量模拟仿真测试保障安全,积累了完备的 MIL、SIL、HIL 的 AEB 验证系统,超过 12000 个 AEB 场景库,AEB 道路验证达数亿公里,AEB Logsim 仿真平台测试效率达到 100 万公里/小时。

(毫末日常大量模拟仿真测试保障安全)

顾维灏在演讲最后表示:“凡是经历,皆为馈赠。毫末最为制胜的武器,是毫末同学们在一起而形成的迎难而上的创业精神,这种无敌的创业精神是我们面对挑战,取得领先,不断向前的最大法宝。毫末希望携手更多同路人,一起做更多有意义的事情。”

“让机器智能移动,给生活更多美好”这是毫末的愿景,也是第七届 HAOMO AI DAY 的主题。本届 HAOMO AI DAY 所展现的信心及技术前景,在严寒冬日里,以温暖的力量,努力为行业点亮火种。2023 年伊始,毫末将向新的三年全力迈进。