入选 TOP100 Summit 全球软件案例,网易伏羲分享数据驱动算法的全流程深度实践

近日,由 MSUP 主办的第十四届 TOP100 全球软件案例研究峰会(简称:TOP100 Summit)在北京圆满闭幕。本届峰会以“面向未来的组织演进与创新管理”为主题,汇聚了全球 100 余位技术创新者,探讨生成式 AI、软硬件集成等趋势下的组织变革路径,为观众提供实用的指导和启示。大会期间,网易伏羲规控算法负责人陈博士发表了题为《装载机无人化破局之路:数据驱动算法的全流程深度实践》的演讲,系统分享了团队在装载机无人化领域的技术探索与实践经验。
1、从行业困局到技术破局,装载机智能化成必选项
装载机作为工程机械第二大品类(仅次于挖掘机),广泛应用于建筑、基建等领域,其无人化转型的迫切性源于三大现实驱动:一是用工荒与老龄化加剧,熟练作业人员缺口持续扩大,作业安全隐患高;二是国家政策对智能制造的大力支持,为技术落地提供了政策红利;三是装载机市场规模庞大,但智能化水平远低于乘用车领域,存在巨大提升空间。
网易旗下工程机械智能化品牌——网易灵动选择从拌合站场景切入,作为装载机典型且广泛应用的工作场景,其相对结构化、可复制性强,是无人化技术批量落地的理想切入点。但要让无人装载机真正“上岗”,必须攻克两大核心作业环节:上料作业(铲、运、卸)、堆料作业(囤积物料、整理料面),同时应对高作业效率、复杂环境适配、高精度作业、高安全底线等多重挑战。而在技术层面,底层建模与标定难题进一步加剧挑战:装载机铰接式车身叠加动态负载,传统物理模型精度不足;作业振动、温度变化导致传感器参数偏移和液压控制性能变化,需频繁校准;物料交互过程受力复杂、不确定性高,难以用传统方法精准描述。
2、从游戏 AI 到工程机械,装载机智能化的网易答案
面对上述挑战,网易灵动将网易在游戏领域的技术积累迁移至工程机械领域。依托网易有灵众包平台,让远程操作员完成任务的同时,自然产生高质量操作数据,通过人机协同模式构建“Human-in-the-Loop”数据闭环,同时结合无人化运营中积累的真实数据,为算法迭代提供“燃料”。基于这一平台积累的熟练老师傅数据,团队确立了“数据驱动”的技术路线:用“世界模型+强化学习”解决动力学与物料交互建模问题,用“端到端模仿学习”攻克堆料复杂策略。技术最终需落地于真实场景,现场展示了三个装载机核心作业环节的实践。
1.移动导航
团队摒弃传统解析模型,基于 16 万帧实际行驶数据训练高精度动力学模型,50 步预测误差仅 0.25 米,远超传统模型的精度;在此基础上,用“世界模型+强化学习”打造轨迹控制系统,通过奖励函数平衡效率、安全与舒适性,让装载机最高速度达 4m/s,平均轨迹跟踪误差稳定在 15 厘米内,行驶流畅度与真人无异。在轨迹规划层面,团队创新性融合扩散模型与强化学习:先用扩散模型从海量历史轨迹中学习稀疏离散点,再通过 RL 微调生成适配底层控制器的最优路径。在安全避障方面,系统通过多传感器融合与多级预期轨迹预测,不仅能感知当前障碍物,更能预判未来碰撞风险。在甘肃路桥拌合站的实测中,该策略实现了长时间无事故运行,狭窄场地也不误触发急停,平衡了安全与效率。
2.铲料环节
团队提出“本体感知”方案,不使用部署代价高昂的场地侧传感器方案,通过开机自检重建料面、自动校准传感器外参(如基于分割大模型 SAM 的激光和相机联合标定技术、基于数字孪生的自动标定技术),无需人工干预;针对“何时铲料”,基于数据驱动模型,实时预测铲料过程中的后续推进距离与物料体积,助力系统提前完成决策、及时启动收斗动作。实测显示:感知铲料策略(作业时长 7 秒),效率优于行业广泛应用的压力铲料策略(作业时长 10 秒),并且铲料作业能耗较传统方案降低 11%。针对“怎么铲”,自动匹配“直进直出”与“阶梯式”两种经典铲法,平衡时间、能耗与满斗率,表现超过人工。
3.堆料环节
在传统自动化方案中,堆料曾是无人装载机作业的核心短板。其核心难点不仅在于需实时适配多样化料堆几何形态与物料特性,还对多关节协同控制、推进力动态匹配提出严苛要求。传统方案依赖简化物理模型及独立关节控制,难以实现这种多层次、强耦合的协同控制,无法有效规避倾覆风险,且人工策略保守导致作业效率不高。网易灵动创新采用扩散模型(Diffusion Policy)实现端到端学习,融合多模态观测数据(灰度高程图、液压压力、关节角度等),通过引入时序交叉注意力机制捕捉装载机与物料交互的长期依赖关系,借助反向去噪生成带有扭矩前馈的动作轨迹。这种方法让堆料效率提升至 70%以上,动作连贯性与熟练师傅相似,且在不同料堆规模、物料类型上展现强泛化能力,是具身智能在装载机作业中的首次成功应用,最终实现了从“上料”到“堆料”的全流程无人作业闭环。
3、从技术实践到行业价值
在落地实践中,网易灵动无人装载机已实现 7x24 小时“黑灯作业”,人效提升至 130%,适配不同品牌、动力类型的设备,并在上万次真实作业中得到验证,为拌合站、发电厂、港口、化工厂等场景的智能化升级提供了可规模化复制的标杆解决方案。
智能化不是替代人,而是让机器成为更可靠的“搭档”。从实验室到拌合站,从数据积累到效率突破,网易伏羲以装载机无人化为切口,不仅为工程机械智能化提供了“数据驱动”的解题思路,更勾勒出“人机协作”的未来图景,为全球智能制造注入中国方案。







评论