从抓取到驾驶到虚拟代理:NVIDIA规模化训练泛化路径解析

计算机视觉顶会CVPR 2026上,NVIDIA Research以三篇论文集中诠释了一个核心命题:当训练规模跨越量级门槛,AI模型能否从“为特定场景定制”走向“对任意环境泛化”?答案在三项成果中逐步清晰——面向机器人的零样本抓取基础模型、面向自动驾驶的高效推理方法、以及面向虚拟环境的具身智能体训练框架,共同指向了物理AI基础设施化的技术路径。

先说GraspGen-X。作为首个零样本抓取基础模型,它基于20亿次模拟抓取训练,能够为任意末端执行器(从二指夹爪到多指灵巧手)直接生成抓取姿态,无需针对新硬件或新物体重新标注或微调。传统抓取方法高度依赖对象3D模型、传感器配置或手调参数,GraspGen-X的核心突破在于将抓取视为一个“条件生成”问题:输入点云与末端执行器几何信息,模型在潜空间中采样高成功率姿态。这一思路借鉴了生成式AI中的扩散模型与基础模型范式,将机器人操作从“工程定制”拉入“预训练+零样本推理”轨道。

配套的curoboV2和Grasp-MPC则进一步完善了落地闭环。前者是基于CUDA加速的运动规划库,在生成抓取姿态后能快速合成无碰撞运动轨迹;后者是一种闭环抓取控制器,通过模型预测控制实时修正执行偏差。三者形成“生成-规划-控制”流水线,对具身智能的实际部署而言,其意义不亚于当年语言模型训练后的推理优化——不仅能做,而且做得快且稳。

再看自动驾驶方向的LCDrive。现有端到端驾驶模型常用语言或离散token作为推理中间表征,但文本化过程存在信息冗余与延迟。LCDrive提出用紧凑的潜在表示(latent representation)替代文本推理,直接在紧凑的连续空间中进行场景理解与决策推理。实验显示,在嵌入式硬件(如NVIDIA Orin)上,LCDrive的推理延迟比基于文本推理的基线模型降低近一倍,同时保持相当的驾驶性能。这一方向直指量产车对实时性与成本的双重约束:如果自动驾驶模型能在低功耗芯片上完成高效推理,将显著降低对昂贵计算硬件的依赖,加速高阶智驾向下沉市场渗透。

NitroGen则探索了虚拟环境中的通用智能体训练。基于Isaac GR00T架构,NitroGen在数千种虚拟环境中训练具身智能体(如虚拟角色、无人机、移动机械臂),设计上强调跨场景零样本迁移。与GraspGen-X的逻辑一致:通过规模化、多样化环境采样,迫使模型学会“通用”而非“记忆”。值得注意的是,NitroGen的训练管道内置了全新的物理AI智能体技能库,包括灵巧操作、导航避障和多智能体协作等模块,这意味着后续研究者可以直接在这些技能上微调,而非从零构建。与LCDrive、GraspGen-X呼应,NitroGen展示了一条统一的规模化训练路线:无论任务是抓取、驾驶还是虚拟代理,关键在于构造足够丰富且物理真实的数据源,并用生成式模型架构去逼近泛化边界。

从产业角度看,这三篇论文反映了NVIDIA在物理AI领域的战略升级。过去企业更多提供仿真平台(如Isaac Sim)和硬件加速库(如cuRobo),现在开始直接供给预训练模型和推理框架,降低具身智能与自动驾驶的入门门槛。对于机器人公司和自动驾驶团队而言,GraspGen-X和LCDrive意味着可以跳过大量的数据采集和人工调参阶段,直接利用规模化预训练模型进行零样本或少量微调部署。而NitroGen则为游戏、数字孪生和虚拟机器人培训提供了可复用的基础模型。

值得关注的趋势是,“规模化训练+潜力空间推理”正在成为物理AI的统一方法论。无论是抓取姿态生成、驾驶决策还是代理行为控制,模型都从手工设计的规则或专用网络转向大规模预训练的生成式基础模型。这种范式切换的直接后果是:未来具身智能将更加依赖算力投入和数据多样性,而非算法技巧。对从业人员而言,尽早构建场景多样的高仿真训练数据、掌握基础模型的微调与对接能力,将比手写成本函数或设计复杂奖励更能决定竞争力。NVIDIA此次在CVPR的“三连发”,与其说是论文发布,不如说是物理AI基础模型时代的发令枪声。