构建人形机器人需要的三种电脑，英伟达都提供

上星期，英伟达 CEO 黄仁勋在 CES 上的演讲成为了全球关注的焦点。英伟达不仅发布了最新一代消费级显卡 RTX50 系列，全球首个基础世界模型平台 Cosmos，也展示了其对于从终端到云端、从消费者到数据中心、从虚拟到真实物理世界的全方位发展路线。

其中，黄仁勋对于未来物理 AI（Physical AI）的论断，或许会成为整个科技领域下一场大发展的预告。

ChatGPT 的出现标志着生成式 AI 的大爆炸时刻，它几乎可以针对任何查询生成答案，有助于改变知识工作者在内容创作、客户服务、软件开发和业务运营等方面的数字工作。

如今，AI 正在进入智能体阶段，未来的物理 AI 则是 AI 在人形机器人、工厂和其它工业系统设备中的具象化体现，目前尚未达到突破点。

不过，旨在引领业界发展方向的英伟达希望通过「三台计算机」的构建，将先进的训练、仿真和推理结合在一起，推动科技前进的步伐。

借助生成式 AI，经过训练的多模态 transformer 和扩散模型可以生成超越文字 token 的响应。但很大程度上，这些模型都无法理解或解释三维世界。而这就是物理 AI 大显身手之处。

物理 AI 模型可以通过生成式 AI 来感知、理解物理世界，与物理世界交互和进行导航。借助加速计算，多模态物理 AI 领域的技术突破和基于物理的大规模仿真正在让人们能够通过机器人来实现物理 AI 的价值。

在不久的将来，所有移动或监控移动物体的东西都将是自主机器系统。这些系统将能够感知环境，并对其做出反应。从手术室到数据中心，从仓库到工厂，甚至交通控制系统或整个智慧城市，一切都将从手动操作的静态系统转变为由物理 AI 具象体现的自主交互式系统。

人形机器人是一种理想的通用机器人表现形式，因为它们可以在当前为人类构建的环境、设施中高效地运行，只需最小的部署和操作调整。

据高盛称，到 2035 年，全球人形机器人市场的规模预计将达到 380 亿美元，比近两年前预测的约 60 亿美元增长了六倍多。

英伟达认为，为了开发人形机器人，需要三个加速计算机系统来处理物理 AI 和机器人的训练、仿真和运行时。两项计算技术的进步正在加速人形机器人的发展：多模态基础模型和可扩展的、基于物理的机器人及其世界的仿真系统。

生成式 AI 的突破正在为机器人带来 3D 感知、控制、技能规划和智能。大规模的机器人仿真则可以让开发者在模拟物理定律的虚拟世界中改进、测试和优化机器人技能，这有助于降低现实世界的数据采集成本，并确保它们能够在安全、可控的环境中运行。

「最近三到六月的技术进步，让所有科技公司都开始加速押注人形机器人，」英伟达机器人与边缘计算副总裁 Deepu Talla 表示。「但通向目标的道路非常复杂。」

英伟达打造了完整的计算机和加速开发平台闭环，助力开发者创建物理 AI：

• 首先，在一台超级计算机上训练大模型。开发者可以使用 NVIDIA NeMo 来训练和微调强大的基础和生成式 AI 模型，利用 NVIDIA Project GR00T，使人形机器人能够理解自然语言，并通过观察人类动作来模仿动作。
• 随后，在 NVIDIA OVX 服务器上运行的开发平台上利用 NVIDIA Omniverse 通过 NVIDIA Isaac Sim 等应用程序编程接口和框架，进行测试和物理优化。
• 开发者可以使用 Isaac Sim 来仿真和验证机器人模型，或者生成大量基于物理的合成数据来引导机器人模型的训练。研究人员和开发者还可以使用 NVIDIA Isaac Lab，这是一个开源的机器人学习框架，为机器人强化学习和模仿学习提供动力，帮助加快机器人策略的训练和完善。
• 最后，训练好的 AI 模型被部署到运行时计算机上。NVIDIA Jetson Thor 机器人计算机专为满足紧凑型板载计算需求而设计。由控制策略、视觉和语言模型构组成的模型集合构成了机器人的大脑，并部署在一个节能的板载边缘计算系统上。

通过新的开发、部署体系，科技公司和研究机构可以显著缩短开发时间，在现实世界的部署之前，通过仿真对机器人进行成千上万次测试，加速整个开发流程，并保证安全性。

对英伟达来说，仿真是一个已有成功案例，正被扩展到更多领域的概念。在芯片设计领域，100% 的芯片在制造之前都需要进行仿真，以确保其功能完美，因为芯片设计中的错误可能导致数月的延误，并耗费数百万甚至数亿美元。

在机器人领域，人们面临的主要的挑战在于「仿真与现实的差距」（sim-to-real gap）。直到最近，仿真技术的精度还略显不足。英伟达提供的 Omniverse 等技术显著缩小了这一差距。虽然差距尚未完全弥合，但改进已经足够大，使仿真可以成为机器人开发中的一种可行且有效的工具。

「在英伟达，我们并不直接制造机器人，而是与从事机器人制造、机器人解决方案开发的人员合作，」Deepu Talla 表示。「我们正在构建的工作流程平台可以帮助机器人专家、研究人员、机械工程师和测试人员更轻松地开发机器人解决方案。」

大模型面临的数据挑战

目前，1X Technologies、Agility Robotics、Apptronik、波士顿动力、傅利叶、银河通用、Mentee、Sanctuary AI、宇树科技和小鹏机器人等人形机器人制造商已经宣布采用英伟达的机器人开发平台。

对于目前的具身智能方向来说，核心挑战在于构建足够体量的数据集。

利用 Isaac Lab 和 Isaac Sim，银河通用开发了名为 DexGraspNet 的大型机器人灵巧抓取数据集，该数据集可应用于各种灵巧机器手，以及用于评估灵巧抓取模型的仿真环境。

今天的图文大模型训练所用的数据，实际上大部分来自互联网，但对于人形机器人来说，能够实现通用化所需要的真实世界数据要比自动驾驶从车辆传感器上收集的数据还要多出很多。

「谷歌和特斯拉的数据显示，采集数据的成本非常高。13 万条数据花费了 17 个月、16 个工程师以及 13 台机器人。这样的采集过程需要发布高昂的成本。真实世界数据驱动人形机器人短期内难以实现具身智能突破，」银河通用创始人、CTO 王鹤表示。

通过利用 Omniverse 等工具，银河通用探索了将各种 3D 固体资产、环境以及各类材质和纹理素材相互融合的方法，其模拟了机器人的运行场景。通过 10 亿级的合成数据集，该公司训练出了全球第一个堪称基础模型的具身端到端模型 GraspVLA，在一系列任务上实现了 zero-shot 操纵。

对此，英伟达还在不断扩展合成数据的工具箱。在今年的 CES 展会上，英伟达首次发布了 NVIDIA Isaac GR00T Blueprint，人形机器人开发者现在可以利用该工具通过少量人类示范构建自定义数据管线，生成大量合成轨迹数据。目前，GR00T Blueprint 处于受邀用户访问阶段。

通过大规模合成数据的方法，人们正在利用英伟达提供的方法迈出解决机器人开发挑战的关键一步。或许很快，我们就会看到更多公司开始应用这种创新工作流，并实现技术突破。