在SIGGRAPH 2024上，英伟达开始引领下一波浪潮：物理AI

今天凌晨，老黄不仅接受了采访，与扎克伯格进行了对话，还用新产品引领了 AI 的方向。

当地时间 7 月 29 日，英伟达在计算机图形技术会议 SIGGRAPH 大会上宣布了一系列新技术与工具。

面向全球领先的机器人制造商、AI 模型开发者和软件制造商，英伟达提供了一套全新服务、模型以及计算平台，以帮助开发、训练和构建下一代人形机器人。

这套产品包括用于机器人仿真和学习的全新 NVIDIA NIM 微服务和框架、用于运行多阶段机器人工作负载的 NVIDIA OSMO 编排服务，以及支持 AI 和仿真的远程操作工作流，该工作流允许开发者使用少量人类演示数据来训练机器人。

英伟达创始人兼首席执行官黄仁勋表示：「AI 的下一波浪潮是机器人，其中最令人兴奋的发展之一是人形机器人。我们正在推进整个 NVIDIA 机器人堆栈的发展，面向全球人形机器人开发者和公司开放访问，让他们能够使用最符合其需求的平台、加速库和 AI 模型。」

借助 NVIDIA NIM 和 OSMO 加速开发

NIM 微服务提供了由英伟达推理软件提供支持的预构建容器，使开发者能够将部署时间从数周缩短到几分钟。机器人专家将能够通过两项新的 AI 微服务，在 NVIDIA Isaac Sim（基于 NVIDIA Omniverse™ 平台构建的机器人仿真参考应用）中增强生成式物理 AI 仿真工作流。

MimicGen NIM 微服务可根据 Apple Vision Pro 等空间计算设备记录的远程操作数据，生成合成运动数据。Robocasa NIM 微服务可在 OpenUSD（一个用于在 3D 世界中进行开发和协作的通用框架）中生成机器人任务和仿真就绪环境。

本次推出的 NVIDIA OSMO 是一项云原生托管服务，允许用户跨分布式计算资源来协调和扩展复杂的机器人开发工作流，无论是在本地还是在云端。

OSMO 大大简化了机器人训练和仿真工作流，将部署和开发周期从数月缩短到一周内。用户可以对各种任务进行可视化管理，包括合成数据生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂软件在环测试。

为人形机器人开发者提供先进的数据捕获工作流

训练人形机器人的基础模型需要大量的数据。远程操作是获取人类演示数据的方法之一，但这个过程正变得越来越昂贵和漫长。

通过在 SIGGRAPH 计算机图形大会上展示的 NVIDIA AI 和 Omniverse 远程操作参考工作流，研究者和 AI 开发者能够从极少量远程捕捉的人类演示中生成大量合成运动和感知数据。

首先，开发者使用 Apple Vision Pro 捕获少量远程操作演示，随后在 NVIDIA Isaac Sim 中仿真这些录像，并使用 MimicGen NIM 微服务基于录像生成合成数据集。

开发者可以使用真实数据和合成数据对 Project GR00T 人形机器人基础模型进行训练，以节省时间和降低成本。然后，他们可以使用 Isaac Lab 中的 Robocasa NIM 微服务（一个机器人学习框架）来生成经验并重新训练机器人模型。在整个工作流中，NVIDIA OSMO 将计算任务无缝地分配给不同的资源，为开发者减少了数周的管理工作量。

通用机器人平台公司傅利叶看到了使用仿真技术综合生成训练数据的优势。 

与此同时，英伟达也发布了一系列通用场景描述（OpenUSD）的重大成果。这将扩大这一通用 3D 数据交换框架在机器人、工业设计和工程领域的应用，提高开发者为 AI 新一轮发展构建高精度虚拟世界的能力。

通过基于 OpenUSD 的全新生成式 AI，以及在 Omniverse 平台构建的英伟达加速的开发框架，越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用，以及用于构建新一代物理 AI 和机器人的环境仿真的应用。

新推出的内容包括适用于 AI 模型的 NVIDIA NIM 微服务，这些微服务可生成回答用户查询的 OpenUSD 语言、生成 OpenUSDPython 代码、将材质应用于 3D 物体、理解 3D 空间和物理学以帮助加快数字孪生的开发等。其他还包括可用于机器人和工业仿真数据格式的全新 USD 连接器，以及各种开发者工具，用户可通过它们将海量 NVIDIARTX 全光线追踪数据集传输到 AppleVision Pro。

英伟达 NVIDIA Omniverse 与仿真技术副总裁 Rev Lebaredian 表示：「重工业的生成式 AI 潮已经到来。直到最近，数字世界的主要用户还是创意行业；而现在，借助 NVIDIA NIM 微服务为 OpenUSD 带来的增强功能和可访问性，各个行业都可以创建基于物理学的虚拟世界和数字孪生，在加快创新的同时，为机器人这次新一轮 AI 技术热潮做好准备。」

通过 NVIDIA NIM 将生成式 AI 应用于 USD 

英伟达开发的全球首个用于 OpenUSD 开发的生成式 AI 模型将以 NVIDIA NIM 微服务的形式提供。借助这些模型，开发者能够将生成式 AI copilot 和智能体整合到 USD 工作流中，拓宽 3D 世界的可能性，帮助加快 USD 在制造业、汽车行业和机器人等新工业领域的应用。

预览版中的微服务包括：

• USD Code NIM 微服务：回答常识性 OpenUSD 问题，并基于文本提示自动生成
• OpenUSD-Python 代码，然后将其输入到 OpenUSD 查看应用程序（例如皮克斯的 USDView）或基于 NVIDIA Omniverse Kit 的应用，以实现相应 3D 数据的可视化。l  
• USD Search NIM 微服务：使开发者能够使用自然语言或图像输入，在海量 OpenUSD、3D 和图像数据库中进行搜索。l  
• USD Validate NIM 微服务：检查上传文件与 OpenUSD 发布版本的兼容性，并生成完全由
• NVIDIAOmniverse Cloud API（应用编程接口）驱动的 RTX 渲染路径追踪图像。

即将提供的新微服务包括：

• USDLayout NIM 微服务：使用户能够基于空间智能，根据一系列文本提示组装出基于 OpenUSD 的场景。
• USDSmartMaterial NIM 微服务：预测并将逼真的材料应用于计算机辅助设计对象。
• fVDB Mesh Generation NIM 微服务：根据点云数据生成基于 OpenUSD 的网络，并通过 Omniverse Cloud API 进行渲染。
• fVDB PhysicsNIM Super-Res 微服务：对帧或帧序列执行 AI 超分辨率 ，生成基于 OpenUSD 的高分辨率物理仿真。
• fVDB NeRF-XL NIM 微服务：使用 Omniverse Cloud API 在 OpenUSD 中生成大规模神经辐射场。

富士康是全球制造业的领导者，在全球拥有 170 多家工厂，受益于英伟达计算平台，利用 NIM 微服务和 Omniverse 为一家正在开发中的工厂创建了数字孪生。

富士康首席数字官兼智能制造平台负责人史喆表示：「数字孪生将帮助我们加速新一波工业制造和自主机器的发展。Omniverse 和全新的 NIM 微服务将使数字孪生的开发变得更加普及，并帮助我们的团队以前所未有的速度构建基于物理的虚拟工厂。」

USD 连接器为更多行业带来生成式 AI

多款适用于机器人数据格式和 Apple Vision Pro 流式传输的全新 USD 连接器将为更多行业带来 OpenUSD 互操作性与高级创作能力。

为帮助更多使用 OpenUSD 的工业工作负载，英伟达与全球工业自动化和软件领先者西门子正在扩大合作。西门子将把 OpenUSD 流水线与其 Simcenter 仿真技术组合集成，以支持基于证据的决策和关键利益相关方之间的协作。

该集成可实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够更加深入地了解产品在实际操作环境中的性能。西门子将把 Omniverse 纳入到其 Teamcenter 产品生命周期管理软件组合中，为这项工作打好基础。

英伟达还发布了一个从统一机器人描述格式（Unified Robotics DescriptionFormat）到 OpenUSD 的连接器，让机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。

为了进一步推动 OpenUSD 生态系统的扩张，英伟达发布了 OpenUSD Exchange 软件开发套件，帮助开发者创建出自己的强大 OpenUSD 数据连接器。

新的开发者工具和 API 可通过 NVIDIA Graphics Delivery Network（GDN），将大规模 OpenUSD 场景从基于 Omniverse 平台构建的应用流式传输到 Apple Vision Pro。目前，这些新工具和 API 提供抢先体验版本。