英伟达成立最壕 AI 实验室：Jim Fan 领衔，专攻具身智能

英伟达最新大动作来了 —— 通用具身智能体。

这则消息是由英伟达高级科学家 Jim Fan 透露，他表示：

我将和老队友 Yuke Zhu 一起，在英伟达内部组建一个新研究小组 ——GEAR，通用具身智能体研究。

我们相信，在未来，每一台移动的机器都将是自主的，机器人和模拟智能体将像 iPhone 一样无处不在。

我们正在构建基础智能体：一个具有通用能力的 AI，可以在许多虚拟和现实的世界中学习如何熟练地行动。

Jim Fan 还强调，2024 年将是属于机器人、游戏 AI 和模拟的一年。

而随着这两天英伟达市值暴涨，Jim Fan 还补充了一条 X 说道：

我们有足够的资金一次性解决机器人基础模型、游戏基础模型和生成式模拟。

我们团队可能是全球最有钱的具身智能实验室。

嗯，有钱，很壕。

相关成果展示

Jim Fan 在发布这条职业履新消息之际，也顺带把英伟达此前在具身智能所做的相关工作盘点了一波。

例如被评为“2023 年英伟达十大项目”之一的 Eureka——

用 GPT-4 生成奖励函数，教会机器人完成了三十多个复杂任务：比如，快速转个笔，打开抽屉和柜子、抛球和接球。

使用 GPU 加速的物理模拟进行训练，速度比实时快 1000 倍！

再如 Voyager，把 GPT-4 放进《我的世界》——

在游戏中点亮科技树的速度是此前方法的 15.3 倍，同时获得的独特物品是此前的 3.3 倍，探索范围是 2.3 倍。

更关键的是，Voyager 完全借助游戏画面推理，一切操作与反馈通过文本和游戏的 Javascript API 进行。

它也是第一个 LLM 驱动、能熟练玩《我的世界》的智能体。

除此之外，还包括斩获了 NeurIPS 2022 最佳论文的 MineDojo。

这项研究提出一个由 3 个智能体组成的“具身 GPT-3”，可以感知无限世界并在其中行动。

MineDojo 是一个将《我的世界》变成 AGI 研究游乐场的开放框架。

团队收集了 100000 个 YouTube 视频、Wiki 页面和 Reddit 帖子，用于训练《我的世界》智能体。

还有像 VIMA 这样的研究：第一个带有机械臂的多模态 LLM，为机器人学习引入了“多模态提示”。

更多相关成果盘点，可以戳文末链接。

被黄仁勋带火的具身智能

其实 Jim Fan 领队搞通用具身智能体并不是非常意外的一件事情。

早在去年，黄仁勋便公开表达他对下一代人工智能的观点：

这种新型的人工智能叫作具身智能（Embodied AI），即能理解、推理和与物理世界互动的智能系统。

而从去年至今，无论是高校还是产业，具身智能相关的研究可谓是层出不穷。

最为典型的便是斯坦福大学的家务机器人，惊呆了一众网友。

那么 Jim Fan 团队将在今年再带来什么成果，是值得期待一波了。

参考链接：

• [1]https://twitter.com/DrJimFan/status/1761052023821369639

• [2]https://research.nvidia.com/labs/gear/

• [3]https://twitter.com/DrJimFan/status/1761099207920992688

本文来自微信公众号：量子位 （ID：QbitAI），作者：金磊