麻省理工研究：生成式 AI 未能对世界形成连贯的理解

11 月 11 日消息，现如今大模型已经具备各种各样的非凡能力，不仅能吟诗作对，也可生成高效的计算机代码，这些表现让人产生了大模型似乎在“隐约理解”某些现实世界基本规律的错觉。然而，一项最新研究指出，事实可能并非如此。研究人员发现，一种流行的生成式 AI 模型能够在纽约市提供接近完美的逐步导航指引，但却并未形成真正的精确地图。

据《麻省理工科技评论》当地时间 11 月 5 日报道，麻省理工学院信息与决策系统实验室（LIDS）的主要研究者阿什・兰巴昌（Ashesh Rambachan）表示，“我们希望，大模型在语言领域的出色表现或许可以让它们在科学的其他领域大展拳脚。然而，如果想用这些技术去探索新发现，判断它们是否形成了连贯的世界观至关重要。”

研究人员发现，一种流行的生成式 AI 模型能够在纽约市提供接近完美的逐步导航指引，但却并未真正形成该城市的精确地图。

尽管模型表现出卓越的导航能力，但当研究人员封闭了某些街道并设置绕行路线时，模型的表现却大幅下滑。

进一步分析显示，模型隐式生成的纽约地图包含大量不存在的街道，这些街道在网格间扭曲连接，跨越相隔甚远的交叉口。

这对实际应用中的生成式 AI 模型来说可能有着重要影响 —— 一个在特定情境中表现优异的模型，可能会在环境或任务稍有变化时无法应对。

发现，研究人员专注于一种被称为“ transformer ”的生成式 AI 模型类型，这种模型构成了 LLMs（如 GPT-4）的核心。transformer 是通过大量基于语言的数据进行训练，以预测序列中的下一个 token ，例如句子中的下一个词。

研究人员通过在纽约市地图中加入绕行路径展示了这一结果的影响，这导致所有的导航模型均无法正常运行。“让我惊讶的是，一旦我们加入绕行，模型的表现迅速恶化。如果仅关闭 1% 的街道，准确率就会从接近 100% 立刻下降到只有 67%。”

而当研究人员还原出模型生成的城市地图时，会发现这些地图看起来像一个“虚构的纽约”：数百条街道交错重叠在网格之上。地图中经常出现一些随机的跨街桥，或者以不可思议的角度交叉的街道。

附有关论文如下：

• Evaluating the World Model Implicit in a Generative Model