自从 OpenAI 的 o1 问世以来，它强大的推理能力就承包了 AI 圈近期的热搜。不需要专门训练，它就能直接拿下数学奥赛金牌，甚至可以在博士级别的科学问答环节上超越人类专家。
展示 o1 实力的 demo，我们看了不少，评估 o1 表现的评测，全网比比皆是，关于 o1 技术路线的讨论也如火如荼，引发了广泛的关注和深入的思考。不过 o1 背后的故事，还鲜为人知，那些在幕后默默付出的团队成员们，他们的故事同样值得被讲述和铭记。刚刚，OpenAI 发布了 o1 研发团队的完整访谈，为我们揭秘了 o1 的「成长历程」。o1 如何一步步蜕变，最终成为一个「智商高达 120」的非凡存在？他们是将强化学习和监督学习两种范式结合起来的？这背后是无数的突破与挑战，OpenAI o1 的研究人员与 OpenAI 研究团队的负责人 Bob McGrew 畅谈了研发过程中的「Aha moments」—— 那些破解瓶颈、灵感迸发、豁然开朗的瞬间。在访谈中，他们揭秘了 o1 团队的关键人物，最早由 Jakub Pachocki 进行了一些探索，后来又和Łukasz Kaiser (Transformer 作者之一）和 Ilya Sutskever 进行了早期的探索。这可能也是为什么虽然 Ilya 已经离职，但仍出现在贡献者名单前列的理由。o1 项目的关键时刻是 Jerry Tworek 整合了这些内容，并继续推动项目。
原视频链接：https://www.youtube.com/watch?v=tEzs3VHyBDMHyung Won Chung：我们将使用新名称 o1 推出一系列新模型。这是为了强调这样一个事实：与 GPT-4 等以前的模型相比，您在使用 o1 时可能会感到不同。o1 是个推理模型，它在回答你的问题之前会做更多思考。我们将发布两个模型：o1 preview，也就是 o1 的内容预览版，还有采用了与 o1 相似的训练框架、更小更快的 o1 mini。希望你喜欢我们的新命名方案 o1。Giambattista Parascandolo：可以这么理解：对于一些需要立即回答的简单问题，例如，「意大利的首都是哪里？」，不用想太多，就知道答案是罗马。但是如果想要解一个复杂的谜题、想精心策划一份商业企划书、或者想写小说，那可能需要很多思考。想得越多，可能成果越好。因此，可以说推理是一种把思考时间转化为更好成果的能力。Giambattista ParascandoloJakub Pachocki：在 OpenAI 的初创时期，我们深受 AlphaGo 的启发，意识到了深度强化学习的巨大潜力。因此，我们在这方面投入了大量研究，在数据和机器人技术方面取得了很好的扩展效果。我们一直在思考如何在通用领域中应用强化学习，以创造出强大的人工智能。GPT 的成功，让我们见证了扩展和监督学习的范式所带来的惊人结果。从那时起，我们就一直在思考如何将这两种不同的范式结合起来。o1 项目的初创成员：Jakub PachockiMark Chen：很难确切指出 o1 是从哪个具体的时刻开始的。最早和 Yakob 进行了一些探索，后来又和Łukasz 和 Ilya 进行了早期的探索。关键时刻是 Jerry 一起整合了这些内容，并由 Jerry 来推动项目。 Jerry Tworek：我们训练了 GPT-2、GPT-3、GPT-4，模型刚出炉时，我们开始与模型对话，人们都说：「哇，这个模型真的很棒。」在训练过程中，有一个特定的时刻，我们投入了更多的计算资源，并训练模型生成连贯的思维链。然后我们看到：「哇，这看起来和以前真的有显著的不同。」对我来说，那就是「Aha Moment」。Trapit Bansal：与此相关的另一个发现是。当我们开始考虑要训练一个推理模型时，我最先想到的方法就是，可以让人类写下他们的思维过程，然后以此进行训练。我的「Aha Moment」是当我们发现，通过使用强化学习来训练模型生成和打磨它自己的思维链，效果竟然比让人类为其写下思维链更好。我们意识到可以真正扩展这个方法，并且专家模型也可以通过这种方式进行推理。Hunter Lightman：我们一直在尝试提升模型的数学能力。我们为此付出了很多努力，也曾尝试过很多不同方法。但有一件事让我一直很在意，每次我阅读模型的输出时，我总是感到非常沮丧。模型似乎从不质疑自己哪里出了错，尤其是在犯错的时候。但是，当在训练 o1 模型的早期，我们开始与它进行对话，并向它提出这些问题，它在数学测试中的得分变高了。我们可以观察到它是如何推理的，你可以清楚地看到它开始质疑自己，并进行有趣的反思。对我来说，那一刻我心想，「我们做出了全新的发现，这是一切都融会贯通起来了的时刻。」当你阅读这些思维过程时，感觉像是在看一个人类的思考，还是像在看一个机器人？Liam Fedus：这更像是一种精神体验。你可以与模型共鸣，可以看到它犯了很多人类常犯的错误，你还能看到它在质疑一些世俗常规。但在行为上，模型却表现得出奇地像人类。 Wojciech Zaremba：还有一点很酷：当我们给模型设置思考时间的 ddl 时，它往往会在快到时间截止点时迅速得出结论，它仿佛意识到了：「哎呀，我必须现在完成了！」Jerry Tworek：从本质上讲，训练大型模型是非常困难的事情，有成千上万的事情可能出错，实际在每一轮训练中至少有数百个地方确实出错了。几乎每个人都投入了大量的心血、汗水和眼泪去训练这些模型，并想办法让它们继续学习和改进。通向成功的道路非常狭窄，而失败的可能性却很多。Ilge Akkaya：这个模型非常优秀，很多时候甚至表现得比人类还要好，就像拥有好几个博士学位的水平。但这有时也是一种挑战，因为我们经常需要验证模型是否没有偏离轨道，或者是否在做一些不合理的事情。随着模型规模的扩大，这开始变得非常耗时；我们已经用尽了所有行业级资源，但我们不知道接下来应该找什么，所以这也是一个挑战。Shengjia Zhao：让 o1 数 Strawberry 里有多少 r。Hunter Lightman：我们经常去推特上搜谁发了个帖子：「大语言模型不能做...」，我们就复制粘贴过来，输入我们的模型进行测试，验证它是否能做到内部人士如何使用 o1？Hyung Won Chung：我使用 o1 来编程，毕竟我的工作大部分就是编程。所以我现在更多地专注于问题的定义，并采用 TDD（测试驱动开发）方法，与其编写直接能实现功能的代码，我更倾向编写一个单元测试，明确程序应该如何运行才能算正确，然后交给 o1 来完成。这样我可以把精力放在更重要、更高层次的问题上。另一个方面是调试。当我遇到 bug 时，我现在会直接交给 o1， 它会输出一些提示。有时它能够立即解决问题，即使没能解决，它至少能引导我提出更好的问题，提供更有价值的思路。Jerry Tworek：我越来越多地用 o1 来学习，向它询问各种复杂的技术问题时，它产生的幻觉更少，并且比以前的模型解释得更好。Jason Wei：对我来说，我喜欢把 o1 当作一个头脑风暴的伙伴，从解决某个非常具体的机器学习问题到如何写一篇博客都适用。比如，我最近写了一篇关于语言模型评估的博客，我向 o1 询问了有关博文结构的想法、某些基准测试的优缺点，甚至包括写作风格的建议。因为它在给出最终答案之前会思考，更好地更好地连接起思路，它还可以修改和评估备选的方案。
Liam Fedus：当你只有一些散乱的思路时，它可以帮你将这些想法串联起来，找出遗漏的部分。通过它的最终答案和它的思维过程，它真的能够为你带来更好的结果。Hongyu Ren：是的，我用它来尝试我们内部的一些「秘密想法」，并努力改进。这个项目中有没有哪些部分是必须的，但人们可能没有意识到它有多重要？Łukasz Kondraciuk：我认为，建立实验室规模的可靠基础设施，用来运行我们最大、最重要的模型训练平台以及进行研究实验，虽然不像研究本身那么令人兴奋，但却至关重要，对整个项目的成功产生了巨大影响。”Jerry Tworek：我觉得 OpenAI 在如何构建其研究方面有一些特别之处，我们同样重视算法进步和建立可靠的大规模系统，以及创建用于训练这些模型的数据集。我为 OpenAI 这一点感到非常自豪。Jakub Pachocki：每次我们将某件事扩大一个数量级时，都会遇到一组新的问题 —— 包括算法和基础设施方面的问题 ——OpenAI 无疑已经发展出了同时解决这两个方面问题的强大能力。Hongyu Ren：我们的动机是希望将 o1 系列带给更多的用户，并降低成本。因此，我们创建了 o1 Mini，它的设计目的是展示整个 o1 管道或框架的简化版本。我们让它成为一个推理专家，它可能不一定知道你最喜欢的名人的生日，但它确实能够非常有效地理解如何进行推理。它比我们之前最好的推理模型要聪明得多，并且几乎与我们最好的模型 o1 持平。它确实有一些限制，比如可能不知道很多外界的信息，尤其是与科学或技术无关的内容。但我们努力让它大致与我们之前最好的模型（如 GPT-4o mini）相当。我们正在进一步改进它，我非常期待外部用户能够尝试体验这种「闪电般」的推理和思维。
AI 中文社
