前OpenAI首席科学家Ilya: 只要能够预测下一个token，人类就能达到AGI

近日，Nature将前OpenAI首席科学家Ilya Sutskever评为「2023年10大科学人物」。

这位刚刚因为OpenAI巨变而远离聚光灯的「AI技术灯塔」，似乎并没有做好准备回到公众视野之中。

Nature在介绍他的长文中说「Ilya拒绝了Nature在OpenAI的剧变后对他的采访」。而他自己的推特也没有转发自己获评Nature年度人物的消息。

但是Nature依然在文章中高度评价了Ilya对于ChatGPT的贡献，称他为AI预言家。

在Ilya看来，人工智能有能力改变整个人类文明的存在方式，而不是像OpenAI出现之前那样，只是帮人类解决一些小问题。

「只要能够非常好的预测下一个token，就能帮助人类达到AGI。」

这是他在不同场合都表达过的观点。

在一个播客中，Ilya详细阐述了他为什么认为像大语言模型这样本质上只是预测下一字符是什么的工具，能够产生超过人类智慧综总和的智能。

Ilya解释到，「很多人认为，大模型只是通过像统计学一样的方式来模仿人类现有的知识和能力，没有办法超越人类。」

「但是如果你的基础神经网络足够聪明，你只需问它——一个具有伟大洞察力、智慧和能力的人会做什么？也许这样的人并不存在，但神经网络很有可能能够推断出这样的人的行为方式。

那么AGI的任务就变成预测这样一个人可能的行为方式了。

足够好地预测下一个字符意味着什么？这实际上是一个比问题字面意思看起来更深层次的问题。

很好地预测下一个代币意味着你了解导致这个token创建的潜在现实。

就像统计学一样，为了理解这些统计数据并对其进行压缩，你需要了解创建这组统计数据的世界是什么？

而如果AGI是要非常准确地预测人的行为，人们的行为是由什么决定的？每个人都有自己的想法和感受，并以特定的方式做事。

所有这些都可以从下一个token的预测中推断出来。

我认为只要能很好的预测下一个token，AI就能猜出一个具有这种具有伟大洞察力、智慧和能力的人会做什么，即使这样的人不存在。」

如何成为一个像你这样在自己研究的领域取得如此之大的突破的科学家？

「我真的很努力，我付出了我所拥有的一切，到目前为止，我的努力都得到了回报。我想这就是全部的原因了。」

到2030年，AI能产生多大的经济价值？

「很难回答这个问题，我觉得会很多。但是没有办法给一个准确的数字。

但是如果问到2030年，如果AI没有产生太大的经济价值，那么最可能的原因是什么？我觉得是可靠性」

我们离AGI还有多远？

这是个很难回答的问题，我不确定是否可以给出一个具体的数字。

因为那些对这项技术充满乐观的研究者们往往会低估实现目标所需的时间。

我让自己保持脚踏实地思考这个问题的方法，是观察自动驾驶的发展。比如看看特斯拉在自动驾驶方面的进展，我们可以看到他几乎能做到自动驾驶要求的任何行为了。

然而，同样明显的是，特斯拉在可靠性方面还有很长的路要走。

我们的模型可能也处于类似的阶段：看似能够处理所有问题，但直到我们解决所有挑战并确保它的可靠性、稳定性和良好表现之前，都很难说我们达到AGI了。

在达到AGI之前，你觉得我们还需要有想Transformer这种突破出现吗？还是现有的技术已经能让我们达到AGI了？

技术发展可能是一个渐进的过程，之所以Transformer是被认为是一个突破，其实因为它几乎对所有人来说都不是显而易见的。

所以人们会觉得事物。让我们来考虑深度学习的最根本进步：一个大型神经网络经过反向传播训练后可以做很多事情。新颖之处在哪里呢？

不在于神经网络，也不在于反向传播。但它无疑是一个巨大的概念性突破，因为长期以来，人们根本没有意识到这一点。

但现在，既然每个人都看到了，大家就会说——当然，这非常明显。

但其实它也同样是一个很重要的突破。

现在不同的公司分头发展自己的模型，未来不同的模型和技术会相互独立还是走到某一个共同的点吗？

我预计众多研究和工作都朝着相似的方向发展。

随后，长期工作中会出现一些分歧，意味着不同的研究小组或者项目会选择不同的路径和方法。

但是，一旦这些长期的工作开始显现成果，这个领域又会重新趋向于收敛，即多个研究路径可能会再次汇聚到类似的结果或理论上。

作者还提到，目前发表的文章数量有所减少，这可能意味着重新发现和探索这个领域的有希望的方向需要更长的时间。

OpenAI为什么放弃了机器人的方向？

「过去，从事机器人技术的难点在于数据量太少，这使得发展很受限。

以前，要进入这个领域，必须加入一家专门的机器人公司，而且还需要一个庞大的团队来构建和维护机器人。

即便拥有上百个机器人，也难以获得足够的数据。因为机器人技术的进步很大程度上取决于计算能力和数据的结合，所以数据的缺乏成了一大障碍。

现在的情况有所不同，已经存在开辟新道路的可能性。

但这需要人们真正投入到机器人技术的研发中。

这意味着建造成千上万的机器人，从它们那里收集数据，并找到一种逐步改进的方法，让机器人能够执行一些基本有用的任务。

随着数据的积累，可以训练出更加高效的模型，使机器人能够执行更复杂的任务。

这是一个循序渐进的改进过程，需要建造更多机器人，收集更多数据。

为了实现机器人技术的发展，必须全身心投入，并愿意解决所有相关的物理和后勤问题。

这与纯粹的软件开发完全不同。只要有足够的努力和热情，机器人技术是有可能取得重大进步的，而且已经有一些公司在这方面做出了努力。」