o4-mini暴击六大数学天团，攻破陶哲轩难题！4.5h激战人类阵地失守

【导读】不到两年，我们会见证AI数学家的重大突破！最新实验中，o4-mini与40位数学家，一同挑战300道菲尔兹奖级难题。o4-mini一举击败6组团队，超越人类平均水平。

八支「数学家天团」和o4-mini-medium同台竞技，谁会最终胜出？

最近，Epoch AI团队举办了一场竞赛，专门考察AI数学能力的进展。

这场比赛邀请了约40位数学精英，分成8组，每组由学科专家和优秀本科生组成。

他们要与AI一同在陶哲轩等人提出的FrontierMath基准上，展开终极对决。

比赛一共23题，限时4.5小时，实验最终得出：

o4-mini-medium碾压人类平均水平（19%），解决了约22%题目。

不过，o4-mini能够解决的问题，至少被一组数学家团队破解。由此，人类团队总体上解决了约35%的题目。

结果显示，o4-mini一共击败六组团队，在数学领域展现了惊人的潜力。

谷歌前CEO Eric Schmidt预测，未来1-2年内，「超级程序员」和「AI数学家」将取得重大突破。

o4-mini，作为AI的代表，便是一个很好的开始。

菲尔兹奖得主出题，AI击败6队

提及FrontierMath，想必圈内人无人不知。

这一基准于24年11月首次亮相，由菲尔兹奖得主与业内多位著名数学家共同出题，挑战AI数学能力的极限。

它包含300个问题，难度从高年级本科生水平到菲尔兹奖得主都认为具有挑战性的问题。

那么，这么多数学难题，人类在其表现中如何呢？

为了确定人类极限，Epoch AI便在MIT组织了这场比赛——FrontierMath Competition。

如上所述，每组被分成4-5人的8组团队，在联网情况下，最多用4.5h去解决23个数学题。最后，再与o4-mini-medium进行比拼。

o4-mini-medium的表现虽超过了平均人类团队，但不如所有团队的综合得分。

因此，在FrontierMath上，AI尚未完全超越人类，但Epoch AI认为顶尖模型很快就会做到。

目前，这份数据仅代表FrontierMath的一个小型非代表性子集。

若综合考虑，人类整体基准大约在30-50%之间。

接下来，Epoch AI详细解释了关于人类基准结果的四个关键点，包括其中来源和含义。

人类选手，并不代表数学SOTA

人类团队的表现，因团队而异构成。

由于参赛者主要来自波士顿数学社区，分析领域的专家较少，导致了整体专长分布不均。

每队虽至少有一名某一领域的专家，但也没有哪支队伍在所有高级领域，如拓扑学、代数几何、组合数学、数论等都有专家覆盖。

这使得人类平均分，可能低估了真实水平。

最重要的是，比赛4.5小时时间，可能限制了人类的表现。AI解决每题只需5-20分钟，而人类平均耗时约40分钟。

此前研究表明，人类在长时间任务上表现更具潜力，而AI性能可能在一定时间后趋于平稳。

为了更全面评估，研究团队采用了两种方式计算人类基准：

1. 团队平均得分：每支队伍独立表现，得分约19%

2. 综合得分：如果任一队答对某题就算正确，得分提升至约35%

若要为整个FrontierMath设定人类基准，还需解决第二个问题：比赛问题的难度分布与完整 FrontierMath数据集不同。

为此，研究人员按难度层级拆分结果，并根据完整基准的难度分布加权总体得分。

结果，按整体难度分布加权后，人类基准提升到约30%，基于「多次尝试」方法，更是刷新到了52%。

而此时，AI的加权得分约为37%。

Epoch AI指出，o4-mini-medium得分提升，是因为比赛中的Tier 1/Tier 2问题相对完整基准的同级问题较简单，说明了这一调整方法仍不理想。

设计巧思：推理而非知识

FrontierMath比赛的独特之处在于，它更注重数学推理能力，而非单纯的知识储备。

当前，AI在知识广度上远超人类——可以轻松调用数学、微分几何等庞大知识库，而人类很难精通所有领域。

因此，比赛题目被精心设计，尽量减少对背景知识的依赖。

比如，研究人员选用了7道适合优秀本科生的「通用问题」，以及16道专为专家定制的「高级问题」。

这些题目主要覆盖了四大类：拓扑学、代数几何、组合数学和数论。

为了激励参赛者挑战高难度题目，比赛还采用了特殊计分规则：

高级题目每题2分，通用题目每题1分；每个领域至少答对一题可额外加1分。

此外，奖金池也非常诱人，第一名1000美元，第二名800美元，第三名400美元。

全面超越人类，指日可待？

尽管o4-mini-medium在FrontierMath上，尚未完全超越人类，但其表现已令人瞩目。

它在比赛的得分不仅于人类顶尖团队相当，而且在知识广度上占据巨大优势。

Epoch AI预测，到2025年底，AI和可能明确超越30%-50%的人类基准。

有网友对此表示，要让AI成为超人的存在，必须定期解决人类数学家无法解决的问题。

然而，AI的成功机制依然是一道谜题。

它们究竟是靠猜测解题，还是真正掌握了数学推理？与人类的方法相比，有何不同？

在研究人员看来，这些问题有待进一步探索。

此外，FrontierMath的题目并非实际数学研究的直接代表，o4-mini的超人表现是否会转化为研究突破，仍需要时间来验证。

参考资料：

https://x.com/EpochAIResearch/status/1926031207482953794