Codex「额度黑洞」终于查清!真凶竟是这个小功能

浏览20次 点赞0次 收藏0次

折腾了整整一周,Codex「额度消耗过快」的悬案终于告破。

就在昨天,OpenAI Codex负责人Tibo Sottiaux在X上发了一条长帖,一口气认了三处Bug。


其中,最让人无语的一个是,Codex 后台会自动给每段对话起个名字。就这么个小玩意消耗的额度,远超预期。

额度掉得不对劲

从8月中下旬起,大量Codex付费用户陆续发现,额度掉得不对劲。

同样的活儿,上周能干很久,这周干着干着额度就见底了。有人实测,200美元的Pro套餐,16个小时就烧掉了80%的额度。


社区里的猜测很快统一到一个词上——隐性nerf也就是官方偷偷砍了额度不告诉你。

毕竟Codex刚突破2000万活跃用户,用户量暴涨,算力压力摆在那儿。

8月22日周六,Tibo先出来灭了一次火。他说部分用户本周的缓存命中率(cache hit rate)比前几周差,没命中缓存就得重新跑一遍完整推理,同样的操作自然更费额度。


不过,这个解释并没有服众。

网友 NIK 当场追问,如果问题出在缓存命中率,那就把数据拿出来。之前多少,现在多少?70%的额度凭空蒸发,缓存这一个因素能解释吗?

他说了句很硬的话:当解释每24小时变一次的时候,做到透明比嘴上说透明更重要。


Tibo的回复是一句英文老话——「Never let a good crisis go to waste」,千万不要浪费一场好危机。

他没有食言。第二天,就下场回复原因。

三个Bug,一口气全认了

Tibo在复盘帖里定位了三处问题:

第一处:长会话的图片压缩。Codex跑超长任务时会自动把旧的聊天记录压缩成摘要,腾出上下文继续往下跑,这套机制叫compaction。

问题在于,图片多了、连着压缩好几轮,这个打包流程会产生额外的算力浪费。

第二处:Computer History的重度用户消耗偏高。这是一个最近才上线的新功能,能把你Mac上选定的App和网页里的操作记录自动带进ChatGPT和Codex。

官方发现,它在重度用户上的用量明显偏高。

第三处就是那个起标题的。它本来只干一件事——给每段对话自动起个标题,方便你在列表里认出来。

它应该就在后台默默地跑,一点也不起眼。但消耗的额度却大超预期。

复盘帖一发,社区瞬间炸锅。有人评论说:一个没人要求过的后台功能,安安静静地花着你的付费额度,你既看不见也没法关掉。


还有网友给它起了个名字:隐藏的额度黑洞。

全量重置,白送数百万美元算力

认错的同时,OpenAI给的补偿也很实在:所有付费订阅做一次完整额度重置。

Tibo说重置大约在太平洋时间次日下午2点落地,折算到国内大概是清早5点左右。

此前活跃用户冲到2000万的时候,Tibo 就发过一次可以自己兑换的banked reset,这回是直接给所有人重来一次。

社区有人粗算,每来一次这种大规模重置,等于OpenAI白送价值数百万美元的算力。

参考资料:https://x.com/thsottiaux/status/2091407991736332689

编辑:所罗门

声明:本文转载自新智元,转载目的在于传递更多信息,并不代表本社区赞同其观点和对其真实性负责,本文只提供参考并不构成任何建议,若有版权等问题,点击这里查看更多信息!本站拥有对此声明的最终解释权。如涉及作品内容、版权和其它问题,请联系我们删除,我方收到通知后第一时间删除内容。

点赞(0) 收藏(0)
0条评论
珍惜第一个评论,它往往能得到较好的回响。
评论
游客
游客
登录后再评论
  • 鸟过留鸣,人过留评。
  • 和谐社区,和谐点评。
最新资讯