AI 中文社
Copyright © 2022-2025 aizws.net · 网站版本: v1.2.6·内部版本: v1.25.1·
页面加载耗时 0.00 毫秒·物理内存 136.5MB ·虚拟内存 1761.1MB
欢迎来到 AI 中文社区（简称 AI 中文社），这里是学习交流 AI 人工智能技术的中文社区。 为了更好的体验，本站推荐使用 Chrome 浏览器。
程序员自制开源 AI 评分工具，衡量大模型“愚蠢程度”
2025-09-18 发布
·
浏览22次
·
点赞0次
·
收藏0次
9 月 18 日消息，程序员 ionutvi 今天发布了名为 AI Benchmark Tool 的 AI 评分工具，可衡量各大 AI 模型的“愚蠢程度”，帮助代码工作者选择最准确性最佳、更具性价比的 AI 工具。
ionutvi 表示，他在使用 ChatGPT、Grok、Claude 等 AI 大模型时经常发现，有时候这些模型第一天工作正常，但第二天就会“降智”，做相同的任务时胡乱回答，有时候干脆拒绝回答相同问题，很多人认为这只是自己的问题，但这实际上官方有意降低了模型的性能，毕竟 Anthropic 官方就承认过这个问题。
因此他制作了这款 AI 评分工具，它可以自动在多款大模型运行 140 项编程、调试和优化任务，从准确性、拒绝回答率、回答时间、稳定性等方面衡量 AI 模型的“愚蠢程度”，并根据评分自动排名。
并且这名开发者还结合了各家的 AI 模型的价格综合评比，让用户知道每款模型的使用成本，有的 AI 模型看起来很便宜，但可能需要迭代 10 次才能得到能用的答案；而有的模型虽然价格比较高，但只要迭代两三次就能得到能用的版本，这种情况下稍贵的那款模型性价比就更高。
附该工具开源链接如下：
声明：本文转载自IT 之家，转载目的在于传递更多信息，并不代表本社区赞同其观点和对其真实性负责，本文只提供参考并不构成任何建议，若有版权等问题，点击这里。
点赞(0)
收藏(0)
0条评论
珍惜第一个评论，它能得到比较好的回应。
评论
游客
登录后再评论
- 鸟过留鸣，人过留评。
- 和谐社区，和谐点评。